分布式日志收集系统 Flume 应用:实时采集 Python 爬取豆瓣最新电影

作者/分享人:Enzo
向 Ta 提问
目前就职于某一线互联网公司,从事大数据平台研发工作,曾参与《大数据技术基础》书籍、《大数据入门实战》书籍编写工作。

Flume 是分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去,比如送到 HDFS。

本次 Chat 交流,主要分享如下内容:

  1. Python 爬虫程序讲解;
  2. Flume 工作原理讲解;
  3. Flume 配置文件;
  4. 常用的开源日志收集系统对比。
活动取消
已有135人预订
预订达标
文章出炉
     
10月30日
11月14日
退款保证:
• 10月30日前,预订人数未达标,您将获得全额退款。
• 作者未按时完成文章,您将获得全额退款。
你可能还喜欢
如何成为一名合格的 C/C++ 开发者?
范蠡
从新一期技术雷达看技术领域最新趋势
徐昊
微服务中的短信服务如何设计?
猿天地
亿级 QQ 会员活动运营系统的设计之道
廖声茂
详解 Java 常用的四种锁机制优缺点
安爷
数据科学 Kaggle 比赛项目实战:Titanic
刘明
Hadoop 分布式数据存储层 HDDS:基于容器化的块服务架构层
爱闲逛的猿仔
深入浅出解读 Kafka 的可靠性机制
应书澜
人脸识别入门实战
离梦远
一个后台工程师的界面情结
一念成魔
实战 Python 网络爬虫:美团美食商家信息和用户评论
Hyx
深度学习中的数据
言有三
微服务架构的演进、融合与选型
老顽童
一小时入门 Python 3
明天依旧可好
Spring Boot 2.0 的使用
jerry
微信扫描登录