中小型企业基于大数据技术的项目实践

作者/分享人:Wotchin
向 Ta 提问
学生时期曾为微软中国打杂并取得过相关专利,曾在某海外业务社交类移动互联网公司从事AI全栈,目前于某一线大厂中央软件院从事数据相关技术工作。熟悉大数据平台研发,架构,以及数据的处理和分析,熟悉web架构和高性能/高并发/高可用系统,CSDN博客专家,研究兴趣在大数据,数据库内核,数据挖掘和检索等,欢迎技术交流,共同提高,微信公众号:就爱极客(cn92geek).微信号wotchin,朋友圈定期分享欢迎添加

本次分享将涉及大数据项目的具体实践经验,象征性收费5毛钱。

本次 Chat 主要包括但不限于以下内容:Spark 对日志的分析与处理,基于机器学习的数据分析、任务调度系统、推荐系统等,不要求读者有任何基础,但凡有交流的兴趣即可。

本次分享将讲解到的知识体系包括:

  • Apache Spark 框架编程,主要涉及 Spark Streaming + MLlib 部分内容
  • MongoDB,主要涉及 MongoSpark、地理位置搜索等功能
  • 基于 Azkaban 的任务调度系统
  • Linux 系统的部署与运维
  • Amazon AWS 数据存储平台

分享后主要交流的内容:大数据平台架构、机器学习相关内容、微服务架构等。

已有538人预订
预订达标
文章出炉
交流日期
     
01月05日
01月16日
01月23日 20:30
查看文章评论/提问
泛泛之辈
Sparkstreaming长时间运行会有哪些坑?用yarn做资源调度,无论是基于fifo或者fair,当申请的资源不足时,yarn都会尽量分配出几个container出来让应用跑起来,而不是申请的资源不足就放弃执行或者hang住,这样是ok的吗?另外,checkpoint是必须的吗?
宋永斌
学习了。希望更多人分享这种经验之谈的干货。
你可能还喜欢
如何成为一名合格的 C/C++ 开发者?
范蠡
从新一期技术雷达看技术领域最新趋势
徐昊
微服务中的短信服务如何设计?
猿天地
亿级 QQ 会员活动运营系统的设计之道
廖声茂
详解 Java 常用的四种锁机制优缺点
安爷
数据科学 Kaggle 比赛项目实战:Titanic
刘明
微信扫描登录