中小型企业基于大数据技术的项目实践

作者/分享人:Tumweeg
向 Ta 提问
学生时期曾为微软中国打杂并取得过相关专利,现在某海外业务社交类移动互联网公司任大数据工程师,或许不久将转战于Huawei 2012 lab从事数据科学与数据库相关的研发工作。熟悉大数据平台研发,架构,以及数据的处理和分析,熟悉web架构和高性能/高并发/高可用系统,热爱技术交流,共同提高。

本次分享将涉及大数据项目的具体实践经验,象征性收费5毛钱。

本次 Chat 主要包括但不限于以下内容:Spark 对日志的分析与处理,基于机器学习的数据分析、任务调度系统、推荐系统等,不要求读者有任何基础,但凡有交流的兴趣即可。

本次分享将讲解到的知识体系包括:

  • Apache Spark 框架编程,主要涉及 Spark Streaming + MLlib 部分内容
  • MongoDB,主要涉及 MongoSpark、地理位置搜索等功能
  • 基于 Azkaban 的任务调度系统
  • Linux 系统的部署与运维
  • Amazon AWS 数据存储平台

分享后主要交流的内容:大数据平台架构、机器学习相关内容、微服务架构等。

已有188人预订
预订达标
文章出炉
交流日期
     
01月05日
01月16日
01月23日 20:30
查看文章评论/提问
泛泛之辈
Sparkstreaming长时间运行会有哪些坑?用yarn做资源调度,无论是基于fifo或者fair,当申请的资源不足时,yarn都会尽量分配出几个container出来让应用跑起来,而不是申请的资源不足就放弃执行或者hang住,这样是ok的吗?另外,checkpoint是必须的吗?
你可能还喜欢
聊聊 CSS 中的布局模式
大漠_w3cplus.com
Spring Boot 2.0 的快速入门(图文教程)
泥瓦匠 @ bysocket.com
浅谈如何开一场 Chat
白宦成
如何在网上下载自己需要的资源
曹某某
GitChat 被恶意攻击引发的技术性思考:拒绝服务攻击
肖志华
利用开源代码和读相关论文来提高写代码能力
李峰
微信扫描登录