中小型企业基于大数据技术的项目实践

作者/分享人:Wotchin
向 Ta 提问
学生时期曾为微软中国打杂并取得过相关专利,曾在某海外业务社交类移动互联网公司从事全栈研发,目前于Huawei 2012 lab中央软件院从事数据科学与数据库内核相关的技术预研工作。熟悉大数据平台研发,架构,以及数据的处理和分析,熟悉web架构和高性能/高并发/高可用系统,CSDN博客专家,热爱技术交流,共同提高,微信公众号:就爱极客(cn92geek).

本次分享将涉及大数据项目的具体实践经验,象征性收费5毛钱。

本次 Chat 主要包括但不限于以下内容:Spark 对日志的分析与处理,基于机器学习的数据分析、任务调度系统、推荐系统等,不要求读者有任何基础,但凡有交流的兴趣即可。

本次分享将讲解到的知识体系包括:

  • Apache Spark 框架编程,主要涉及 Spark Streaming + MLlib 部分内容
  • MongoDB,主要涉及 MongoSpark、地理位置搜索等功能
  • 基于 Azkaban 的任务调度系统
  • Linux 系统的部署与运维
  • Amazon AWS 数据存储平台

分享后主要交流的内容:大数据平台架构、机器学习相关内容、微服务架构等。

已有299人预订
预订达标
文章出炉
交流日期
     
01月05日
01月16日
01月23日 20:30
查看文章评论/提问
泛泛之辈
Sparkstreaming长时间运行会有哪些坑?用yarn做资源调度,无论是基于fifo或者fair,当申请的资源不足时,yarn都会尽量分配出几个container出来让应用跑起来,而不是申请的资源不足就放弃执行或者hang住,这样是ok的吗?另外,checkpoint是必须的吗?
宋永斌
学习了。希望更多人分享这种经验之谈的干货。
你可能还喜欢
Docker+K8S 集群环境搭建及分布式应用部署
李熠lynn
JVM 精华知识点汇总
胡玉洋
Docker 入门之个人博客搭建教程
一念成魔
前端游戏框架哪个好
cba
MySQL 数据同步双机互备
小闲丶
美团客户端响应式框架 EasyReact 开源
美团技术团队
微信扫描登录