如何基于 Spark Streaming 构建实时计算平台

作者/分享人:携程技术微分享
向 Ta 提问
携程技术中心官方账号,与爱学习的小伙伴一起分享携程一线实战经验~

随着互联网行业的发展,人们对数据处理的时效性、可靠性以及准确性要求越来越高,实时计算也得到了蓬勃的发展。

本次分享将着重于介绍携程基于 Spark Streaming,构建实时计算平台的整套技术方案、架构,目前的使用场景,以及打造平台过程中遇到的挑战和问题。

实录提要:

  • Metrics 性能监控,生产环境在一个 App 怎么加监控,怎么获取?
  • 能支持的最大消息并发是多少?在仅有一次和至少一次的场景下,性能能差多少?
  • 平台监控是怎么做的,包括资源监控、任务监控等?
  • metric 信息是直接发送到时序数据库中的吗,会不会影响任务本身的性能?
  • CDH 的 Spark 是不是有限制?
  • Hive On Spark 会好点,还是只是 Hive 好点?
  • 对于作业的资源分配,有没有什么规律?
  • 广播变量是不是不能更新的?
  • Spark Streming 怎么解决数据迟到?

作者/分享人:潘国庆,携程大数据平台资深研发工程师。2016 年加入携程,致力于实时计算领域的研究,负责调研、研发与维护携程实时计算平台。

已有149人预订
预订达标
文章出炉
交流日期
     
17.08.24
17.09.07
17.09.19 20:30
查看文章评论/提问
隔壁老王
好文 有干货 ,全面又有深度的讲解
倪伟伟
Metrics 性能监控,我一直没明白生产环境在一个app怎么加监控,怎么获取?
倪伟伟
你好,我们也考虑做一个实时任务提交后台,之前只有on yarn任务失败报警重启,你们从这个后台提交的任务都在一个帐号下面运行?还是每个用户提交的任务在不同的帐号下面运行?
你可能还喜欢
聊聊 CSS 中的布局模式
大漠_w3cplus.com
Spring Boot 2.0 的快速入门(图文教程)
泥瓦匠 @ bysocket.com
浅谈如何开一场 Chat
白宦成
如何在网上下载自己需要的资源
曹某某
GitChat 被恶意攻击引发的技术性思考:拒绝服务攻击
肖志华
利用开源代码和读相关论文来提高写代码能力
李峰
微信扫描登录