如何基于 Spark Streaming 构建实时计算平台

随着互联网行业的发展，人们对数据处理的时效性、可靠性以及准确性要求越来越高，实时计算也得到了蓬勃的发展。

本次分享将着重于介绍携程基于 Spark Streaming，构建实时计算平台的整套技术方案、架构，目前的使用场景，以及打造平台过程中遇到的挑战和问题。

实录提要：

• Metrics 性能监控，生产环境在一个 App 怎么加监控，怎么获取？
• 能支持的最大消息并发是多少？在仅有一次和至少一次的场景下，性能能差多少？
• 平台监控是怎么做的，包括资源监控、任务监控等？
• metric 信息是直接发送到时序数据库中的吗，会不会影响任务本身的性能？
• CDH 的 Spark 是不是有限制？
• Hive On Spark 会好点，还是只是 Hive 好点？
• 对于作业的资源分配，有没有什么规律？
• 广播变量是不是不能更新的？
• Spark Streming 怎么解决数据迟到？

作者/分享人：潘国庆，携程大数据平台资深研发工程师。2016 年加入携程，致力于实时计算领域的研究，负责调研、研发与维护携程实时计算平台。