保存成功
保存失败,请重试
提交成功

流式计算模型 Structured Streaming:快速入门开发

作者/分享人:Kane
多年大数据领域开发工作,从搭建大数据环境到离线、实时数据分析,了解各阶段技术的选型和使用,乐于探索技术中的难点业务中的痛点,主攻大数据领域相关核心技术,和喜爱技术的同学一起成长!

从 Spark2.0 开始,Spark 引入了一套新的流式计算模型:Structured Streaming。该模型在未来很可能会替代调掉 Spark Streaming 成为实时计算的主流。那么 Structured Streaming 到底有什么优势,在设计以及思想上为何比目前主流的 Spark Streaming 更受官方推崇,本 Chat 将为您逐一解答,而且不光有从入门级的开始,更有理论和代码演示,让读者快速了解 Structured Streaming 并上手开发。

在本场 Chat 中,会讲到如下内容:

  • Structured Streaming 概述及快速入门
  • Structured Streaming 输入表、结果表、输出等基本概念
  • Structured Streaming 处理事件及容错语义
  • 创建 Streaming DataFrame/DataSet 的几种方式
  • 基本 API 操作
  • 基于 event-time 的窗口操作
  • 基于 watermark 处理延迟数据
  • 流数据去重
  • Stream-static joins 和 Stream-stream joins
  • 输出模式(Append/Complete/Update)
  • 输出接收器(file/kafka/console/memory等)
  • Trigger 触发器--连续处理模式
  • Structured Streaming 项目实战(广告黑名单实时统计/广告点击量实时统计)

适合人群: 对 Structured Streaming 有兴趣的技术人员

已有141人预订
预订达标
文章出炉
     
19.11.23
19.12.11
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张Kane的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
你可能还喜欢
程序员最好掌握的两个思维模式
杨老师
Vue 一步一步搭建企业级后台管理系统
一只帅帅的猿
Java 集合底层原理剖析(List、Set、Map、Queue)
老牛
基于 Spring Boot 的线程池最佳实践
古拉里
Spring Boot 面试指南(50 题)
axiya
使用 Vue.js + ElementUI 搭建自己的后台管理系统
_zw@huang
企业级 Maven 依赖管理实践分享
古拉里
热门安全框架 Spring Securiy + JWT 精讲
九月长安
并发环境下 Redis 能做些什么?
新阳
我是怎么在 3 天内零成本开发 AI 微信小程序的
泰斯特
给面试官手写一个 Nacos,多少 K?
巴鲁
异常采集 Sentry 的最佳实践(Java)
古拉里
企业 Maven 依赖管理层次结构设计
逆流而上/isea533
Java 编程(MQTT 实战)
Peter
Java 基础面试题
老牛
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效