保存成功
保存失败,请重试
提交成功

Spark 内核解析

作者/分享人:Kane
多年大数据领域开发工作,从搭建大数据环境到离线、实时数据分析,了解各阶段技术的选型和使用,乐于探索技术中的难点业务中的痛点,主攻大数据领域相关核心技术,和喜爱技术的同学一起成长!

Spark 已经成为大数据处理中的必备技术,经过多年的发展它再也不是新技术,那么只是掌握开发中的 API 远远不能满足要求,本场 Chat 就是带领你迈向 Spark 更深层次的领域--内核解析,我们的目标是:怒怼面试官!

在本场 Chat 中,会讲到如下内容:

  • Spark 核心组件 Driver、Executor 及运行流程
  • Spark部署模式
    1. Standalone模式运行机制
    2. YARN模式运行机制
  • Spark 通讯架构
    1. 通讯架构概述
    2. 通讯架构解析
  • Spark 任务调度机制
    1. 任务提交流程
    2. 任务调度概述
    3. Stage和Task级别调度
  • Spark Shuffle解析
    1. Shuffle的核心要点
    2. HashShuffle解析
    3. SortShuffle解析
  • Spark 内存管理
    1. 堆内/堆外内存规划
    2. 内存空间分配
    3. 存储内存管理
    4. 执行内存管理
  • Spark核心组件解析
    1. BlockManager数据存储与管理机制
    2. Spark共享变量底层实现

适合人群: 对深入理解 Spark 内核有兴趣的技术人员

会员免费订阅
已有71人预订
预订达标
文章出炉
     
11月14日
11月28日
预订后,您将在11月28日之前获得一篇专享文章
请务必添加GitChat服务号以查看活动进度及获取活动通知。
退款保证:
• 11月15日前,预订人数未达标,您将获得全额退款。
• 作者未按时完成文章,您将获得全额退款。
你可能还喜欢
机器学习必备的数学知识,一次学会
白朔天
微服务架构深度解析与最佳实践
kimmking
程序员如何专注和管理时间
程序员的三门课
如何设计一个注册中心
star
从 Vue 3 源码切入,全面掌握前端编译原理
修言
高效学习的途径
程序员的三门课
靠着这份 Java 核心面试知识整理(PDF),稳拿头条/菜鸟/字节 offer
一只Tomcat
实战:Redis 高并发秒杀和分布式锁技术应用及项目剖析
朱学超
程序员必须懂的架构入门课
IT老兵哥
程序员眼中后端技术点总结
技术征程
调用链监控:微服务时代每个程序员必须点亮的技能点
编码
实战:设计模式之代理设计模式深度解析,纯手写 MyBatis 框架
罗小黑
自由职业者如何活好
安晓辉
2019 大前端学习路线完全指南
萧文翰
基于 HTTP 请求断点续传的原理解析及源码实现
Cover:胖虎
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效