当 Spark 遇上 Zeppelin

作者/分享人:Bruce
向 Ta 提问
专注于大数据系统研发,擅长系统设计与调优

Zeppelin 是一个基于 Web 的交互式数据分析工具,里面有很多解释器,透过这些解释器便可以利用相应的引擎完成数据计算与分析,Spark 便是其中一种。实际工作中,通常会在两种情况下使用 Spark with Zeppelin:

  1. 需要对一批数据做探索性分析,所谓探索性即尚且没有明确的思路,需要不断尝试,这时你无法形成完整的方案写到代码文件、打包、正式部署等,Zeppelin 便是最好的工具。
  2. 临时有个任务需要验证一下,特别针对研发人员,你为这个任务写个正式代码文件、打包、部署显然过于繁琐,并且很多线上环境是不允许随便传代码的,而利用 Zeppelin 恰好可以快速处理这些临时任务。

本次 Chat 主要包含以下内容:

  1. Spark 与 Zeppelin 的基本概念;
  2. 如何在 Zeppelin 中使用 Spark DataFrame、SQL 进行数据分析(一个完整示例);
  3. 如何合理的为 Spark 程序分配资源;
  4. 如何在 Zeppelin 中设定 Spark 的配置信息;
  5. 背后的工作原理是什么,在 Zeppelin 中写的代码是如何分发到 Spark 中执行的;
  6. 一些常见的问题。
已有132人预订
预订达标
文章出炉
     
01月23日
02月18日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张Bruce的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
查看文章评论/提问
Dianhu
Zepplin如何集成到一个现有系统中‘成为系统的一部分?
你可能还喜欢
高并发、低 RT 的风控系统架构及技术架构的实现
火币集团研发中心
程序员副业赚钱的 8 种模式
安晓辉
全栈开发入门实战:后台管理系统
鲁鹏
每一个开发人员都应该懂的 UML 规范
码匠笔记
不写代码:程序员最重要的技能 [英文版]
Chat 三人行
“花式吊打”系列之逻辑回归讲透透
天马行空
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
添加小助手微信×