当 Spark 遇上 Zeppelin

作者/分享人:Bruce
向 Ta 提问
专注于大数据系统研发,擅长系统设计与调优

Zeppelin 是一个基于 Web 的交互式数据分析工具,里面有很多解释器,透过这些解释器便可以利用相应的引擎完成数据计算与分析,Spark 便是其中一种。实际工作中,通常会在两种情况下使用 Spark with Zeppelin:

  1. 需要对一批数据做探索性分析,所谓探索性即尚且没有明确的思路,需要不断尝试,这时你无法形成完整的方案写到代码文件、打包、正式部署等,Zeppelin 便是最好的工具。
  2. 临时有个任务需要验证一下,特别针对研发人员,你为这个任务写个正式代码文件、打包、部署显然过于繁琐,并且很多线上环境是不允许随便传代码的,而利用 Zeppelin 恰好可以快速处理这些临时任务。

本次 Chat 主要包含以下内容:

  1. Spark 与 Zeppelin 的基本概念;
  2. 如何在 Zeppelin 中使用 Spark DataFrame、SQL 进行数据分析(一个完整示例);
  3. 如何合理的为 Spark 程序分配资源;
  4. 如何在 Zeppelin 中设定 Spark 的配置信息;
  5. 背后的工作原理是什么,在 Zeppelin 中写的代码是如何分发到 Spark 中执行的;
  6. 一些常见的问题。
已有119人预订
预订达标
文章出炉
     
01月23日
02月18日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张Bruce的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
查看文章评论/提问
Dianhu
Zepplin如何集成到一个现有系统中‘成为系统的一部分?
你可能还喜欢
给后端程序员看的 Vue 快速入门教程
白宦成
110 道 Python 面试笔试题超强汇总
嘉美伯爵
Redis 实战场景详解
驰骋
轻松搞定机器学习中的概率统计知识
Evan
架构师成长之路之服务治理漫谈
飞狐
Git 扫盲,用命令行优雅的理解 Git 底层机制
叫我闪电
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!