保存成功
订阅成功
保存失败,请重试
提交成功

Azkaban 分布式任务调度部署实战

¥1会员免费看
火币集团研发中心

随着公司业务规模扩大,运营需要各种数据进行指导运营策略;产品需要各种数据需要指导产品工作;研发也需要在海量数据中快速定位一些指标重构现有系统以便提高性能。以往的 Crontab 模式很难满足现有任务调度,急需一个批量工作流任务调度器,以一个特定的顺序运行一组工作和流程,一种 KV 文件格式来建立任务之间的依赖关系,并提供一个易于使用的 Web 用户界面维护和跟踪你的工作流。

Azkaban 恰恰是这样一种工具,只需要了解相关配置及语法规则,数据工程师就可以完成大数据的任务调度开发。

本次分享的主要内容如下:

  • Azkaban 任务调度器简介;
  • 零基础搭建分布式 Azkaban;
  • 如何实现 Project 之间的依赖;
  • 如何进行开发任务插件(实战任务失败钉钉报警, PagerDuty 电话报警)。

作者:周祥超,火币研发中心数据平台组团队负责人,前 BAT 之一的数据研发团队 Leader。长期在互联网与金融领域从事一线数据平台的规划设计、实现、开发以及管理工作,擅长大数据相关技术、高可用组件开发、搜索系统架构,性能优化等。

416 人已订阅
会员免费看
¥1 原价订阅
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效
严选标准
知道了
Chat 状态详情
开始预订
预订结果公布19.03.12

预订达标,作者开始写作

审核未达标,本场 Chat 终止

作者文章审核结果公布19.03.22

审核达标,文章发布

审核未达标,本场 Chat 终止

Chat 完结
×
已购列表