Azkaban 分布式任务调度部署实战

作者/分享人:火币集团研发中心
向 Ta 提问
火币集团技术研发中心是火币集团的一级部门, 主要负责7*24实时交易系统,实时风控系统,数字钱包,数据服务,大数据分析等系统的研发和系统维护工作,同时也为火币集团的全球生态事业群提供技术支持。我们致力于搭建全球领先的数字资产交易平台,提供逾两百对数字资产品类的交易及投资服务。同时研发中心也是区块链技术与基础设施的构建者,专注于区块链底层技术和应用场景相结合的研发,逐渐成为该领域的重要力量。

随着公司业务规模扩大,运营需要各种数据进行指导运营策略;产品需要各种数据需要指导产品工作;研发也需要在海量数据中快速定位一些指标重构现有系统以便提高性能。以往的 Crontab 模式很难满足现有任务调度,急需一个批量工作流任务调度器,以一个特定的顺序运行一组工作和流程,一种 KV 文件格式来建立任务之间的依赖关系,并提供一个易于使用的 Web 用户界面维护和跟踪你的工作流。

Azkaban 恰恰是这样一种工具,只需要了解相关配置及语法规则,数据工程师就可以完成大数据的任务调度开发。

本次分享的主要内容如下:

  • Azkaban 任务调度器简介;
  • 零基础搭建分布式 Azkaban;
  • 如何实现 Project 之间的依赖;
  • 如何进行开发任务插件(实战任务失败钉钉报警, PagerDuty 电话报警)。

作者:周祥超,火币研发中心数据平台组团队负责人,前 BAT 之一的数据研发团队 Leader。长期在互联网与金融领域从事一线数据平台的规划设计、实现、开发以及管理工作,擅长大数据相关技术、高可用组件开发、搜索系统架构,性能优化等。

已有311人预订
预订达标
文章出炉
交流日期
     
03月08日
03月15日
03月21日 20:30
查看文章评论/提问
jesse
有代码不
Andy
提问,Azkaban跨project依赖能实现吗?怎么实现?
大印
图片加载不出来啊
你可能还喜欢
高并发、低 RT 的风控系统架构及技术架构的实现
火币集团研发中心
程序员副业赚钱的 8 种模式
安晓辉
全栈开发入门实战:后台管理系统
鲁鹏
每一个开发人员都应该懂的 UML 规范
码匠笔记
不写代码:程序员最重要的技能 [英文版]
Chat 三人行
“花式吊打”系列之逻辑回归讲透透
天马行空
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
添加小助手微信×