Azkaban 分布式任务调度部署实战

作者/分享人:火币集团研发中心
向 Ta 提问
火币集团技术研发中心是火币集团的一级部门, 主要负责7*24实时交易系统,实时风控系统,数字钱包,数据服务,大数据分析等系统的研发和系统维护工作,同时也为火币集团的全球生态事业群提供技术支持。我们致力于搭建全球领先的数字资产交易平台,提供逾两百对数字资产品类的交易及投资服务。同时研发中心也是区块链技术与基础设施的构建者,专注于区块链底层技术和应用场景相结合的研发,逐渐成为该领域的重要力量。

随着公司业务规模扩大,运营需要各种数据进行指导运营策略;产品需要各种数据需要指导产品工作;研发也需要在海量数据中快速定位一些指标重构现有系统以便提高性能。以往的 Crontab 模式很难满足现有任务调度,急需一个批量工作流任务调度器,以一个特定的顺序运行一组工作和流程,一种 KV 文件格式来建立任务之间的依赖关系,并提供一个易于使用的 Web 用户界面维护和跟踪你的工作流。

Azkaban 恰恰是这样一种工具,只需要了解相关配置及语法规则,数据工程师就可以完成大数据的任务调度开发。

本次分享的主要内容如下:

  • Azkaban 任务调度器简介;
  • 零基础搭建分布式 Azkaban;
  • 如何实现 Project 之间的依赖;
  • 如何进行开发任务插件(实战任务失败钉钉报警, PagerDuty 电话报警)。

作者:周祥超,火币研发中心数据平台组团队负责人,前 BAT 之一的数据研发团队 Leader。长期在互联网与金融领域从事一线数据平台的规划设计、实现、开发以及管理工作,擅长大数据相关技术、高可用组件开发、搜索系统架构,性能优化等。

已有176人预订
预订达标
文章出炉
交流日期
     
03月08日
03月15日
03月21日 20:30
本场Chat文章已出炉,交流活动时间为 03月21日 20:30,敬请期待!预订本场Chat,您还将获得一张火币集团研发中心的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
查看文章评论/提问
jesse
有代码不
退款保证:
• 03月12日前,预订人数未达标,您将获得全额退款。
• 作者未按时完成文章,您将获得全额退款。
• 作者未按时间进行分享,您将获得全额退款。
你可能还喜欢
110 道 Python 面试笔试题超强汇总
嘉美伯爵
Redis 实战场景详解
驰骋
轻松搞定机器学习中的概率统计知识
Evan
Git 扫盲,用命令行优雅的理解 Git 底层机制
叫我闪电
架构师成长之路之服务治理漫谈
飞狐
从学生到职场,这位百万爬虫博主都经历了什么?
崔庆才丨静觅
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!