一种分布式环境下自适应分页算法实现

作者/分享人:天涯阁主
向 Ta 提问
1.在某世界前三视频监控领域企业担任某一监控子行业技术开发经理,承担数十亿大型智慧城市项目的web平台架构和搭建,在此行业深耕多年 2.现加入一互联网金融企业,担任某一事业部金融平台研发负责人,从0开始构建部门金融业务平台

随着业务的数据量越来越大,发现我们的批量任务执行需要的时间越来越久,为了让任务在合理的时间内完成,我们很多时候会选择加服务器,即部署更多的服务器来执行这个任务,但是随着服务器数量的增多,往往又暴露出另外一个问题,如何将任务合理的分割成不同的单元让不同的服务器来执行呢?这样我们有什么办法来让各个服务器自己“力所能及”的执行任务,来让任务尽可能快的完成?

本文将介绍一种分布式环境的自适应分页算法来解决这一难点。它不仅可以规避数据倾斜,环境差异给我们带来的任务合理分割带来的难度,而且执行动态扩展,添加新的服务器,不需要重新规划任务,就能自动调整每台服务其的任务量。

本文包含的内容主要包含以下章节:

  1. 大数据量任务分割难点分析
  2. 解决方案讨论分析
  3. 自适应算法核心思想介绍及代码示例
  4. 总结及扩展
已有89人预订
预订达标
文章出炉
     
04月16日
04月30日
预订后,您将在04月30日之前获得一篇专享文章,您还将获得一张天涯阁主的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
退款保证:
• 04月21日前,预订人数未达标,您将获得全额退款。
• 作者未按时完成文章,您将获得全额退款。
你可能还喜欢
解读《阿里巴巴 Java 开发手册》背后的思考
Hollis
Python 数据分析师必备的入门学习路线和技能
zglg
LeetCode 刷题指南以及常见算法题解题思路总结
kerry
高并发系统缓存实战入门
饿了么物流技术团队
从零开始做你自己的文字识别系统
天马行空
写一个 IoC/DI 容器来理解 Spring 框架的思想
愚凡
RabbitMQ 实战
寒月
掌握这些方法和技巧,你的自学才会更加有效率!
一个自学的程序员
业务架构实践:一步一步画出业务架构图
高福来
走出 Vue 新手村
Meathill
高性能系统设计:基于领域模型的互联网点赞系统
文心紫竹
Git 扫盲:用命令行剖析 Git 使用
叫我闪电
Java 多线程并发运用:解析单个大文件入库
woodwang
从码农到工匠:程序员的质量修炼之道
蔡建斌
Java 工程师核心基础修炼
Kings
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
添加小助手微信×