一种分布式环境下自适应分页算法实现

作者/分享人:天涯阁主
向 Ta 提问
1.在某世界前三视频监控领域企业担任某一监控子行业技术开发经理,承担数十亿大型智慧城市项目的web平台架构和搭建,在此行业深耕多年 2.现加入一互联网金融企业,担任某一事业部金融平台研发负责人,从0开始构建部门金融业务平台

随着业务的数据量越来越大,发现我们的批量任务执行需要的时间越来越久,为了让任务在合理的时间内完成,我们很多时候会选择加服务器,即部署更多的服务器来执行这个任务,但是随着服务器数量的增多,往往又暴露出另外一个问题,如何将任务合理的分割成不同的单元让不同的服务器来执行呢?这样我们有什么办法来让各个服务器自己“力所能及”的执行任务,来让任务尽可能快的完成?

本文将介绍一种分布式环境的自适应分页算法来解决这一难点。它不仅可以规避数据倾斜,环境差异给我们带来的任务合理分割带来的难度,而且执行动态扩展,添加新的服务器,不需要重新规划任务,就能自动调整每台服务其的任务量。

本文包含的内容主要包含以下章节:

  1. 大数据量任务分割难点分析
  2. 解决方案讨论分析
  3. 自适应算法核心思想介绍及代码示例
  4. 总结及扩展
已有122人预订
预订达标
文章出炉
     
04月16日
04月29日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张天涯阁主的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
你可能还喜欢
JVM 问题诊断快速入门
火币集团研发中心
面试字节跳动的一点小经验
Wayne
互联网公司热门面试题:如何保证缓存与数据库的双写一致性?
魏武归心2016
面试官问:为什么在项目中使用消息队列!到底是想考什么?
零下
如何做好性能压测(二) | 性能压测工具选型对比
阿里巴巴中间件
小程序 · 云开发实战:从 0 到 1 快速开发电商小程序
微信极客WeGeek
10 个最高频的 Java NIO 面试题剖析!
Dolphin
大白话聊聊面试中常被问到的分布式事务
不解释 家狗师
恕我直言,90% 的程序员都扛不住这波 MQ 的面试四连炮!
王码农
实战:基于 RocketMQ 的电商高并发秒杀场景
RocketMQ
手把手教你撸一个代码生成器
JohnDeng
业余赚钱实战
追梦1819
SpringCloud 时代:你的项目结构变了吗?
24KBear
50 道常用面试题让你在求职中脱颖而出
Kings
让 Elasticsearch 飞起来——性能优化实践干货
穿着西装敲代码
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效