聊聊 Kinesis 如何根据流量进行弹性伸缩

作者/分享人:天澄
向 Ta 提问
高级后端开发工程师,多年互联网研发经验,精通 Python,目前从事 Python 后端开发和大数据相关工作。公众号:「天澄技术杂谈」作者。

Kinesis 是 AWS 上实时流数据处理平台,可以实时收集、处理和分析流中的数据。

Kinesis 的每一个分片接收数据的大小和记录数有一定的限制:单个分片可以提取多达每秒 1 MiB 的数据 (包括分区键) 或每秒写入 1000 个记录。

当遇到流量的高峰和低谷的时候,分片的大小不是固定的,当然你可以一直选择一个高峰时分片数,但这个在每天流量低谷的时候,分片就显得比较冗余,也浪费钱。 所以需要根据实时监控流量调整分片数量显得非常必要了,AWS 只是提供了能修改分片的 API,如何调整策略了,本篇文章带你详细了解其解决方案。

将学到:

  1. 了解 Kinesis;
  2. 了解 Kinesis 常用场景和架构设计;
  3. 了解 Kinesis 在大数据架构中的运用;
  4. 了解到的 Kinesis 分片根据流量实时进行弹性伸缩解决方案和具体代码。
活动取消
已有38人预订
预订达标
文章出炉
     
03月16日
03月23日
退款保证:
• 03月16日前,预订人数未达标,您将获得全额退款。
• 作者未按时完成文章,您将获得全额退款。
你可能还喜欢
高并发、低 RT 的风控系统架构及技术架构的实现
火币集团研发中心
程序员副业赚钱的 8 种模式
安晓辉
全栈开发入门实战:后台管理系统
鲁鹏
每一个开发人员都应该懂的 UML 规范
码匠笔记
不写代码:程序员最重要的技能 [英文版]
Chat 三人行
“花式吊打”系列之逻辑回归讲透透
天马行空
批量任务处理神器:Spring Batch
天涯阁主
如何打造爆款付费文章
老王
设计模式架构解析
疯狂的架构
理理 Java 开发中常见的设计模式
woodwang
如何快速准备面试中的算法,获得 Offer?
我爱大口吃饭
深度学习卷积神经网络架构设计核心技术
言有三
从本质如何理解机器学习
李韬
BAT + 程序员校招指南
黄小斜
进阶:Dockerfile 高阶使用指南及镜像优化
张晋涛
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
添加小助手微信×