饿了么 Influxdb 实践之路

作者/分享人:刘平
向 Ta 提问
基于saltstack的开发配置管理系统,服务于饿了么上万台机器管理 基于golang、influxdb、grafana开发监控系统,服务于饿了么上万台机器以及基础设施

目前饿了么基础设施的监控存储使用的是时序数据库 influxdb,监控规模达到 2 万台机器以上,每秒写入指标数 300k,自研的代理单机可承受 1.5M/s 的写入量。本场 Chat 从以下5个角度进行分享:

  1. 为什么选择 Influxdb,主要从维护成本,学习成本,支持数据类型考虑。
  2. Influxdb 基本概念,讲解 measurement, tag, field, series, rp, cq, line protocol 等。
  3. 前期使用姿势,存在的问题,踩了什么坑。
  4. 引入新的解决方案,开发类 cluster 功能,统一接入。项目都是开源的。
  5. 数据聚合,引入 spark。
已有140人预订
预订达标
文章出炉
交流日期
     
17.05.26
17.06.09
17.06.15 20:30
查看文章评论/提问
barryz
刘老师棒棒的, 关注
arun: 刘老师,张老师棒棒的,关注
请问饿了么用Influxdb记录一些什么数据,设计Measurement字段的时候有一些什么需要考虑?
lwh
wal文件作为内存的缓存,会不会导致性能上的问题?
梨落
根据我之前的了解 这个是做不到measurement的迁移的。请问 如果一台机器快写满了,怎么做到数据的迁移呢?
Μг.Sυη
刘老师,关于influxdb大量数据读写的时候,性能飙升的问题您是如何处理的?我在使用influxdb实践中,大量读写中,cpu等性能参数居高不下,很困惑,您能给出些好的建议吗?
刘平: 大量读写,cpu肯定高啊,大量写我是明白的,大量读是什么场景?能否看看优化查询? 因为influxdb用于监控,查询是很少的,因为谁没事去看监控啊
1
你好,对于 > 插入数据时,先往cache中写入再写入wal中,可以认为cache是wal文件中的数据在内存中的缓存。 这一观点我觉得您的说法和官方文档有些出入,官方文档中说的是先写入wal文件再写入内存,而不是先写入内存。 官方文档: https://docs.influxdata.com/influxdb/v1.2/concepts/storage_engine/#write-ahead-log-wal
刘平: 谢谢更正
敬艺
influxdb-proxy是官方提供的吗?还是自己写的?
郭大爷: 上github搜索,shell909090,有一个仓库influxdb-proxy,就是刘师傅和shell909090写的
你可能还喜欢
Spring Cloud Consul 从入门到精通
如梦技术 dreamlu
ACT 敏捷教练培养体系
Chat 三人行
Spring 注解是如何实现的
飞翔
程序员的自我进化:学习之道,如何更有效的学习
Soyoger
零基础开发一款微信小程序商城
aserbao
Spring Data JPA 晋级提升篇:复杂场景实战用法与优化
张振华
微信扫描登录