保存成功
保存失败,请重试
提交成功

Hadoop 分布式数据存储层 HDDS:基于容器化的块服务架构层

作者/分享人:爱闲逛的猿仔
Apache Hadoop Committer / PMC member,其中研究领域为HDFS模块,曾参与HDDS(Ozone)和RBF特性的开发工作。著有《深度剖析Hadoop HDFS》一书,百万级访问量博主(https://blog.csdn.net/Androidlushaengderen)

在生产环境大规模使用过 Hadoop 做大数据存储的同学中,或多或少都遇到过 HDFS NameNode 的扩展性问题。随着数据规模的增长,NameNode 所持有的元数据信息将不断地膨胀,继而引发各种性能问题。

NameNode 在这方面的问题来自于早期设计中没有将块管理完全分离出去。对此,社区在过去很长一段时间内设计实现了一套全新的基于容器化思想的块服务架构层:HDDS(Hadoop分布式数据存储层)。这个块服务层在未来不仅能够服务于 HDFS,还能有别的一些使用场景,比如对象存储。

本次 Chat 将带领大家学习了解 HDDS,它也是继 HDFS、MapReduce、YARN 之后的 Hadoop 第四大组件模块。HDDS 的现有实现方式一部分吸取了 HDFS 设计上的一些经验教训,所以它有着全新的架构设计。

通过本次 Chat 的学习,您将学习到:

  1. HDDS 的起源和诞生;
  2. HDDS 的架构体系;
  3. HDDS 如何解决 HDFS 的扩展性问题;
  4. HDDS 未来的使用场景。
已有307人预订
预订达标
文章出炉
交流日期
     
18.11.05
18.11.19
18.11.29 20:30
查看文章评论/提问
两个胖子9 个月前
您好,在hadoop2.90版本上,已经引入了Federation来解决nn的扩展性,虽然多个namespace是从上层的应用逻辑来实现的,那么HDDS是想从根本上解决nn内存高消耗的问题么?既然社区经过长期讨论后仍然推出了HDDS,那么就是Federation的方案并不彻底,而且应对未来更大量级的数据时,Federation方案恐怕也显得鸡肋了,我这样理解对么?
李涛~1 年前
收藏,整理的不错
你可能还喜欢
Redis 难题突破,最经典 36 题含详细解析
慕容千语
送卫衣:GitChat 1024 留言有奖活动来啦!
GitChat 内容组
如何依靠副业赚钱,应对人到中年的职场危机
代码GG陆晓明
数据结构算法常见的 100 道面试题全解析:2019 版
攻城狮
Redis 面试题全解析
驰骋
【有奖活动】用一句话证明你是程序员
🐡赵小胖
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!
入群与作者交流×
扫码后回复关键字 入群
Chat·作者交流群
入群码
该二维码永久有效