从 0 开始,设计研发一个全功能通用大数据系统

作者/分享人:在路上
向 Ta 提问
大数据/AGI架构师,"核心架构师"专家组成员。熟悉:计算机指令、操作系统、数据库、网络通信、网络协议、加密/安全技术、分布计算体系、区块链、深度学习…… 现从事全球首个全栈通用大数据系统和通用人工智能技术融合、API接口定制工作。

在计算机产业发展的 70 年时间里,每一次的 IT 革命,无不带来:更低廉的价格、更完善的功能、更便捷的使用、更广阔的市场!

大数据经过 10 年发展,现在已经到了一个重要的分水岭阶段:通用性和兼容性能力成为大数据发展主流,运行的稳定可靠和使用的简捷、易开发、易维护成为产品发展的驱动力,而这正是 Hadoop/Spark 这类积木式模块框架无法满足的。

本 Chat 讲述这样一个通用大数据系统:系从 0 开始设计研发,从最底层做起,首次将云计算、大数据、数据库、容器、中间件的技术和功能溶为一体。在满足:简单、稳定可靠、易开发、易维护、低成本的同时,在集群规模和数据处理能力上,更是达到惊人的1,000,000级节点、 EB 量级可计算数据(1EB=1,073,741,824GB)、100,000,000次/秒响应规模。目前已是诸多云计算、物联网、超级计算机、人工智能、区块链等大数据应用的基础平台。

讲述内容包括:

  1. 系统架构设计
  2. 网络通信
  3. 数据的组织、结构、存取、调配
  4. 各种场景的分布算法
  5. 体系安全设计
  6. 系统的冗余容错
  7. 人机交互接口
  8. 大数据应用开发(分为系统层和用户层)
  9. 运行测试

本 Chat 的核心要点众多,涉及大数据的理论、技术、产品设计、实践应用,篇幅很长(六、七万字),敬请耐心阅读理解。

已有804人预订
预订达标
文章出炉
     
02月26日
04月04日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张在路上的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
你可能还喜欢
如何设计一个灵活的 MySQL 数据表,应对灵活多变的需求
李岩
Jenkins 自动化构建部署实战
火币集团研发中心
Java 程序员应掌握的 Nginx 实战应用
JPM
带你玩转 JSON
能量架构师
Python Pandas 做数据分析之玩转 Excel 报表分析
WinterLeo
小程序从入门到进阶
loonglong
实战剖析 Java 秒杀系统的实现
虎口脱险
从零搭建 Hadoop 集群
杨爵爷
实战讲解接口自动化测试思路
金刚
Java 并发面试题解
Eric Chen
一篇文章读懂 MySQL 中的锁
张宏杰
成功微服务实施的技术演进
顾宇
电商项目可扩展性数据库设计与实现
丹丹
Linux 脚本攻略一(基础知识点)
无人驾驶
从 Word Embedding 到 Bert:一起肢解 Bert!
武博士
微信扫描登录