从0开始,设计研发一个全功能通用大数据系统

作者/分享人:在路上
向 Ta 提问
大数据/AGI架构师,"核心架构师"专家组成员。熟悉:计算机指令、操作系统、数据库、网络通信、网络协议、加密/安全技术、分布计算体系、区块链、深度学习…… 现从事全球首个全栈通用大数据系统和通用人工智能技术融合、API接口定制工作。

在计算机产业发展的70年时间里,每一次的 IT 革命,无不带来:更低廉的价格、更完善的功能、更便捷的使用、更广阔的市场!

大数据经过10年发展,现在已经到了一个重要的分水岭阶段:通用性和兼容性能力成为大数据发展主流,运行的稳定可靠和使用的简捷、易开发、易维护成为产品发展的驱动力,而这正是 Hadoop/Spark 这类积木式模块框架无法满足的。

本 Chat 讲述这样一个通用大数据系统:系从0开始设计研发,从最底层做起,首次将云计算、大数据、数据库、容器、中间件的技术和功能溶为一体。在满足:简单、稳定可靠、易开发、易维护、低成本的同时,在集群规模和数据处理能力上,更是达到惊人的1,000,000级节点、 EB 量级可计算数据(1EB=1,073,741,824GB)、100,000,000次/秒响应规模。目前已是诸多云计算、物联网、超级计算机、人工智能、区块链等大数据应用的基础平台。

讲述内容包括:

  1. 系统架构设计
  2. 网络通信
  3. 数据的组织、结构、存取、调配
  4. 各种场景的分布算法
  5. 体系安全设计
  6. 系统的冗余容错
  7. 人机交互接口
  8. 大数据应用开发(分为系统层和用户层)
  9. 运行测试

本Chat的核心要点众多,涉及大数据的理论、技术、产品设计、实践应用,篇幅很长(六、七万字),敬请耐心阅读理解。

已有465人预订
预订达标
文章出炉
     
02月26日
04月04日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张在路上的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
你可能还喜欢
Docker 入门之个人博客搭建教程
一念成魔
JVM 精华知识点汇总
胡玉洋
美团客户端响应式框架 EasyReact 开源
美团技术团队
MySQL 数据同步双机互备
小闲丶
前端游戏框架哪个好
cba
Spring Boot 最佳入门实践
老王
实战剖析 Java 并发编程
benjming
初中级程序员 BAT 面试宝典
麻酱
知识图谱发展史
AI科技大本营
美团针对 Redis Rehash 机制的探索和实践
美团技术团队
阿里云 Linux 平台如何通过 Nginx 搭建 HTTPS 环境
kevin_power
我的安卓生涯:从6k到25K,都经历了什么
珠穆朗玛
SpringBoot : 一个应用启动引擎而已
文心紫竹
区块链溯源系统开发,4小时从入门到精通!
Lijia
分布式系统架构详解
一跃
微信扫描登录