从0开始,设计研发一个全功能通用大数据系统

作者/分享人:在路上
向 Ta 提问
大数据/AGI架构师,"核心架构师"专家组成员。熟悉:计算机指令、操作系统、数据库、网络通信、网络协议、加密/安全技术、分布计算体系、区块链、深度学习…… 现从事全球首个全栈通用大数据系统和通用人工智能技术融合、API接口定制工作。

在计算机产业发展的70年时间里,每一次的 IT 革命,无不带来:更低廉的价格、更完善的功能、更便捷的使用、更广阔的市场!

大数据经过10年发展,现在已经到了一个重要的分水岭阶段:通用性和兼容性能力成为大数据发展主流,运行的稳定可靠和使用的简捷、易开发、易维护成为产品发展的驱动力,而这正是 Hadoop/Spark 这类积木式模块框架无法满足的。

本 Chat 讲述这样一个通用大数据系统:系从0开始设计研发,从最底层做起,首次将云计算、大数据、数据库、容器、中间件的技术和功能溶为一体。在满足:简单、稳定可靠、易开发、易维护、低成本的同时,在集群规模和数据处理能力上,更是达到惊人的1,000,000级节点、 EB 量级可计算数据(1EB=1,073,741,824GB)、100,000,000次/秒响应规模。目前已是诸多云计算、物联网、超级计算机、人工智能、区块链等大数据应用的基础平台。

讲述内容包括:

  1. 系统架构设计
  2. 网络通信
  3. 数据的组织、结构、存取、调配
  4. 各种场景的分布算法
  5. 体系安全设计
  6. 系统的冗余容错
  7. 人机交互接口
  8. 大数据应用开发(分为系统层和用户层)
  9. 运行测试

本Chat的核心要点众多,涉及大数据的理论、技术、产品设计、实践应用,篇幅很长(六、七万字),敬请耐心阅读理解。

已有373人预订
预订达标
文章出炉
     
02月26日
04月04日
本场 Chat 文章已出炉,购买后即可阅读文章并获得一张在路上的读者圈Pass
请务必添加GitChat服务号以查看活动进度及获取活动通知。
你可能还喜欢
关于为何以及如何阅读源码的一点心得
追梦
从零开始,轻松打造你的聊天机器人
微软公开课
每周一个机器学习小项目001:全链接层实现与分类问题
如是
通过前端团队管理谈谈技术管理的技法与思想
常新居士
朋友圈爆款背后的计算机视觉技术与应用
AI科技大本营
为什么说 Java 程序员到了必须掌握 Spring Boot 的时候?
纯洁的微笑
量化教程 1:Python 基础
chen_h
每周一个机器学习小项目002:卷积神经网络实现与图片分类问题
如是
从架构角度来看 Java 分布式日志如何收集
张振华
领域驱动设计(DDD):如何快速入门
malaoko
Java 日志从入门到实战
JPM
分布式系统中服务降级策略探究
追梦
MyBatis 进阶:运行原理、插件、自定义类型、Cache、级联
阿福
通过源码深入理解 Spring Bean 的创建过程
零基础小白如何快速入门 Bootstrap
Nancy
微信扫描登录