在未来 5G 时代,数据量必然更加庞大;而且在数据挖掘、人工智能的场景下,数据越来越体现出了重要的价值。随着数据量的膨胀,传统数据处理架构也在面临着挑战,逐渐升级为大数据架构基本是企业的大势所趋。
但市面上的大数据入门材料质量参差难辨,而且不够全面、不成体系。一般而言,大数据的入门会有一定的门槛;首先是因为环境搭建比较麻烦,很容易劝退;其次框架众多,需要花费一定的学习时间。
本专栏致力于帮大家降低入门的门槛,提供环境一键搭建脚本,快速完成大数据环境搭建,直接便可以上手并见到效果。在内容上,主要讲解 Hadoop 框架,包含 HDFS、Yarn、MapReduce,以入门为主,语言精练,逐步为大家构建大数据技术的印象,扎实基础。
学习本专栏后,可以快速入门大数据 Hadoop 技术,并掌握大数据 Hadoop 技术的原理、架构,能迅速运用到开发生产当中。
专栏内容一共分为 4 部分:大数据简介、HDFS、Yarn、MapReduce。
在简介部分,主要介绍大数据的诞生背景、基本概述、应用场景、编年史,并讲解大数据的生态架构、技术体系。我们在这部分将全面了解、掌握大数据的前世今生,构建对大数据技术的整体印象。
HDFS 部分,首先介绍 HDFS 基本情况,然后分别讲解 HDFS 的系统架构、存储模式、读写操作、安全模式、高可用等原理内容。HDFS 的使用上,主要讲解环境搭建与配置、HDFS 服务命令、Shell 命令、Java API。最后运维部分,讲解 HDFS 运维命令、系统监控的内容。
Yarn 部分,从简介、原理、资源调度策略、运维与监控 4 部分着手,分别讲解 Yarn 的诞生目标、设计目标、系统架构、高可用、资源调度策略,运维这里,会涉及到 Yarn 的基本命令、配置文件、可视化监控。
MapReduce 部分,从简介、原理、作业管理、使用案例展开,讲解 MapReduce 基本概念、适用场景,并分析其基本架构、执行过程、运行模式。在代码实战,会介绍作业的提交与管理、监控与诊断,并附上 4 个基础案例进行讲解和练习。
在未来 5G 时代,数据量必然更加庞大;而且在数据挖掘、人工智能的场景下,数据越来越体现出了重要的价值。随着数据量的膨胀,传统数据处理架构也在面临着挑战,逐渐升级为大数据架构基本是企业的大势所趋。
但市面上的大数据入门材料质量参差难辨,而且不够全面、不成体系。一般而言,大数据的入门会有一定的门槛;首先是因为环境搭建比较麻烦,很容易劝退;其次框架众多,需要花费一定的学习时间。
本专栏致力于帮大家降低入门的门槛,提供环境一键搭建脚本,快速完成大数据环境搭建,直接便可以上手并见到效果。在内容上,主要讲解 Hadoop 框架,包含 HDFS、Yarn、MapReduce,以入门为主,语言精练,逐步为大家构建大数据技术的印象,扎实基础。
学习本专栏后,可以快速入门大数据 Hadoop 技术,并掌握大数据 Hadoop 技术的原理、架构,能迅速运用到开发生产当中。
专栏内容一共分为 4 部分:大数据简介、HDFS、Yarn、MapReduce。
在简介部分,主要介绍大数据的诞生背景、基本概述、应用场景、编年史,并讲解大数据的生态架构、技术体系。我们在这部分将全面了解、掌握大数据的前世今生,构建对大数据技术的整体印象。
HDFS 部分,首先介绍 HDFS 基本情况,然后分别讲解 HDFS 的系统架构、存储模式、读写操作、安全模式、高可用等原理内容。HDFS 的使用上,主要讲解环境搭建与配置、HDFS 服务命令、Shell 命令、Java API。最后运维部分,讲解 HDFS 运维命令、系统监控的内容。
Yarn 部分,从简介、原理、资源调度策略、运维与监控 4 部分着手,分别讲解 Yarn 的诞生目标、设计目标、系统架构、高可用、资源调度策略,运维这里,会涉及到 Yarn 的基本命令、配置文件、可视化监控。
MapReduce 部分,从简介、原理、作业管理、使用案例展开,讲解 MapReduce 基本概念、适用场景,并分析其基本架构、执行过程、运行模式。在代码实战,会介绍作业的提交与管理、监控与诊断,并附上 4 个基础案例进行讲解和练习。
绑定成功