课程介绍 & 学习指南

写在前面的话

你好，我是李鹏程，高级数据工程师、大数据讲师。这次给大家带来的是《大数据数据仓库技术 Hive》课程。

2013 年被称为大数据元年，随着互联网的快速发展和信息爆炸式增长，带来了数据存储、运算方式的革命。一种全新的，完全依附于分布式架构的技术解决方案，被称为大数据。

虽然在分布式架构下，数据存储的延迟会较高，数据处理时的调度耗时也较大；但它也带来了极强的扩展性，而且在海量数据规模下吞吐量极大，处理速度非常快（海量数据规模下，调度时间远远小于处理时间），解决了大数据规模下的存储、处理的痛点。

因为传统数据处理，主要还是以结构化数据为主，存储在传统数据仓库中，使用 SQL 进行处理。而使用大数据处理时，需要使用特定的 API 进行分布式运算，这样的话，传统数据仓库的迁移就会花费大量的成本，历史业务全部需要重构，并会带来极大的学习成本。

所以，大数据技术在分布式存储、分布式通用计算的基础上，针对不同场景（如数据仓库、实时流处理、图计算、分布式机器学习、搜索与检索），提供了丰富的大数据产品，致力解决易用性问题。在数据仓库场景中，最为资深、经久不衰的，便是 Hive。在企业大数据数据仓库的选型中，Hive 必然会有一席之地。

随着 5G 时代的来临，企业的数据量会与日益增，那么传统数据处理架构便要逐步更换为大数据架构，而首当其冲的便是数据仓库。大数据数据仓库的开发、运维人才是企业迫切需要的。并且因为大数据的兴起，人工智能也换发了第二春，大数据与人工智能是相辅相成的两个方向；人工智能需要海量数据进行模型训练，而这部分数据的来源，必然是数据仓库。

随着时间的发展，大数据会逐步成为主流，企业围绕着数据仓库展开的处理业务也会越来越多，需要的职位也会越来越多，但目前为止，与数据相关的 JobDetail 中，最基础的要求还是 Hive。

但一般而言，Hive 的入门会有一定的门槛；首先是因为环境搭建比较麻烦，很容易劝退，其次 Hive 是一个上手简单，但深入较难的框架，而且网上的资料层次不齐，有很多问题。专栏内容会尽量帮大家降低入门的门槛，提供环境一键搭建脚本，快速完成大数据 Hive 环境的搭建，直接便可以上手并见到效果。在内容上，详细讲解 Hive 框架，涵盖其大部分的功能，以入门为主，并且有一定的进阶内容，语言精练，逐步为大家扎实基础。

在专栏的写作过程中，参考了最新的官方文档，因为文档存在一些问题和缺失，在专栏中进行了校正；在实际操作过程中，花费了大量时间，解决了很多环境集成的问题；并且为了严谨起见，帮助大家有效学习，专栏中的代码，还有各种搭建流程，Review 了一周的时间，保证大家按照文档进行操作时，不会出现问题。

专栏亮点

1. 拥有 5 分钟内快速搭建大数据集群的能力
2. 扎实掌握大数据 Hive 的基本 & 进阶内容
3. 能够胜任 Hive 数据仓库的开发、运维工作
4. 掌握Hive 的调优思路和操作

课程内容

本课程是一个系列基础教程，目的是系统性的讲解大数据数据仓库Hive技术，并辅助实战内容，助力开发者快速入门大数据Hive开发。教程主要技术路线以Hive为导向，分为5部分内容：Hive基础知识、Hive SQL、运维&监控、性能优化、底层引擎&功能集成。

专栏一共分为 5 部分：

1. 第 1 部分为 Hive 概述、环境搭建，帮助快速整理、构建 Hive 的基本印象，并使用脚本快速完成环境准备；
2. 第 2 部分讲解 Hive SQL 的基本与高级操作，并包含 Hive 内置函数以及 UDF 的编写；
3. 第 3 部分讲解 Hive 运维和监控方面的内容；
4. 第 4 部分主要围绕性能调优展开；
5. 第 5 部分则主要讲解 Hive 执行 & 查询引擎的切换，包含 Hive On Spark、Hive On Tez、Hive On LLAP，并与 HPL/SQL 和 HBase 进行了集成。

认真阅读完此教程后，可以快速掌握大数据 Hive 技术，技术点涵盖 Hive 大部分功能，能迅速运用到开发生产当中。

适用人群

1. 大数据的初学者
2. 向大数据数据处理转型的企业开发者
3. 想扎实掌握 Hive 技术的开发者

作者简介

学习指南

在整体课程学习的时候，先不要陷入细节中，可以快速浏览下课程内容，在整体上有个大概的把握，然后再阅读每一部分内容。否则，不见全貌，而陷入对细节的纠结中，会对之后的学习产生不利的影响。而且课程内容一定是要看好几遍的，第一遍只是帮助你搭建一个知识框架，之后的每一遍阅读都会使你对知识的理解更为深入；由浅入深，这才是知识的学习步骤。

而且在技术学习中，尤其在线上课程中，大部分学员会在环境搭建这里花费很长时间，然后学习热情被消耗殆尽，课程也就仅仅完成了从入门到放弃的劝退功能。所以环境的开箱即用是最重要的，尽量在环境上少花费时间，因为在企业开发中，环境都是现成的；如果真的需要亲自去完成环境搭建，也不需要记住每一步过程，留个文档，甚至写个脚本复用就好。

所以在课程中，会提供一键安装脚本，帮助在集群中快速建立大数据集群环境。只需要大家在 Virtual Box 上准备 3 台 CentOS 7.2 的虚拟机环境即可，当然虚拟机镜像也会提供。环境的快速搭建，帮助大数据开发的学员迅速进入实际操作环节，而且对运维的学员也是一种福利。

好，整体交代清楚后，来一起正式开始大数据数据仓库技术 Hive 的学习吧。

购买须知

• 本专栏为图文内容，共计 22 篇。
• 付费用户可享受文章永久阅读权限。
• 本专栏为虚拟产品，一经付费概不退款，敬请谅解。
• 本专栏可在 GitChat 服务号、App 及网页端 gitbook.cn 上购买，一端购买，多端阅读。