Hadoop技术与应用(高职高专大数据技术与应用专业系列教材)

本书采用“理论+实战”的形式编写，将企业需求分解为单独的项目，全面系统地讲解了Hadoop大数据的相关知识及应用。全书共12个项目，首先介绍了大数据技术的发展、Hadoop生态圈的组成、Hadoop集群部署、采集数据上传到HDFS；接着具体介绍了为提高集群的可持续服务，在分布式协调组件ZooKeeper的协助下，部署HDFS的HA集群和YARN的HA集群的方法；然后讲解了MapReduce、HBase和Hive的实际应用，并具体讲解了通过Flume监听Hadoop集群日志，以及使用Sqoop实现数据在MySQL和HDFS之间的相互传输；很后介绍如何借助Ambari工具一站式部署、管理Hadoop集群，并展望了大数据未来的发展方向。
本书适合作为高职高专院校大数据技术课程的教学用书，也适合作为培训机构和大数据技术爱好者的参考用书。

项目1 大数台部署前的环境准备
任务1 大数据技术及应用
任务描述
知识准备
一、大数据简介
二、大数据的特征
三、大数据相关概念
四、大数据的典型应用
任务实施通过思维导图展示大数据技术的应用
任务2 获取Hadoop资源
任务描述
知识准备
一、Hadoop的起源
二、Hadoop的特点
三、Hadoop生态圈
四、Hadoop版本演变
五、常见Hadoop的发行版本
任务实施 通过Hadoop官网下载Hadoop软件
能力拓展Hadoop部署前的环境配置
项目小结
课后习题
项目2 部署Pladoop集群
任务1 部署单机模式Had
任务描述
知识准备
一、Hadoop的安装方式
二、安装IDK
任务实施 安装单机模式Hadoop
任务2 部署伪分布模式Hadoop
任务描述
知识准备
一、Hadoop集群
二、Hadoop目录介绍
任务实施部署伪分布模式Hadoop
能力拓展部署Hadoop集群
项目小结
课后习题
项目3 采集数据到4DFS
任务1 通过Shell采集数据到HDFS一
任务描述
知识准备
一、HDFS简介
二、HDFS的优势
三、HDFS的局限性
四、HDFS的架构
五、HDt?s的工作机制
六、HDFS的容错
七、访问HDFS
任务实施 通过Shell命令采集数据到HDFS
任务2 通过JavaAPI采集数据到HDFS
任务描述
知识准备
一、文件读取
二、文件写入
三、安装Java开发环境
任务实施 通过JavaAPI采集数据到HDFS
……
项目4 部署HDFS的HA集群
项目5 部署YARN的HA集群
项目6 MapReduce应用
项目7 部署开源数据库HBase
项目8 部署数据仓库Hive
项目9 利用Flume监听数据
项目10 Sqoop实现数据传输
项目11 Ambari部署Hadoop集群
项目12 大数据的未来
参考文献