实战大数据—— 分布式大数据分析处理系统开发与应用

面向大数据开发工程师、大数据运维工程师
五大实战项目，详解大数据分析处理系统（离线/实时）的技术构成与开发实现
随书配备10GB学习资源，包括虚拟机集群、安装包、 配置文件、程序源代码

实战大数据——分布式大数据分析处理系统开发与应用，从大数据技术基础概念出发，介绍了大数据分析的流程和大数据分析处理系统的组成，以及大数据集群的搭建，并在此基础上讲解了多种不同技术构成的离线/实时数据分析系统实战项目。全书共10章，包括大数据概述、大数据分析的基本流程与工具、分布式大数据分析处理系统概述、构建大数据集群环境、构建基于LayUI的集群管理系统、基于HBase的大数据离线分析系统、基于Hive+Hadoop+Spark的大数据离线分析系统、基于MySQL+Spark的大数据离线分析系统、基于Redis+Kafka+Spark的大数据实时分析系统、基于Flume+Kafka+Flink的大数据实时分析系统。
实战大数据—— 分布式大数据分析处理系统开发与应用，适合从事大数据系统搭建与运维、大数据分析等岗位的技术人员阅读，也适合高等院校大数据相关专业的学生使用。

前言
第1章 大数据概述1
1.1 大数据的基本概念1
1.1.1 何谓大数据1
1.1.2 大数据的产生阶段2
1.1.3 大数据的核心技术和计算模式2
1.2 大数据的应用2
1.2.1 大数据的应用场景2
1.2.2 大数据系统的作用2
1.3 大数据技术生态圈3
1.3.1 Linux操作系统3
1.3.2 Hadoop生态系统6
1.3.3 Spark对Hadoop的完善8
1.4 大数据技术的新发展9
1.4.1 Hadoop 3.0的新特性9
1.4.2 大数据引擎Flink10
1.4.3 智能化大数据分析处理11
本章小结12
第2章 大数据分析的基本流程与工具13
2.1 数据采集13
2.1.1 网络爬虫采集数据13
2.1.2 使用Excel爬取数据14
2.2 数据存储16
2.2.1 关系型数据的存储—基于MySQL16
2.2.2 非关系型数据的存储—基于
Redis、HBase17
2.3 数据分析与数据处理18
2.3.1 数据分析常用工具—pandas19
2.3.2 分布式计算框架19
2.3.3 分布式数据挖掘和深度学习20
2.4 数据可视化22
2.4.1 Python数据可视化库Matplotlib22
2.4.2 Python数据可视化库pyecharts22
2.4.3 数据可视化图表库ECharts23
2.4.4 数据可视化工具Apache Superset24
本章小结24
第3章 分布式大数据分析处理系统
概述25
3.1 什么是分布式大数据分析处理
系统25
3.2 分布式大数据分析处理系统的
作用26
3.3 分布式大数据分析处理系统的
应用场景26
3.4 分布式大数据分析处理系统的
构成30
3.4.1 数据采集子系统30
3.4.2 数据存储系统30
3.4.3 数据分析处理系统31
3.4.4 数据可视化系统32
3.5 分布式大数据分析处理系统的
实现32
3.5.1 系统前端—HTML、CSS、jQuery32
3.5.2 系统后端—SpringBoot、SSM33
3.5.3 Web服务器端—Tomcat35
本章小结35
第4章 构建大数据集群环境36
4.1 部署大数据处理环境36
4.1.1 搭建Hadoop集群36
4.1.2 ZooKeeper的安装部署42
4.1.3 Kafka的安装部署45
4.1.4 Spark集群搭建47
4.2 部署大数据存储环境49
4.2.1 MySQL的安装部署49
4.2.2 Hive的安装部署50
4.2.3 HBase的安装部署51
4.2.4 Redis的安装部署55
本章小结57
第5章 构建基于LayUI的集群管理
系统58
5.1 集群管理系统概述58
5.1.1 需求分析58
5.1.2 系统架构—系统+集群+UI59
5.2 系统开发的前期准备操作60
5.2.1 本机环境配置60
5.2.2 集群环境配置62
5.2.3 构建项目工程结构74
5.3 系统的代码实现75
5.3.1 Controller层实现75
5.3.2 构造系统所需工具包90
5.3.3 核心类实现97
5.4 构造系统UI界面—基于
LayUI100
本章小结105
第6章 基于HBase的大数据离线分析
系统106
6.1 系统架构概述106
6.1.1 需求分析106
6.1.2 系统架构—HBase+SpringBoot+
ECharts107
6.2 采集股份转让数据108
6.2.1 使用爬虫抓取数据108
6.2.2 数据采集模块测试111
6.3 数据存储和处理模块实现113
6.3.1 数据库设计113
6.3.2 使用HBase存储并处理数据114
6.3.3 数据存储和处理模块测试119
6.4 数据可视化模块实现120
6.4.1 数据可视化模块后端设计—
基于SpringBoot120
6.4.2 数据可视化模块前端设计—
基于ECharts122
6.4.3 数据可视化页面展示125
本章小结126
第7章 基于Hive+Hadoop+Spark的
大数据离线分析系统127
7.1 系统架构概述127
7.1.1 需求分析127
7.1.2 数据存储—Hive+Hadoop129
7.1.3 数据处理与可视化—
Spark+SSM+ECharts129
7.2 采集旅游相关数据130
7.2.1 使用爬虫采集城市、景点数据130
7.2.2 数据采集模块测试133
7.3 数据存储模块实现135
7.3.1 数据库设计135
7.3.2 使用HDFS和Hive存储数据137
7.3.3 数据存储模块测试138
7.4 数据分析处理模块实现139
7.4.1 Spark处理数据139
7.4.2 分词处理和情感分析—
基于jieba+SnowNLP库139
7.4.3 数据分析处理模块测试142
7.5 数据可视化模块实现143
7.5.1 数据可视化模块后端设计—
基于SSM143
7.5.2 数据可视化模块前端设计—
基于ECharts154
7.5.3 数据可视化页面展示161
本章小结167
第8章 基于MySQL+Spark的大数据
离线分析系统168
8.1 系统架构概述168
8.1.1 需求分析168
8.1.2 数据存储—MySQL170
8.1.3 数据处理与可视化—
Spark Streaming +Apache Superset170
8.2 采集电商数据170
8.2.1 使用爬虫爬取商品信息170
8.2.2 数据采集模块测试182
8.3 数据分析处理模块实现183
8.3.1 数据库设计183
8.3.2 Spark处理商品数据185
8.3.3 数据分析处理模块测试192
8.4 数据可视化模块实现193
8.4.1 使用Apache Superset绘制数据
可视化图表193
8.4.2 数据可视化页面展示193
本章小结196
第9章 基于Redis+Kafka+Spark的
大数据实时分析系统197
9.1 系统架构概述197
9.1.1 需求分析197
9.1.2 数据存储—Redis198
9.1.3 数据处理与可视化—Kafka+
Spark Streaming+SSM+ECharts199
9.2 采集汽车网站数据199
9.2.1 使用爬虫获取汽车和用户
数据199
9.2.2 数据采集模块测试201
9.3 数据存储模块实现201
9.3.1 数据库设计201
9.3.2 使用MySQL存储汽车
数据202
9.3.3 数据存储模块测试202
9.4 数据分析处理模块实现202
9.4.1 实时发送数据至Kafka203
9.4.2 Spark处理汽车数据203
9.4.3 Redis数据库存储处理结果204
9.4.4 数据分析处理模块测试204
9.5 数据可视化模块205
9.5.1 数据可视化模块后端设计—
基于SSM206
9.5.2 数据可视化模块前端设计—
基于ECharts208
9.5.3 数据可视化页面展示209
本章小结212
第10章 基于Flume+Kafka+Flink的
大数据实时分析系统213
10.1 系统架构概述213
10.1.1 需求分析213
10.1.2 数据存储—MySQL214
10.1.3 数据处理与可视化—Kafka+
Flink +SpringBoot+ECharts215
10.2 采集直播审计数据215
10.2.1 模拟直播审计数据215
10.2.2 使用Flume采集直播审计数据217
10.2.3 数据采集模块测试219
10.3 数据分析处理模块实现219
10.3.1 实时发送数据至Kafka220
10.3.2 Flink处理直播审计数据220
10.3.3 MySQL数据库存储处理结果222
10.3.4 数据分析处理模块测试223
10.4 数据可视化模块224
10.4.1 数据可视化模块后端设计—
基于SpringBoot224
10.4.2 数据可视化模块前端设计—
基于ECharts226
10.4.3 数据可视化页面展示230
本章小结230