我叫大数据

本书第一章为读者揭示了数据的魅力以及其在日常生活中的无处不在。随后的章节详细介绍了数据的成长、存储和处理方式。从早期的磁带和光盘，到现代的Hadoop、Spark和分布式系统，读者将对大数据技术有一个全面的了解。中间章节着重于大数据在不同领域中的应用，如社交媒体、金融市场和电商，展示了数据如何被转化为有价值的洞察和解决方案。同时，书中也详述了数据处理和机器学习的方法，让读者了解到计算机是如何"思考"和从数据中"学习"的。后续章节则深入讲解了大数据的采集、存储和处理技术，为读者呈现了大数据的后台运行机制、架构原理等。从数据的采集、传输，到其如何被存储、清洗和展现，每一个环节都至关重要。在大数据应用的最后部分，书中讨论了其如何助力企业实现数字化转型，为企业决策提供坚实的数据支撑。此外，也对数据治理进行了详细的探讨，强调了数据质量、安全和隐私的重要性。

第 1 章 大家好，我叫大数据 / 001
1 我的成长历程:从小小的石头到壮大的字节 / 002
最初的我:原始部落中的计数石头 / 002
我的成长轨迹:从小小的字节到庞大的数据宇宙 / 003
2 我为何这么火? / 004
我的舞台:从厨房计时到火箭发射 / 004
我的超能力:从预测天气到做出决策 / 006
第 2 章 我的近代成长历程 / 008
3 我的童年回忆:被遗忘的数据碎片 / 009
磁带与光盘:早期的数据存储 / 009
数据的碎片:数据格式的演变历程 / 012
4 青涩的少年时期:积累的数据块 / 016
数据库的诞生:管理的需要 / 016
关系数据库:数据的规整之家 / 018
对象数据库:面向对象的存储魔法 / 021
分布式数据库:分而治之的大数据仓库 / 025
SQL:与数据的对话 / 029
SQL 的不同版本:与我沟通的“方言”/ 031
NoSQL 与非结构化数据:自由的空间 / 033
现在的我:我已经这么“大”了 / 035 我的与众不同之处 / 035
Hadoop:我身后的大象 / 038 流处理:快速做出反应 / 039 Spark:闪电般的速度 / 042 分布式系统:多个“我”合作 / 043
6 记忆的宝库:数据库是我存储回忆的地方 / 047 安全的保险柜:确保数据不丢失 / 047 快速检索数据:让查询变得飞快 / 050
第 3 章 你知道我每天都吃些什么吗? / 055
7 早餐:你的点赞和分享 / 056 社交媒体的数据流:实时感受你的喜怒哀乐 / 056 每一个点击、每一次滑动:深藏在用户行为背后的无尽宝藏 / 058
8 午餐:各个公司的交易记录 / 060 金融市场的脉搏:股票与货币 / 060 商业的核心:交易与客户关系 / 063
9 晚餐:你们的网购和搜索历史 / 065 购物车里的秘密:推荐系统背后 / 065 搜索的力量:广告与优化 / 068
第 4 章 我是如何思考的? / 070
10 算法的基石:逻辑与数学是我思考的工具 / 071 逻辑结构:算法的骨架 / 071
【示例】排序算法 / 072 数学工具:算法的血肉 / 074
【示例】基于逻辑与数学实现一个电影推荐系统 / 076
11 深度思考:深度学习让我变得更像人类 / 080 神经网络:算法的“大脑”/ 080
实际应用:图像识别 / 081
12 搜索算法:简单而强大 / 083 线性搜索:简单而直接 / 083
二分搜索:高效的搜索方法 / 084
13 路径规划算法:两点之间的最短路径 / 088 路径规划算法的过程 / 088
【示例】最短路径探险 / 089
14 持续学习:在线学习让我不断进化 / 092 什么是在线学习? / 092
为什么需要在线学习? / 092
在线学习的实际应用 / 093
第 5 章 跟我去健身吧! / 095
15 热身动作:首先清洗“身体”/ 096 错误与异常:数据清洗的艺术 / 096 数据转换:标准化与归一化 / 099 清洗工具:流行的清洗技术与软件 / 103
16 体能训练:深度挖掘 / 109关联分析:发现数据之间的联系 / 109 【示例】顾客购物篮数据关联分析 / 109
聚类分析:发现数据中的自然分组 / 112 示例:客户群体聚类分析 / 113 频繁模式挖掘:发现常见模式 / 115
【示例】找出文章中的高频词 / 116 分类分析:将数据分为不同的类别 / 118
【示例】使用决策树模型预测客户流失 / 121 【示例】使用随机森林模型预测客户贷款违约 / 124
挖掘技术:常用的数据分析技术与流程 / 128 【示例】使用 Matplotlib 进行数据可视化 / 130
17 心肺锻炼:解读“心跳”数据 / 134
【示例】使用 Python 绘制时间序列图 / 134 【示例】使用移动平均方法统计数据的长期趋势 / 137 【示例】使用 ARIMA 模型预测未来销售额 / 140
心跳图:时序数据与异常检测 / 142 【示例】心跳数据监测 / 142
专家解读:数据科学家是如何解读数据的 / 144
第 6 章 数据治理:保护我，让我更健康 / 147
18 我的身份证:数据目录和元数据 / 148 数据字典:定义与约束 / 148
元数据的守护:跟踪数据的来源与变化 / 15019 我的护卫:数据加密先生 / 153 数据加密与数据解密的基本原理 / 153 对称加密与非对称加密 / 154 安全的保障:防止数据泄露的措施 / 157
第 7 章 介绍我的好朋友们 / 161
20 我的学霸朋友:机器学习 / 162 小明的学习日志 1:模型的训练与测试 / 162 小明的学习日志 2:模型部署与监控 / 169 小明的实践场:机器学习的应用场景 / 171
21 我的邻居:云计算小红 / 173 小红的云屋:数据存储与处理的新时代 / 173 云上的合作:我与云的互动 / 178
22 我的技术达人:自然语言处理小华 / 181 小华的语言天赋:文本处理与情感分析 / 181 小华的应用场景:聊天机器人与翻译 / 185
23 我的创意伙伴:计算机视觉小强 / 188 小强的视觉技能:图像识别与图像生成 / 188 语义分割:从像素级别理解图像 / 197
3D 视觉:从二维图像到三维世界的探索 / 200 小强的应用场景:自动驾驶与智能监控 / 201
R-CNN、Fast R-CNN 和 Faster R-CNN: 目标检测的进化之路 / 203第 8 章 我的语音伙伴:语音识别与合成 / 210
24 语音识别的基本原理 / 211 声音的数字化处理:从声音到数据 / 211 语音信号处理技术:拆解声音的秘密 / 213
25 语音识别的常用算法 / 220 隐马尔可夫模型(HMM):语音识别的老将 / 221 深度神经网络(DNN):赋予语音识别新的生命 / 224 循环神经网络(RNN):记住你的每一句话 / 226 端到端语音识别模型:一条龙服务 / 229
26 语音合成的基本原理 / 231 文本分析与处理:从文字到声音 / 231 神经网络语音合成技术 / 232 智能语音助手的实现流程 / 234
第 9 章 我与区块链和物联网的故事 / 237
27 我与区块链的融合 / 238 区块链基础:去中心化与数据透明 / 238 我与区块链联手:数据存储与可信计算 / 240
28 我与物联网 / 244
物联网设备:数据收集的前沿 / 244 物联网设备的工作原理 / 245 传感器:物联网的感觉器官 / 247 物联网通信协议:设备之间的语言 / 248 我在物联网中的应用:智能家居与智慧城市 / 252