AI时代的数据价值创造：从数据底座到大模型应用落地

1. 本书作者刘汪根、陈果，在大数据圈子和咨询领域的口碑、流量不错，有较高的影响力。
2. 本书在内容组织上有如下3大特色：
（1）系统性：完整的数据管理知识体系。
（2）理论与实践相结合：既包括核心技术的介绍，又包括大型企业的成功案例。
（3）前沿性：不仅包含成熟的数据管理技术，还包括AI+数据管理的前沿技术与应用。

本书旨在帮助数据行业的从业者在 AI 时代提升数据管理和数据技术认知水平，内容覆盖数据价值创造的理论、技术和实践。
本书共 8 章。第 1 章回顾企业数据的发展历史，并讲解现代企业数据组织。第 2 章从多维度解析数据价值的创造路径，包括从构建数字化决策、加速业务创新和推动 AI 变革等视角介绍数据价值创造的方法和成果。第 3 章系统讲解数据管理的方法与技术，包括数据资产管理、数据资产运营、数据平台架构的规划及实践案例。第 4 章讲解数据要素价值化的路径探索，包括数据要素在多行业的应用、基础体系、可信数据流通技术及数据资产入表。第 5 章讲解数据底座的技术与实践，包括数据底座的架构要求、分布式存储技术、分布式计算技术等，以及多种架构介绍。第 6 章讲解数据与 AI 的融合，包括推荐系统、基于 LLM 的数据治理分析、数据标注等。第 7 章介绍企业 AI 应用的方法论与知识融合。第 8 章是数据领域技术趋势与思考，包括数据技术的自主可控、开源技术的发展与挑战、数据中台的发展历程与思考、数据编织技术的原理与展望。
本书适合对大数据技术、数据管理、数据价值、数据与 AI 融合及相关技术感兴趣的读者阅读，尤其适合从事大数据相关工作或旨在推动企业数字化转型的读者阅读。

刘汪根，现任星环科技副总裁、联合创始人，CCF大数据专家委员会和数据治理发展委员会执行委员。帮助星环打造了一系列自主可控、技术领先的大数据基础软件产品，成为全球首个通过国际基准测试TPC-DS认证的公司。
王志军，中国联通软件研究院副院长，首席安全官。致力于大数据、云计算、AI及企业信息化领域研究，是通信行业大数据平台建设的开拓者，曾帮助运营商率先实现全网数据集约化、百PB级数据集中高效处理。
陈果，企业知识开源计划创始人兼首席布道师，波士顿咨询公司前董事总经理，IBM咨询前全球执行合伙人。在管理咨询和IT咨询行业拥有24年从业经验，为消费品和零售、高科技、冶金和化工、汽车和机械、物流、银行、保险等行业的100多家企业提供过咨询服务。

第 1章　数字化与信息化
1.1　数据与信息 1
1.2　数据处理的起源 2
1.3　数字化的数据处理 3
1.3.1　从机械化到数字化 4
1.3.2　从数据处理到信息系统 7
1.3.3　面向记录事务的数据管理 9
1.4　数据管理与分析 12
1.5　商业智能与数据科学 14
1.6　数据可视化 16
1.7　现代企业数据组织 19
1.7.1　数据工程师 20
1.7.2　数据分析师 21
1.7.3　数据科学家 22
1.7.4　数据管理人员 23
第 2章　数据价值的创造路径
2.1　数据分析创造价值 24
2.1.1　企业数据价值创造的阶段化路径 24
2.1.2　国内数字化的行业观察 27
2.2　数据价值：数字化决策 30
2.2.1　运营管理的数字化 30
2.2.2　风险管理的数字化 32
2.2.3　营销获客的数字化 34
2.3　数据价值：业务创新 37
2.3.1　线下业务转线上 37
2.3.2　监管的数字化 39
2.4　数据价值：推动AI变革 42
2.4.1　ImageNet 42
2.4.2　数字疗法 43
2.5　数据价值创造的组织保障 44
2.5.1　数据管理团队能力建设 47
2.5.2　数据产品团队能力建设 48
2.5.3　数据底座团队能力建设 49
第3章　数据管理的方法与技术
3.1　数据资产管理 51
3.1.1　数据模型管理 52
3.1.2　数据标准管理 55
3.1.3　数据质量管理 57
3.1.4　主数据管理 59
3.1.5　元数据管理 61
3.1.6　数据安全管理 63
3.1.7　数据资产管理平台 65
3.2　数据资产运营 69
3.2.1　数据可视化 69
3.2.2　商业智能 71
3.2.3　数据洞察 73
3.2.4　数据标签 74
3.2.5　数据指标 76
3.2.6　数据资产盘点与编目 77
3.2.7　数据资产运营平台 80
3.3　数据平台架构 82
3.3.1　数据仓库 82
3.3.2　数据湖 86
3.3.3　数据集市 89
3.3.4　数据中台 90
3.4　中国联通的数据运营体系 93
3.4.1　数据运营体系的建设由来 93
3.4.2　数据运营的规范统一 94
3.4.3　统一工具支撑“一体化运营” 94
3.4.4　“一套数据管理体系”
　　　保障数据供给 95
第4章　数据要素价值化的路径探索
4.1　数据要素：数据价值的产业化 98
4.1.1　数据要素×医疗健康 98
4.1.2　数据要素×金融服务 101
4.1.3　数据要素×智慧农业 103
4.1.4　数据要素×气象服务 104
4.2　数据要素的基础体系 106
4.2.1　数据基础设施 106
4.2.2　数据基础制度 108
4.3　可信数据流通技术 110
4.3.1　数据空间 110
4.3.2　其他技术路径 115
4.4　数据资产入表 118
4.4.1　数据资产的确认 118
4.4.2　数据资产的会计计量 120
4.4.3　数据资源入表管理平台 121
第5章　数据底座的技术与实践
5.1　数据底座的架构要求 124
5.1.1　数据底座的能力要求 124
5.1.2　数据底座的核心功能 126
5.2　分布式存储技术 128
5.2.1　分布式文件存储HDFS 130
5.2.2　对象存储Ceph 131
5.2.3　宽表存储HBase 132
5.2.4　文档搜索引擎Elasticsearch 135
5.3　分布式计算技术 137
5.3.1　MapReduce 140
5.3.2　Spark 142
5.3.3　Presto 145
5.4　分布式资源管理技术 147
5.5　分析型数据库 151
5.5.1　MPP数据库 152
5.5.2　分布式分析型数据库 155
5.5.3　分析型数据库的评价 158
5.6　数据联邦 162
5.7　湖仓一体架构 165
5.7.1　Hudi 166
5.7.2　Iceberg 168
5.7.3　Delta Lake 171
5.8　流批一体架构 172
5.8.1　Lambda架构 173
5.8.2　Kappa架构 174
5.8.3　Flink 176
5.9　存算分离架构 177
5.9.1　基于云存储的存算分离 179
5.9.2　基于本地存储的存算分离 180
5.10　中国联通集团的数据底座建设 183
5.10.1　大数据技术架构 183
5.10.2　数据平台架构 188
第6章　数据与AI的融合
6.1　推荐系统 191
6.1.1　协同过滤 192
6.1.2　内容过滤 193
6.1.3　基于向量的近邻召回的推荐系统 193
6.1.4　基于点击率预估模型的推荐系统 194
6.2　基于LLM的数据治理与分析 195
6.2.1　智能化数据治理 195
6.2.2　基于LLM的数据分析 199
6.3　数据标注 200
6.4　向量数据库 202
6.4.1　特征与向量 203
6.4.2　相似度的度量 204
6.4.3　向量检索的召回率与准确率 205
6.4.4　向量检索与索引技术 206
6.5　知识图谱 211
6.5.1　知识的表示方法 212
6.5.2　知识抽取与推理技术 213
6.5.3　知识存储与图模型 215
6.5.4　图数据库与图计算技术 216
6.6　AI数据安全的挑战与防护技术 217
6.6.1　对抗样本攻击与防御 218
6.6.2　数据投毒攻击与防御 219
6.6.3　后门攻击与防御 220
6.6.4　预训练大模型的数据风险 221
第7章　企业AI应用的方法论与知识融合
7.1　通用模型、推理模型与智能体 223
7.1.1　通用模型 223
7.1.2　推理模型 224
7.1.3　智能体 224
7.1.4　典型案例：DeepSeek大模型 226
7.2　企业AI应用落地方法论 227
7.2.1　企业AI应用落地条件 227
7.2.2　企业AI落地场景 228
7.2.3　企业AI场景实践案例 229
7.3　大模型与企业知识融合 229
7.3.1　大模型数据调优难题：Demo与上线的差距 229
7.3.2　LLM的知识机制 230
7.3.3　企业AI应用的基础设施只需要DeepSeek吗 231
7.4　知识工程中的大模型应用 233
7.4.1　大模型参数差异与NER任务的影响 233
7.4.2　知识增强对实体识别的优化 234
7.4.3　易混淆知识的识别策略 236
7.4.4　知识长度与识别准确率的关系 238
7.4.5　推理能力对大模型识别效果的影响 240
7.4.6　大模型驱动的知识工程流水线 242
第8章　数据领域技术趋势与思考
8.1　数据技术的自主可控 245
8.2　开源技术的发展与挑战 247
8.3　数据中台的发展历程与思考 251
8.4　数据编织技术的原理与展望 253