金融服务中的数据质量工程

本书的主要内容有：理解数据维度如何适用于不同数据类型与使用场景。运用数据质量服务将制造业原则应用于数据。基于标准化的数据质量度量，生成数据质量指标。识别面向不同数据消费者的数据质量容差之间的差异。确定数据管道中应进行质量度量的控制点。应用数据治理框架、概念、策略与数据目录。

Brian Buzzelli是Acadian机构量化资产管理公司的高级副总裁兼企业数据管理负责人。他基于制造业原则，定义了一套系统且严谨的数据质量工程方法。

目录
前言 1
第1 章 像制造商一样思考 . 11
1.1 运营效率 11
1.2 精益生产的经验教训 .12
1.2.1 可口可乐公司：制造质量卓越 13
1.2.2 DASANI？：纯净水13
1.3 制造控制规范 14
1.3.1 水质规范.14
1.3.2 质量控制和异常检测 15
1.4 总结 16
第2 章 数据的形状 17
2.1 将数据视为物理资产 .17
2.2 数据形状概念模型 18
2.2.1 数据元素.18
2.2.2 数据单元.19
2.2.3 数据宇宙.19
2.2.4 时间序列数据 19
2.2.5 横截面数据 20
2.2.6 面板数据.21
2.2.7 数据量 .22
2.3 数据属性和维度 25
2.3.1 数据属性.27
2.3.2 数据维度.28
2.4 总结 30
第3 章 数据质量规范 31
3.1 制造控制 31
3.2 数据质量规范概述 32
3.3 数据质量容忍度 33
3.3.1 完整性 .34
3.3.2 及时性 .36
3.3.3 准确性 .37
3.3.4 精确性 .41
3.3.5 合规性 .43
3.3.6 一致性 .44
3.3.7 集合性 .53
3.3.8 关联性 .54
3.4 总结 56
第4 章 数据质量规范框架示例 57
4.1 数据质量规范DQS —— 数据完整性 .59
4.2 数据质量规范DQS —— 数据及时性 .63
4.3 数据质量规范DQS —— 数据准确性 .65
4.4 数据质量规范DQS —— 数据精确性 .68
4.5 数据质量规范DQS —— 数据合规性 .72
4.6 数据质量规范DQS —— 数据一致性 .75
4.7 数据质量规范DQS —— 数据集合性 .83
4.8 数据质量规范DQS —— 数据关联性 .89
4.9 适合目的 94
4.10 总结 .96
第5 章 数据质量指标和可视化 99
5.1 数据质量指标 99
5.2 数据质量可视化 101
5.3 总结 . 110
第6 章 运营效率成本模型 113
6.1 模型细节 113
6.2 模型成本假设 . 114
6.3 应用前数据验证vs 校对 119
6.4 总结 .122
第7 章 数据治理 . 125
7.1 建立数据治理功能 126
7.1.1 数据治理的原则 127
7.1.2 数据治理功能 128
7.1.3 数据治理模型 129
7.2 创建数据治理计划 130
7.2.1 组织计划130
7.2.2 建立数据治理委员会 .131
7.2.3 与数据管理职能合作 .132
7.2.4 与业务职能的合作 132
7.2.5 增强型数据治理运营模型 133
7.2.6 数据治理计划的活动和交付成果 134
7.3 数据治理的商业价值 135
7.4 数据管理成熟度 137
7.5 总结 .138
第8 章 主数据管理 141
8.1 精通数据 142
8.2 数据治理协同效应 147
8.3 数据管理协同效应 150
8.4 总结 .151
第9 章 数据项目方法论 153
9.1 业务需求 155
9.1.1 定义业务用例 155
9.1.2 映射业务流程和数据流 156
9.1.3 影响分析156
9.1.4 定义数据质量评分卡 .157
9.1.5 数据使用政策 158
9.2 技术要求 158
9.2.1 定义应用数据处理用例 159
9.2.2 映射应用功能和数据流 159
9.3 数据治理要求 .160
9.3.1 数据定义任务 160
9.3.2 数据完整性任务 162
9.3.3 数据管理任务 165
9.4 总结 .169
第10 章 企业数据管理 . 171
10.1 从何处入手 172
10.2 理解数据规模与体量 173
10.3 数据质量工程 173
10.4 效率提升 .174
10.5 扩展数据架构与数据流水线 .175
10.6 实现数据质量优先文化 175
10.7 推动实施 .176