联邦学习：原理与算法

1. 联邦学习是目前人工智能领域较受重视的技术范式之一，谷歌、IBM、英伟达、腾讯等众多巨头入场，李开复力推；
2. 由平安科技联邦学习团队执笔，牵头作者为国内联邦学习推动者、平安科技副总工程师和技术部总经理王健宗博士；
3. 从基础知识出发，深入浅出的介绍了中央服务器优化和联邦机器学习的算法体系，适合大数据、人工智能行业从业者参考；
4. 广泛考虑工程实践，系统介绍联邦学习算法，中国科学院信息工程研究所提供加密理论方面支持，保障理论前沿性。

数据孤岛问题已经成为制约人工智能发展的主要阻碍。在此背景下, 联邦学习(Federated Learning) 作为一种新兴的机器学习技术范式, 凭借其突出的隐私保护能力,展示出在诸多业务场景中的应用价值。
本书从联邦学习的基础知识出发, 深入浅出地介绍了中央服务器优化和联邦机器学习的算法体系, 详细阐述了联邦学习中涉及的加密通信模块的相关知识, 以定性和定量的双视角建立了联邦学习服务质量的评估维度、理论体系, 还延伸介绍了提升联邦学习服务质量的方法, 并对联邦学习的研究趋势进行了深入探讨与分析, 可以对设计和选择算法提供工具式的参考和帮助。
本书是高校、科研院所和业界相关学者研究联邦学习技术的理想读本, 也适合大数据、人工智能行业的从业者和感兴趣的读者参考。

王健宗
博士，美国佛罗里达大学人工智能博士后，工程师，某大型金融集团科技公司联邦学习团队负责人，中国计算机学会杰出会员、大数据和量子计算专业委员会委员，长期从事联邦学习、隐私计算技术研发和平台搭建工作，在联邦学习、人工智能、云计算、大数据等领域发表靠前论文 50 余篇，出版《深入理解 AutoML 和 AutoDL)、《金融智能》等共四部作品。

李泽远
某大型金融集团科技公司 Al 产品经理，CCF
YOCSEF 深圳 AC 委员，长期负责 Al平台的标准
化产品设计，参与完成多项隐私计算产品在金融、医疗、政务场景中的交付落地，拥有丰富的实战经验。累计发表科研论文及申报数十篇/项，出版作品3部。

何安珣
某头部互联网公司产品经理。在金融科技领域深耕多年，在隐私计算领域生态建设、技术研究和架构搭建等方面拥有丰富的经验，致力于推动隐私计算行业数字经济转型。累计发表科研论文、申报数十篇/ 项，参与业内多项标准制定。

王伟
中国科学院信息工程研究所信息安全国家重点实验室助理研究员，信息安全博士，主要研究方向为密码技术。在靠前学术会议上发表论文多篇，获得数项国家发明授权，承担和参与了多项国家和省部级科研项目。

第 1 章 绪论 / / 1
1.1 人工智能的发展 / / 1
1.1. 1 人工智能的定义 / / 1
1. 1. 2 人工智能的发展历史及现状 / / 2
1. 1. 3 机器学习与数据 / / 3
1.2 隐私保护浮出水面 / / 4
1.2. 1 隐私保护问题 / / 5
1. 2. 2 隐私保护的攻击 / / 5
1. 2. 3 常见的隐私保护技术 / / 7
1.3 联邦学习的诞生 / / 8
1.3. 1 联邦学习的提出 / / 8
1. 3. 2 联邦学习的范式 / / 9
1.3. 3 联邦学习的应用 / / 12
1. 4 本章小结 / / 13
第 2 章 联邦学习基础 / / 15
2.1 联邦学习的基本概念 / / 15
2. 2 联邦学习的发展历程 / / 17
2. 3 联邦学习的基本类别与流程 / / 18
2. 3. 1 横向联邦学习 / / 18
2. 3. 2 纵向联邦学习 / / 19
2. 3. 3 联邦迁移学习 / / 19
2. 3. 4 联邦强化学习 / / 20
2.4 联邦学习的应用场景 / / 21
2. 5 本章小结 / / 21
第 3 章 中央服务器优化算法 / / 23
3.1 联邦随机梯度下降算法 / / 23
3. 1. 1 算法框架及参数 / / 23
3. 1. 2 目标函数 / / 24
3. 1. 3 算法流程 / / 25
3. 2 联邦平均算法 / / 25
3. 2. 1 算法框架及参数 / / 26
3. 2. 2 目标函数 / / 27
3. 2. 3 算法流程 / / 27
3. 3 差分隐私联邦随机梯度下降算法 / / 28
3. 3. 1 算法框架及参数 / / 28
3. 3. 2 相关函数说明 / / 29
3. 3. 3 算法流程 / / 30
3. 4 差分隐私联邦平均算法 / / 31
3. 4. 1 算法框架及参数 / / 31
3. 4. 2 算法流程 / / 32
3. 5 基于损失的自适应提升联邦学习算法 / / 33
3. 5. 1 算法框架及参数 / / 34
3. 5. 2 算法流程 / / 35
3. 6 自平衡联邦学习算法 / / 36
3. 6. 1 算法框架及参数 / / 36
3. 6. 2 算法流程 / / 37
3. 7 联邦近端算法 / / 39
3. 7. 1 算法框架及参数 / / 40
3. 7. 2 模块介绍 / / 41
3. 7. 3 算法流程 / / 42
3. 8 不可知联邦学习算法 / / 43
3. 9 基于概率的联邦网络匹配算法Ⅰ: 单隐层神经网络匹配算法 / / 50
3. 9. 1 算法框架及参数 / / 50
3. 9. 2 模块介绍 / / 53
3. 9. 3 算法流程 / / 56
3. 10 基于概率的联邦网络匹配算法Ⅱ: 多隐层神经网络匹配算法 / / 57
3. 10. 1 算法框架及参数 / / 57
3. 10. 2 模块介绍 / / 59
3. 10. 3 算法流程 / / 63
3.11 联邦匹配平均算法 / / 64
3. 11. 1 算法框架及参数 / / 64
3. 11. 2 目标函数 / / 65
3. 11. 3 算法流程 / / 66
3. 12 本章小结 / / 67
第 4 章 联邦回归算法 / / 69
4.1 联邦机器学习算法的定义 / / 69
4. 1. 1 水平型分布数据 / / 70
4.1. 2 垂直型分布数据 / / 70
4. 2 线性回归 / / 70
4. 2. 1 横向线性回归 / / 71
4. 2. 2 纵向线性回归 / / 74
4. 3 逻辑回归 / / 80
4. 3. 1 横向逻辑回归 / / 81
4. 3. 2 纵向逻辑回归 / / 88
4. 4 本章小结 / / 96
第 5 章 联邦分类算法 / / 97
5.1 朴素贝叶斯分类法 / / 97
5. 1. 1 贝叶斯定理 / / 97
5. 1. 2 朴素贝叶斯分类的思想和工作过程 / / 97
5. 1. 3 横向朴素贝叶斯分类 / / 98
5.1. 4 纵向朴素贝叶斯分类 / / 102
5. 2 支持向量机 / / 107
5. 2. 1 横向支持向量机 / / 109
5. 2. 2 纵向支持向量机 / / 116
5. 3 本章小结 / / 124
第 6 章 联邦树模型 / / 125
6. 1 决策树 / / 125
6. 1. 1 横向决策树 / / 126
6. 1. 2 纵向决策树 / / 131
6.2 XGBoost / / 138
6. 2. 1 参数及含义 / / 139
6. 2. 2 加法同态 / / 140
6.2. 3 SecureBoost 算法的流程 / / 140
6. 3 本章小结 / / 143
第 7 章 联邦推荐算法 / / 145
7. 1 K 均值算法 / / 145
7.1. 1 横向K 均值聚类算法 / / 146
7. 1. 2 纵向K 均值聚类算法 / / 149
7. 1. 3 任意数据 K 均值聚类算法 / / 158
7. 1. 4 安全两方 K 均值聚类算法 / / 162
7. 2 因子分解机 / / 166
7.3 基于近邻的协同过滤算法 / / 171
7. 3. 1 基于近邻的传统协同过滤算法 / / 171
7. 3. 2 基于用户的联邦协同过滤算法 / / 173
7. 4 基于矩阵的协同过滤算法 / / 178
7. 4. 1 基于矩阵的传统协同过滤算法 / / 178
7. 4. 2 基于矩阵的联邦协同过滤算法 / / 178
7. 5 矩阵分解算法 / / 186
7. 5. 1 基于 SGD 的联邦矩阵分解算法 / / 186
7. 5. 2 基于多视图的联邦矩阵分解算法 / / 190
7. 5. 3 兴趣点推荐算法 / / 195
7. 5. 4 基于差分隐私的联邦矩阵分解算法 / / 197
7. 5. 5 基于混淆电路的联邦矩阵分解算法 / / 200
7. 5. 6 基于相似度的联邦矩阵分解算法 / / 205
7. 5. 7 基于因子分析的联邦矩阵分解算法 / / 209
7.5. 8 基于深度学习的联邦矩阵分解算法 / / 211
7. 6 本章小结 / / 213
第 8 章 联邦学习系统的隐私与安全 / / 215
8.1 问题描述与安全模型 / / 215
8. 2 联邦学习隐私保护技术 / / 216
8. 2. 1 秘密共享 / / 216
8. 2. 2 不经意传输 / / 218
8. 2. 3 混淆电路 / / 220
8. 2. 4 同态加密 / / 222
8. 2. 5 差分隐私 / / 224
8.3 联邦学习安全防护技术 / / 226
8. 3. 1 密码算法 / / 226
8. 3. 2 身份认证 / / 229
8. 3. 3 通信安全 / / 231
8. 3. 4 存储安全 / / 233
8. 3. 5 可信计算 / / 235
8. 4 本章小结 / / 237
第 9 章 联邦学习的服务质量 / / 239
9.1 联邦学习服务质量的定义 / / 239
9. 1. 1 联邦学习服务质量的由来 / / 239
9. 1. 2 什么是联邦学习服务质量评估 / / 241
9. 2 联邦学习服务质量的评估维度 / / 242
9. 2. 1 模型性能 / / 242
9. 2. 2 数据传输效率 / / 243
9. 2. 3 网络性能 / / 243
9. 2. 4 计算资源
9. 2. 5 联邦建模的鲁棒性
9. 3 联邦学习服务质量的理论体系
9. 3. 1 模型性能的评价指标
9. 3. 2 联邦学习的通信指标
9. 3. 3 资源调度代价
9. 3. 4 联邦建模的鲁棒性
9. 3. 5 隐私保护技术的选取
9. 3. 6 权值更新方法
9. 4 提升联邦学习服务质量的方法
9. 4. 1 联邦学习的算法优化
9. 4. 2 联邦学习的通信优化
9. 4. 3 联邦学习的末位淘汰
9. 4. 4 增强联邦学习系统的鲁棒性
9.5 本章小结
第 10 章 联邦学习的研究趋势
10.1 联邦学习的优化研究
10. 2 联邦学习的安全和隐私研究
10. 3 联邦学习的应用领域研究
10. 4 本章小结

附录
附录 A Cholesky 分解
附录 B LDLT 分解
附录 C 共轭梯度法
参考文献