大规模图神经网络：并行和分布式技术

本书入选“十四五”国家重点出版物出版规划项目，2025国家出版基金项目。

本书系统介绍并行与分布式图神经网络的核心技术和实践方法，内容全面、结构清晰，既涵盖理论基础，又包含系统实现与编程案例，具有很高学术价值和工程指导意义。全书共 9 章。第 1 章介绍图神经网络的背景、发展历史和现状，并探索大规模图神经网络的缘由；第 2 章介绍图神经网络模型的基础知识及其应用；第 3 章介绍分布式并行机器学习的流程、训练模式、训练架构、物理架构等基础知识；第 4 章从整体上介绍分布式并行图神经网络训练的流程和方法；第 5 章和第 6 章分别介绍大规模图神经网络的小批次分布式并行训练和全图分布式并行训练方法及其优化技术；第 7 章介绍经典的大规模图神经网络系统；第 8 章介绍大规模图神经网络编程实践案例；第 9 章探讨大规模图神经网络技术的未来发展方向。

邵蓥侠，北京邮电大学计算机学院教授，国家高层次青年人才，博士生导师。研究方向为图数据管理、大规模图计算、AI4Sys等。主持3项国家自然科学基金项目、1项科技创新2030“新一代人工智能”重大项目子课题以及多项CCF/CAAI产学研合作基金。在数据库和人工智能领域的著名会议和期刊已发表高质量学术论文70余篇，其中第一作者/通讯作者发表CCF-A类期刊和会议论文20余篇，出版英文学术专著1部；入选北京市科技新星，获北京市高等教育教学成果奖二等奖、ACM SIGMOD中国新星奖、数据库领域顶级国际会议VLDB 2022最佳常规研究论文奖、数据库领域重要国际会议DASFAA 2020最佳学生论文奖等。指导学生获全国大学生计算机系统能力大赛-（首届）数据库管理系统设计赛一等奖、第四届实时计算Flink挑战赛亚军；长期担任多个重要国际会议的程序委员和著名国际期刊的审稿人。

前言<br /><br />第 1 章 引言　　　　　1<br />1.1 图神经网络　　　 2<br />1.1.1 什么是图神经网络　　2<br />1.1.2 图神经网络的发展历史　 4<br />1.1.3 图神经网络的现状　　6<br />1.2 大规模图神经网络　　 7<br />1.2.1 大规模图神经网络的缘由　8<br />1.2.2 大规模图神经网络与分布式训练　　　　9<br />1.2.3 分布式图神经网络的困难与挑战　　　 10<br />1.3 本书组织　　　　11<br />参考文献　　　　 12<br /><br />第 2 章 图神经网络模型　　 16<br />2.1 图的表示　　　　16<br />2.2 图神经网络的表示　　 17<br />2.3 典型的图神经网络模型 18<br />2.3.1 门控图序列神经网络　 19<br />2.3.2 图卷积神经网络　 20<br />2.3.3 图注意力网络　 23<br />2.3.4 生成式图神经网络模型　25<br />2.4 图神经网络的应用　　 28<br />2.4.1 社交网络　　　29<br />2.4.2 生物与医疗　　29<br />2.4.3 金融与风控　　30<br />2.4.4 物理领域　　　31<br />2.4.5 交通领域　　　31<br />2.4.6 推荐系统　　　32<br />2.5 小结　　　　 32<br />参考文献　　　　 32<br /><br />第 3 章 分布式并行机器学习　　37<br />3.1 机器学习的基础知识　　38<br />3.1.1 基本概念　　　38<br />3.1.2 模型训练　　　38<br />3.1.3 反向传播算法　 42<br />3.1.4 梯度下降算法　 45<br />3.2 分布式并行机器学习的流程　47<br />3.3 分布式并行机器学习的训练模式　　　　 48<br />3.3.1 数据并行　　　49<br />3.3.2 模型并行　　　50<br />3.3.3 流水并行　　　51<br />3.3.4 张量并行　　　53<br />3.3.5 混合专家并行　 58<br />3.3.6 完全分片的数据并行　 60<br />3.4 分布式并行机器学习的训练架构　　　　 62<br />3.4.1 分布式训练架构　 62<br />3.4.2 模型更新策略　 66<br />3.5 分布式并行机器学习的物理架构　　　　 68<br />3.5.1 单机多卡分布式并行训练环境　　　 68<br />3.5.2 多机集群分布式并行训练环境　　　 69<br />3.6 小结　　　　 70<br />参考文献　　　　 71<br /><br />第 4 章 分布式并行图神经网络训练　75<br />4.1 图神经网络训练的基本流程　76<br />4.1.1 全图训练　　　76<br />4.1.2 小批次训练　　78<br />4.2 图神经网络与深度神经网络的比较　　　　81<br />4.3 分布式并行图神经网络训练82<br />4.3.1 小批次分布式并行图神经网络训练　　　83<br />4.3.2 全图分布式并行图神经网络训练　　　84<br />4.4 小结　　　　 85<br />参考文献　　　　 85<br /><br />第 5 章 小批次分布式并行图神经网络训练与优化　　　 87<br />5.1 朴素的小批次分布式并行训练　　　　 87<br />5.1.1 训练流程　　　87<br />5.1.2 问题与不足　　88<br />5.2 执行引擎优化　　　90<br />5.2.1 小批次间的算子并行训练 90<br />5.2.2 推拉混合的并行训练　 93<br />5.2.3 基于历史嵌入的并行训练 95<br />5.2.4 基于计算分解的数据并行训练　　　 99<br />5.3 图采样及其优化　　 102<br />5.3.1 基本的图采样方法 102<br />5.3.2 分布式图采样方法 103<br />5.4 数据缓存优化技术　　106<br />5.5 通信机制及优化　　 107<br />5.5.1 集合通信　　　107<br />5.5.2 集合通信的死锁问题 108<br />5.5.3 通信链路优化　　109<br />5.6 小结　　　　116<br />参考文献　　　　 116<br /><br />第 6 章 全图分布式并行图神经网络训练与优化　　 121<br />6.1 全图分布式图神经网络训练基本并行方法　　　122<br />6.1.1 子图并行的全图分布式训练　　　122<br />6.1.2 算子并行的全图分布式训练　　　124<br />6.1.3 子图并行与算子并行对比　　　 129<br />6.1.4 全图分布式并行图神经网络训练的效率瓶颈 129<br />6.2 基于同步模型计算的效率优化　　　 130<br />6.2.1 图划分策略　　 130<br />6.2.2 预聚合执行模式　135<br />6.2.3 高效的同步通信协议 138<br />6.3 基于异步模型计算的通信优化　　　 140<br />6.3.1 异步执行模型　　141<br />6.3.2 异步图神经网络训练通信协议　　　 142<br />6.4 小结　　　　144<br />参考文献　　　　 145<br /><br />第 7 章 大规模图神经网络系统　 150<br />7.1 图神经网络编程模型　　151<br />7.1.1 以张量为中心的编程模型　　　 151<br />7.1.2 以全图为中心的编程模型　　　 151<br />7.1.3 以节点为中心的编程模型　　　 154<br />7.2 图神经网络系统与图计算　154<br />7.3 面向单机多 GPU 的图神经网络系统　　　 155<br />7.4 面向 GPU 集群的图神经网络系统　　　　157<br />7.5 面向 CPU 集群的图神经网络系统　　　　159<br />7.6 面向其他硬件平台的图神经网络系统　　　 161<br />7.7 图神经网络系统的对比与选择　　　 162<br />7.7.1 硬件设备　　　162<br />7.7.2 模型训练方法　　164<br />7.7.3 模型更新策略　　164<br />7.8 小结　　　　165<br />参考文献　　　　 166<br /><br />第 8 章 大规模图神经网络编程实践　　　　 170<br />8.1 基于 DGL 的训练环境配置　　　 171<br />8.2 单机单卡训练　　172<br />8.2.1 基本训练流程　　172<br />8.2.2 简单的图神经网络训练案例　　　 173<br />8.2.3 基于小批次的图神经网络训练案例　　 177<br />8.3 分布式并行训练　　 180<br />8.3.1 数据集的预处理　181<br />8.3.2 分布式数据通信接口 183<br />8.3.3 单机多 GPU 的训练　 190<br />8.3.4 基于集群的训练　208<br />8.4 小结　　　　214<br />参考文献　　　　 214<br /><br />第 9 章 总结与展望　　　 216<br /><br />参考文献　　　　 218<br />