威廉·汉密尔顿（William Hamilton）是麦吉尔大学（McGill University）计算机科学系的助理教授，也是加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）AI 方向的主席、GraphSAGE 的作者。他专注于图表示学习及其在计算社会科学和生物学中的应用。近年来，他在机器学习和网络科学领域的顶级会议发表了20 多篇关于图表示学习的论文，并且参与组织了关于该主题的几次大型研讨会，分享了多份重磅教程。

他的工作获得了多个奖项的认可，其中包括2017 年美国科学院Cozzarelli最佳论文奖和2018 年斯坦福大学计算机科学系Arthur Samuel 最佳博士论文奖等。

         AI TIME是2019年由清华大学人工智能研究院张钹院士和清华大学计算机系唐杰教授、李涓子教授等人联合发起的圈子。AI TIME是一个开放、包容的组织，专注于探索AI科学、发扬科学思辨精神。我们邀请各界人士辩论AI本质，介绍学术前沿、展示研究机构风采，鼓励所有参与者用辩论的形式，平等、自由、充分地交流，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

本书提供了一份关于图表示学习的综述。

首先，本书讨论图表示学习的目标及图论和网络分析的关键方法论。

然后，本书介绍并回顾了学习节点嵌入的方法，包括基于随机游走的方法以及在知识图谱上的应用。

再后，本书对高度成功的图神经网络（ Graph Neural Network， GNN）进行了技术上的综合介绍， GNN已成为图数据深度学习领域占主导地位且迅速发展的范式。

最后，本书总结了针对图的深度生成模型的前沿进展，这是图表示学习新生但发展迅速的子集。

现在AI面临的问题是缺乏可解释性和鲁棒性。如果未来要做推理、规划、逻辑等表示，万亿级的常识知识图谱、认知图谱和图表示学习是很有帮助的。本书全面、系统地介绍了图表示学习的发展脉络与研究现状，相信能给工业界和学术界的读者带来启发。因此，特别建议大家阅读。

清华大学计算机系教授、IEEE Fellow 唐杰

第一部分 背景介绍

第1 章 引言 ............................................................................................... 2

1.1 什么是图 .......................................................................................... 3

1.2 图机器学习 ...................................................................................... 6

第2 章 背景与传统方法 ............................................................................ 13

2.1 图统计特征与核方法 ..................................................................... 14

2.2 邻域重叠检测 ................................................................................ 23

2.3 图的拉普拉斯矩阵和图的谱方法 .................................................. 32

2.4 面向表示学习 ................................................................................ 41

第二部分 节点嵌入

第3 章 邻域节点重构 ................................................................................ 44

3.1 编码-解码框架 ............................................................................... 45

3.2 基于因式分解的方法 ..................................................................... 49

3.3 随机游走嵌入表示 ......................................................................... 52

3.4 shallow embedding 的局限性 ......................................................... 56

第4 章 多关系数据及知识图谱 .................................................................. 58

4.1 重建多关系数据 ............................................................................. 59

4.2 损失函数 ........................................................................................ 60

4.3 多关系解码器 ................................................................................ 64

4.4 解码器的性能表征 ......................................................................... 68

第三部分 图神经网络（GNN）

第5 章 图神经网络（GNN）模型 .............................................................. 72

5.1 神经消息传递 ................................................................................ 74

5.2 广义邻域聚合 ................................................................................ 80

5.3 广义的更新方法 ............................................................................. 89

5.4 边特征和多元关系GNN ................................................................ 96

5.5 图池化 ............................................................................................ 99

5.6 通用的消息传递方法 ................................................................... 102

第6 章 图神经网络（GNN）的实现 ......................................................... 104

6.1 应用和损失函数 ........................................................................... 104

6.2 效率问题和节点采样 ................................................................... 110

6.3 参数共享与正则化 ....................................................................... 112

第7 章 图神经网络（GNN）的理论动机 .................................................. 114

7.1 GNN与图卷积 ............................................................................. 115

7.2 GNN和概率图模型 ..................................................................... 135

7.3 GNN与图同构 ............................................................................. 141

第四部分 生成图模型

第8 章 传统图生成方法 .......................................................................... 158

8.1 传统方法概述 .............................................................................. 159

8.2 ERDÖS–RÉNYI 模型 .................................................................. 159

8.3 随机块模型 .................................................................................. 160

8.4 优先链接模型 .............................................................................. 161

8.5 传统应用 ...................................................................................... 163

第9 章 深度生成模型 .............................................................................. 165

9.1 VAE 方法 ..................................................................................... 166

9.2 对抗方法 ...................................................................................... 176

9.3 自回归模型 .................................................................................. 178

9.4 图生成的评估 .............................................................................. 184

9.5 分子图生成 .................................................................................. 185