-本书获俞士纶、崔鹏、刘新旺、姬水旺、裴健、唐建、唐杰、王飞、殷建平、张成奇、周志华、祝恩等十余位人工智能国际顶级专家赞誉!
-全书从背景介绍、理论细节,到实际应用,再到总结与拓展,深入浅出。
-涵盖了学习图深度学习必须了解的基础知识,图深度学习中经典的模型方法,图深度学习在实际中的应用方法,以及图深度学习的研究热点和前沿进展。
-揭秘图深度学习的基本原理和经典算法,包括现代图嵌入、用于简单图和复杂图的GNN、GNN 的健壮性和可扩展性及GNN 之外的图深度模型。
-应用部分介绍了GNN 在典型领域的应用,包括自然语言处理、计算机视觉、数据挖掘、生物化学和医疗健康
-适合计算机科学、人工智能和机器学习等相关专业各个阶段的学生学习,也可供信息领域相关从业者,包括工程师和研究人员阅读。
本书全面介绍了图深度学习的理论基础、模型方法及实际应用。全书分为4 篇,共15 章。第1 篇为基础理论,重点介绍图和深度学习的基础知识,包括图的关键概念和属性、各种基础的神经网络模型、训练深度学习模型的关键方法以及防止训练过程中过度拟合的实用技术;第2 篇为模型方法,涵盖了从基本设置到高级设置的成熟的图深度学习方法,包括图嵌入、图过滤和池化操作、图对抗攻击和图对抗防御技术、可扩展性图神经网络的代表性技术以及图神经网络之外的众多图深度模型;第3 篇为实际应用,重点介绍了具有代表性的实际应用,包括自然语言处理、计算机视觉、数据挖掘、生物化学与医疗健康等;第4 篇为前沿进展,介绍了有可能成为将来研究热点的高级方法和应用,主要从表达性、深度、公平性、可解释性和自监督学习等内容。在组织结构方面,每章首先介绍写作动机,然后通过具体示例或技术细节介绍相应内容,最后提供更多的扩展阅读知识。
本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读,也适合企业开发者和项目经理阅读。对于没有计算机科学背景,但想要应用图神经网络来推进其所在学科发展的研究人员,本书同样是一本值得参考的读物。
计算生物化学和医疗健康的数据常常通过图来表示。例如,分子和化合物可以自然地表示为以原子为节点、以键为边的图。蛋白质相互作用(Protein-ProteinInteractions,PPI)记录了两个或多个蛋白质之间的物理联系, 这种联系可以很自然地用图的形式表示。此外,在制药行业中,药物相互作用(Drug-Drug Interactions,DDI)描述了在使用不同药物组合治疗复杂疾病时的不良结果,这种相互作用也可以用图来表示。图神经网络模型具有强大的图表示学习能力,已被应用于许多生物化学和医疗健康应用中,包括药物开发与发现、药物相似性整合、复方药物副作用预测、药物推荐和疾病预测。下面将讨论GNN 模型在生物化学和医疗健康中的一些典型应用。
图神经网络已经被用来推动药物开发和发现中的许多重要任务。这些任务的实例包括:1)分子表示学习,该任务可以用于辅助分子属性预测等下游任务,从而有助于将候选分子的搜索范围缩小到具有合适性质的分子上;2)分子图生成,旨在生成具有某种期望性质的分子;3)药物–靶标结合亲和力预测,即预测药物–靶标的相互作用强度,以便于新药开发和药物再利用;4)蛋白质相互作用界面预测,其目的在于预测蛋白质相互作用界面,以便于理解分子相互作用界面,进而理解分子机制。接下来介绍图神经网络在分子表示学习、药物–靶标结合亲和力预测以及蛋白质相互作用界面预测等方面的应用。
1.分子表示学习
预测新型分子的性质对于材料设计和药物发现具有重要意义。深度学习方法已经被用于预测分子性质。通常来说,分子可以是任意大小和形状的,所以前馈网络和卷积神经网络等深度学习方法不能直接应用于分子数据。预测过程通常包括两个阶段:特征提取,提取分子指纹,即编码分子结构信息的向量表示;性质预测,将提取的分子指纹作为输入,利用深度学习方法预测。在传统方法中,可以使用一些现成的指纹软件提取分子指纹,而这样缺乏来自下游任务的指导。因此,提取出来的表示对于下游任务来说可能并不是最佳的。文献提出了一种端到端的预测框架,它采用图神经网络以一种可微的方式学习分子指纹。具体而言,一个分子可以表示为一个图G = {V, E},其中节点表示原子,边表示这些原子之间的键。因此,分子性质预测的任务可以看作图分类或图回归问题,这就需要学习图级表示。注意,在描述分子的背景下,这些表示称为分子指纹。应用于该任务的图神经网络模型由图滤波层和图池化层组成。具体而言,文献采用了全局池化方法。本节首先介绍其图滤波层,再介绍获取分子指纹的全局池化层。
目录
第1 章绪论1
1.1 简介2
1.2 图深度学习的动机2
1.3 本书内容4
1.4 本书读者定位6
1.5 图特征学习的简要发展史7
1.5.1 图特征选择8
1.5.2 图表示学习9
1.6 小结10
1.7 扩展阅读11
第1 篇基础理论
第2 章图论基础15
2.1 简介16
2.2 图的表示16
2.3 图的性质17
2.3.1 度17
2.3.2 连通度19
2.3.3 中心性21
2.4 谱图论24
2.4.1 拉普拉斯矩阵24
2.4.2 拉普拉斯矩阵的特征值和特征向量26
2.5 图信号处理27
2.6 复杂图30
2.6.1 异质图30
2.6.2 二分图30
2.6.3 多维图31
2.6.4 符号图32
2.6.5 超图33
2.6.6 动态图33
2.7 图的计算任务34
2.7.1 侧重于节点的任务35
2.7.2 侧重于图的任务36
2.8 小结37
2.9 扩展阅读37
第3 章深度学习基础39
3.1 简介40
3.2 深度前馈神经网络41
3.2.1 网络结构42
3.2.2 激活函数43
3.2.3 输出层和损失函数45
3.3 卷积神经网络47
3.3.1 卷积操作和卷积层48
3.3.2 实际操作中的卷积层51
3.3.3 非线性激活层52
3.3.4 池化层53
3.3.5 卷积神经网络总体框架53
3.4 循环神经网络54
3.4.1 传统循环神经网络的网络结构55
3.4.2 长短期记忆网络56
3.4.3 门控循环单元58
3.5 自编码器59
3.5.1 欠完备自编码器59
3.5.2 正则化自编码器60
3.6 深度神经网络的训练61
3.6.1 梯度下降61
3.6.2 反向传播62
3.6.3 预防过拟合64
3.7 小结65
3.8 扩展阅读65
第2 篇模型方法
第4 章图嵌入69
4.1 简介70
4.2 简单图的图嵌入71
4.2.1 保留节点共现71
4.2.2 保留结构角色80
4.2.3 保留节点状态83
4.2.4 保留社区结构84
4.3 复杂图的图嵌入86
4.3.1 异质图嵌入87
4.3.2 二分图嵌入89
4.3.3 多维图嵌入90
4.3.4 符号图嵌入91
4.3.5 超图嵌入93
4.3.6 动态图嵌入95
4.4 小结96
4.5 扩展阅读97
第5 章图神经网络99
5.1 简介100
5.2 图神经网络基本框架102
5.2.1 侧重于节点的任务的图神经网络框架102
5.2.2 侧重于图的任务的图神经网络框架103
5.3 图滤波器104
5.3.1 基于谱的图滤波器104
5.3.2 基于空间的图滤波器114
5.4 图池化120
5.4.1 平面图池化120
5.4.2 层次图池化121
5.5 图卷积神经网络的参数学习125
5.5.1 节点分类中的参数学习126
5.5.2 图分类中的参数学习126
5.6 小结127
5.7 扩展阅读128
第6 章图神经网络的健壮性129
6.1 简介130
6.2 图对抗攻击130
6.2.1 图对抗攻击的分类131
6.2.2 白盒攻击132
6.2.3 灰盒攻击135
6.2.4 黑盒攻击139
6.3 图对抗防御142
6.3.1 图对抗训练142
6.3.2 图净化144
6.3.3 图注意力机制144
6.3.4 图结构学习148
6.4 小结149
6.5 扩展阅读149
第7 章可扩展图神经网络151
7.1 简介152
7.2 逐点采样法155
7.3 逐层采样法158
7.4 子图采样法162
7.5 小结164
7.6 扩展阅读164
第8 章复杂图神经网络165
8.1 简介166
8.2 异质图神经网络166
8.3 二分图神经网络168
8.4 多维图神经网络168
8.5 符号图神经网络170
8.6 超图神经网络173
8.7 动态图神经网络174
8.8 小结175
8.9 扩展阅读175
第9 章图上的其他深度模型177
9.1 简介178
9.2 图上的自编码器178
9.3 图上的循环神经网络180
9.4 图上的变分自编码器182
9.4.1 用于节点表示学习的变分自编码器184
9.4.2 用于图生成的变分自编码器184
9.4.3 编码器:推论模型185
9.4.4 解码器: 生成模型186
9.4.5 重建的损失函数186
9.5 图上的生成对抗网络187
9.5.1 用于节点表示学习的生成对抗网络188
9.5.2 用于图生成的生成对抗网络189
9.6 小结191
9.7 扩展阅读191
第3 篇实际应用
第10 章自然语言处理中的图神经网络195
10.1 简介196
10.2 语义角色标注196
10.3 神经机器翻译199
10.4 关系抽取199
10.5 问答系统200
10.5.1 多跳问答任务201
10.5.2 Entity-GCN 202
10.6 图到序列学习203
10.7 知识图谱中的图神经网络205
10.7.1 知识图谱中的图滤波205
10.7.2 知识图谱到简单图的转换206
10.7.3 知识图谱补全207
10.8 小结208
10.9 扩展阅读208
第11 章计算机视觉中的图神经网络209
11.1 简介210
11.2 视觉问答210
11.2.1 图像表示为图211
11.2.2 图像和问题表示为图212
11.3 基于骨架的动作识别214
11.4 图像分类215
11.4.1 零样本图像分类216
11.4.2 少样本图像分类217
11.4.3 多标签图像分类218
11.5 点云学习219
11.6 小结220
11.7 扩展阅读220
第12 章数据挖掘中的图神经网络221
12.1 简介222
12.2 万维网数据挖掘222
12.2.1 社交网络分析222
12.2.2 推荐系统225
12.3 城市数据挖掘229
12.3.1 交通预测229
12.3.2 空气质量预测231
12.4 网络安全数据挖掘231
12.4.1 恶意账户检测231
12.4.2 虚假新闻检测233
12.5 小结234
12.6 扩展阅读234
第13 章生物化学和医疗健康中的
图神经网络235
13.1 简介236
13.2 药物开发与发现236
13.2.1 分子表示学习236
13.2.2 蛋白质相互作用界面预测237
13.2.3 药物–靶标结合亲和力预测239
13.3 药物相似性整合240
13.4 复方药物副作用预测242
13.5 疾病预测244
13.6 小结245
13.7 扩展阅读245
第4 篇前沿进展
第14 章图神经网络的高级方法249
14.1 简介250
14.2 深层图神经网络250
14.2.1 Jumping Knowledge 252
14.2.2 DropEdge 253
14.2.3 PairNorm 253
14.3 通过自监督学习探索未标记数据253
14.3.1 侧重于节点的任务254
14.3.2 侧重于图的任务256
14.4 图神经网络的表达能力257
14.4.1 WL 测试258
14.4.2 表达能力259
14.5 小结260
14.6 扩展阅读260
第15 章图神经网络的高级应用261
15.1 简介262
15.2 图的组合优化262
15.3 学习程序表示264
15.4 物理学中相互作用的动力系统推断265
15.5 小结266
15.6 扩展阅读266
参考文献267
索引295
温馨提示:请使用泸西县图书馆的读者帐号和密码进行登录
图以其强大的表达能力,已经成为数据挖掘和机器学习领域的重要研究对象。而图神经网络被认为是充分发挥图表征能力的新一代学习框架,是当前学术界和产业界共同关注的焦点。本书由该领域知名学者汤继良教授团队倾力打造,对理解图神经网络的核心技术,把握发展趋势具有重要的参考和学习价值。
崔鹏
清华大学计算机系副教授,ACM 杰出科学家
本书是一本系统性介绍图深度学习的读物。全书深入浅出地归纳了图深度学习的基础知识,分析了该领域的前沿研究现状,并展望了面向图机器学习的未来研究方向。无论是对于图机器学习的初学者,还是对于从事该领域的研究者,本书都具有十分重要的引导意义和参考价值。
刘新旺
国防科技大学计算机学院教授
图神经网络是机器学习领域最活跃的研究方向之一。由汤继良教授和他的学生合著的《图深度学习》涵盖了图神经网络的基础理论、模型方法、实际应用和前沿进展,在深度和广度方面做到了很好的结合,是一本不可多得的好书,值得仔细品味。
姬水旺
得克萨斯农工大学教授,ACM 杰出科学家
图深度学习是人工智能、机器学习的重大热点和主要方向之一,但内容繁杂,不易掌握。这本《图深度学习》凝聚了作者多年来的研究、教学心得,在这个关键时间点上高屋建瓴地总结了整个方向的基础、方法、应用和进展,非常及时、恰到好处。本书是一本难得的入门和精进宝典,适合各阶段的高校学生、研究人员和实践者系统学习或案头备考。
裴健
西蒙弗雷泽大学教授,加拿大皇家科学院、加拿大工程院院士,ACM/IEEE 会士,ACM SIGKDD 主席
图神经网络是当前机器学习领域的一个热门研究方向,在逻辑推理、知识图谱、推荐系统、自然语言处理、新药以及材料研发等众多领域都有广泛的应用。本书由图神经网络方向知名学者汤继良教授及其博士生领衔撰写,系统地介绍了图神经网络的发展背景、基本原理、在多个领域的应用以及当前的研究方向。全书通俗易懂,既可以作为初学者的学习教材,也可以作为专业研究人员的重要参考书。
唐建
蒙特利尔大学计算机系、商学院、魁北克人工智能研究中心助理教授,加拿大高等研究院人工智能讲席教授(CIFAR AI Research Chair),图表示学习经典算法LINE 的第一作者
图深度学习是机器学习中一个非常重要的分支,最近随着理论和应用的发展引起广泛关注。本书从理论、模型、算法到应用,全方位地介绍了图深度学习的相关知识,适合高年级本科生和研究生阅读,非常值得推荐。
唐杰
清华大学计算机系教授,IEEE 会士
图做为一种灵活的数据结构,广泛存在于大量的实际问题当中,包括社交网络、通信网络、物流网络、疾病传播网络,乃至药物分子结构等。与传统的基于向量的数据表示方法相比,图结构不仅能捕捉数据样本的特征信息,还可以对样本之间的联系分析更加灵活与现实。
本人从事图相关的学习已有15 年。在如今的深度学习浪潮到来之前,图学习方法主要致力于如何利用线性的方法将样本点的信息在图上进行传播,典型的算法包括谱聚类、随机游走和标签传播等。尽管这些方法在很多应用中也取得了不俗的表现,但这种线性的信息传播方法极大地限制了图学习的潜力。
近些年来,由深度学习掀起的技术革命颠覆了一个又一个领域,从计算机视觉到语音识别,从自然语言处理到分子结构设计,深度学习带给了我们一个又一个的惊喜。图作为一类重要的数据结构,自然要当仁不让,拥抱这次革命。这也自然而然地成就了图深度学习这一新兴领域。针对传统图学习中线性假设的局限性,图深度学习致力于开发更为灵活有效的非线性信息传播算法,在很多应用中取得了惊艳的效果。由好友汤继良和马耀撰写的这本《图深度学习》,深入浅出而系统地讲解了图深度学习的来龙去脉,包括图深度学习的动机、深度学习基础、不同类型的图深度学习算法,以及图神经网络的各种应用。书的最后一部分还对最近的图深度学习技术和方向进行了总结和展望。本书是一本不可多得的对图神经网络的综合介绍。无论是致力于机器学习算法研究的理论家,还是关注如何将图深度学习应用于现实问题的实践家,无论是初出茅庐刚刚踏入图深度学习领域的入门学者,还是已经在图学习领域驰骋多年的资深研究员,都会从不同角度获取所需的关于图深度学习的信息。本书既可作为研究人员的参考图书,也可作为图神经网络课程讲授的教材。内容丰富,精彩纷呈。
祝阅读愉快!
王飞
康奈尔大学副教授
图是表示现实世界中各种对象及其相互关系的有效工具,基于这样的表示,现实问题的求解就归结为图论问题的求解。近年来,深度学习已成功应用于许多现实问题的求解,在此背景下探讨深度学习如何应用于图论问题的求解很有价值。图深度学习正是应这种探索中遇到的机遇与挑战而生的。本书思路清晰,案例丰富,深入浅出,适应面广,系统性强。既有基本理论和建模方法的介绍,又有实际应用和前沿进展的探讨。本书既可以作为信息领域高年级本科生或研究生的相关课程教材或教学参考书,也可供信息处理相关企业的研发人员和管理人员,以及其他希望应用深度学习解决各自领域问题的研究人员参考。
殷建平
教授,万人计划国家教学名师,全国优秀教师,全国优秀博士学位论文指导教师
本书系统地归纳、梳理了图深度学习领域的基础知识以及众多前沿模型,可以带领初学者循序渐进、由浅入深地了解整个领域,也可以帮助有兴趣从事图深度学习研究及相关职业方向的学生和研究人员更全面地认识图深度学习,并在学习过程中建立起图深度学习的知识框架。
张成奇
悉尼科技大学(UTS)副校长,杰出教授,澳大利亚人工智能理事会理事长,2024 国际人工智能联合会(IJCAI)大会主席
图深度学习是深度学习中一个很热门的子领域,该书站在科研前沿的专家角度著述介绍,值得感兴趣的读者一读。
周志华
南京大学人工智能学院院长,欧洲科学院外籍院士,CM/IEEE/AAAI/AAAS/IAPR/CCF 会士
在经典学习问题中,通常假设数据是独立同分布的,不考虑数据之间的关系;然而,增加数据的图表示后,往往能明显提高算法的性能。图深度学习是深度学习与图相结合的产物,是深度学习领域一个重要的前沿子领域,近十年取得了明显的进展。本书系统地覆盖了图深度学习的基础理论、模型方法、实际应用和前沿进展。对于机器学习、深度学习、图深度学习领域的研究人员、研究生和高年级本科生,本书值得认真研读。
祝恩
国防科技大学计算机学院教授,CCF 理论计算机科学专业委员会副主任,全国优秀博士学位论文获得者