徐华博士，2003年毕业于清华大学计算机科学与技术系，现为清华大学计算机科学与技术系长聘副教授，博士生导师。从事多模态智能信息处理、智能优化和共融机器人智能控制等研究工作。担任爱思唯尔（Elsevier）开放期刊Intelligent Systems with Applications首任主编，权威期刊Expert Systems with Applications副主编。完成国家科技重大专项课题3项，国家自然科学基金项目4项，国家973项目二级课题2项，国家863项目（课题）5项，国际500强企业（宝洁、西门子、安捷伦等）合作项目13项。目前已在本专业领域权威国际期刊和AAAI、ACL、ACM MM等顶级会议上发表学术论文100余篇。获得国家科学技术进步奖二等奖1项（集体奖），北京市科学技术奖一等奖1项，北京市科学技术奖二等奖1项（集体奖），北京市科学技术奖三等奖1项，重庆市科技进步奖三等奖1项，中国物流与采购联合会科技发明奖一等奖1项，中国物流与采购联合会科学技术奖一等奖1项。作为主讲教师，主讲清华大学全校性课程“数据挖掘：方法与应用”“工业数据挖掘与分析”“互联网产品设计”等课程。独立编写专著和教材5部，其中《演化机器学习》是国内首部演化机器学习领域的学术专著；《面向共融机器人的自然交互—人机对话意图理解》是国内首部共融机器人自然交互领域的学术专著；《数据挖掘：方法与应用》和《数据挖掘：方法与应用—应用案例》已经被国内众多高校选用为配套教材，并获得清华大学优秀教材（2020年）二等奖。

共融机器人是能够与作业环境、人和其他机器人自然交互、自主适应复杂动态环境并协同作业的机器人。“敏锐体贴型”的自然交互是共融服务机器人的研究热点之一，业内当前迫切需要共融机器人具备理解复杂语义信息的能力。本书立足于深度学习方法的信息与知识抽取领域，从学习文本表示出发，系统地介绍了用于获取现实世界知识信息中命名实体和实体关系的方法，并深入探讨了如何在开放领域实现鲁棒的实体关系分析。

本书是国内共融机器人自然交互领域第一本系统介绍深度学习的命名实体识别和关系抽取的专业书籍，可为读者掌握共融机器人研究领域信息与知识抽取的关键技术和基础知识，追踪该领域的发展前沿提供参考，适合人工智能科学与技术、人工智能等专业的学生及相关研究者阅读。

第1篇引言

第1章对话信息中的命名实体识别3

1.1命名实体识别概述3

1.2相关研究方法概述5

1.2.1词嵌入表示方法5

1.2.2上下文编码架构7

1.2.3标签解码网络8

1.3本章小结8

第2章垂直领域的实体关系分析10

2.1抽取垂直领域的实体关系11

2.1.1基于有监督方法的关系抽取11

2.1.2基于远程监督方法的关系抽取12

2.1.3基于小样本学习方法的关系抽取13

2.1.4实体和关系联合抽取13

2.2相关研究方法综述14

2.2.1卷积神经网络14

2.2.2注意力机制14

2.2.3图神经网络15

2.2.4对抗训练15

2.3本章小结16

第3章开放领域的实体关系分析17

3.1开放领域的实体关系抽取17

3.2相关研究方法综述18

3.2.1自监督学习18

3.2.2开放世界分类18

3.2.3无监督聚类19

3.2.4深度度量学习19

3.2.5持续学习19

3.2.6对比学习20

3.3本章小结20

本篇小结21

目录  面向共融机器人的自然交互——命名实体识别与关系抽取〖2〗〖2〗 〖1〗 第2篇对话信息中的命名实体识别

第4章基于SLSTM的上下文词状态与句子状态表示模型25

4.1概述25

4.2基于GloVe的词嵌入25

4.3基于双向LSTM的字符级向量表示26

4.3.1LSTM神经网络26

4.3.2双向LSTM神经网络29

4.3.3字符级向量表示模型29

4.4基于Attention机制的词向量与字符向量连接30

4.5预训练的额外词表示31

4.5.1双向语言模型31

4.5.2ELMo32

4.6上下文词状态表示33

4.7基于SLSTM构建面向命名实体识别的新的句子状态表示33

4.8基于改进SLSTM构建面向命名实体识别的新的上下文词状态35

4.9标签预测36

4.10实验与分析37

4.10.1数据集37

4.10.2超参数38

4.10.3评估指标39

4.10.4实验分析39

4.11本章小结43

第5章基于句子语义与SelfAttention机制的中文和英文NER模型44

5.1概述44

5.2模型的总体结构44

5.3词嵌入层45

5.3.1英文词嵌入层45

5.3.2中文词嵌入层46

5.4SelfAttention机制47

5.4.1Attention机制48

5.4.2MultiHead Attention49

5.4.3SelfAttention50

5.5句子表示模型51

5.5.1基于双向LSTM的句子表示模型51

5.5.2基于多通道CNN的句子表示模型51

5.6实验与分析52

5.6.1数据集52

5.6.2超参数53

5.6.3模型探索53

5.6.4模型的横向对比54

5.6.5模型的纵向对比56

5.7本章小结57

第6章融合了拼音嵌入与五笔嵌入的中文NER模型58

6.1概述58

6.2字符嵌入58

6.3拼音嵌入58

6.4五笔嵌入60

6.5融合多种嵌入的模型结构61

6.6实验与分析62

6.6.1数据集62

6.6.2超参数63

6.6.3模型的横向对比63

6.6.4消融实验64

6.7本章小结65

本篇小结65

第3篇垂直领域的实体关系分析

第7章基于远程监督方法的关系抽取69

7.1概述69

7.2深度卷积神经网络70

7.2.1文本向量化表示70

7.2.2残差神经网络70

7.2.3补偿机制72

7.2.4注意力机制73

7.3对抗训练74

7.4实验与分析74

7.4.1数据集和评估指标75

7.4.2实验设置75

7.4.3补偿机制的有效性76

7.4.4对抗训练的有效性78

7.4.5与先进基线方法对比78

7.5不足和展望81

7.6本章小结81

第8章基于小样本学习的关系抽取82

8.1概述82

8.2异构图神经网络83

8.2.1任务定义83

8.2.2节点的向量化表示83

8.2.3异构图神经网络中的节点84

8.2.4异构图神经网络中的边85

8.2.5异构图神经网络中的状态表示86

8.3异构图神经网络中的对抗训练87

8.4实验与分析87

8.4.1数据集和评估指标88

8.4.2实验设置88

8.4.3异构图神经网络的有效性89

8.4.4异构图神经网络对噪声数据的鲁棒性90

8.4.5节点可视化表示91

8.4.6案例分析92

8.5不足与展望93

8.6本章小结94

第9章文档级别的关系抽取方法95

9.1概述95

9.2文档的向量化表示95

9.3“注意力”机制在文档级别关系抽取中的应用98

9.4实验与分析100

9.4.1数据集和评估指标100

9.4.2实验设置101

9.4.3“注意力”机制的有效性102

9.5不足与展望103

9.6本章小结103

第10章基于表示迭代融合的实体和关系联合抽取104

10.1概述104

10.2任务定义105

10.3表示迭代融合方法106

10.3.1节点向量化106

10.3.2异构图神经网络层107

10.3.3实体关系抽取108

10.4实验与分析110

10.4.1数据集和评估指标110

10.4.2训练细节和参数设置111

10.4.3模型对比实验111

10.4.4不同类型的句子上的详细的结果113

10.4.5分析和讨论114

10.5本章小结118

本篇小结119

第4篇开放领域的实体关系分析

第11章基于动态阈值的开放关系检测123

11.1概述123

11.2任务定义125

11.3基于生成式负样本的动态阈值方法125

11.3.1关系表示125

11.3.2动态阈值126

11.3.3生成式负样本127

11.4实验与分析128

11.4.1数据集128

11.4.2评价指标128

11.4.3基线模型129

11.4.4参数设置和训练细节129

11.4.5结果与讨论129

11.5本章小结135

第12章基于自加权损失的开放关系抽取136

12.1概述136

12.2任务定义137

12.3基于自加权损失的半监督学习框架137

12.3.1关系表示抽取模块138

12.3.2基于深度度量学习的知识迁移138

12.3.3基于聚类的开放关系发现139

12.4实验与分析140

12.4.1数据集140

12.4.2评价指标140

12.4.3基线模型140

12.4.4参数设置和训练细节141

12.4.5结果和讨论141

12.5本章小结146

第13章基于一致性表示学习的持续关系抽取147

13.1概述147

13.2任务定义148

13.3一致性表示学习方法148

13.3.1编码器149

13.3.2新任务的初始训练150

13.3.3为记忆选择代表性样本150

13.3.4一致性表示学习150

13.3.5基于类均值的预测152

13.4实验与分析152

13.4.1数据集153

13.4.2评价指标153

13.4.3基线模型153

13.4.4训练细节和参数设置153

13.4.5结果和讨论154

13.5本章小结158

第14章开放域文本关系抽取的可扩展可视化平台159

14.1概述159

14.2文本开放关系抽取系统160

14.2.1数据集管理161

14.2.2模型管理161

14.2.3可视化模块162

14.2.4开放关系抽取流水线162

14.3本章小结164

本篇小结164

参考文献165

附录A英文缩写对照表180

附录B图片索引183

附录C表格索引185

结束语187