双锴，北京邮电大学，网络与交换技术国家重点实验室，副教授，计算机学会高级会员。2008年起开始专注于大数据技术，目前研究方向为大数据，自然语言处理，计算机视觉，移动互联网技术等。以负责人身份承担了10余项国家J及省部级科研项目，近40项企业合作项目。发表高水平SCI/EI检索论文80余篇，获得国家发明专利20余项，撰写国际规范2篇。

第1章绪论1

本章思维导图1

1.1自然语言处理发展2

1.1.1什么是自然语言处理?2

1.1.2自然语言处理的发展历史2

1.2自然语言处理的难点5

1.3自然语言处理的发展阶段和流派5

1.3.1理性主义方法阶段和基于规则的专家系统5

1.3.2经验主义方法阶段和基于统计的学习方法6

1.4自然语言处理的应用7

1.4.1文本方面7

1.4.2语音方面9

1.5利用深度学习进行自然语言处理10

1.5.1NLP中的深度学习10

1.5.2NLP中深度学习的局限性11

1.6全书内容安排12

本章参考文献12

第2章自然语言处理基础14

本章思维导图14

2.1语料库与语言知识库15

2.1.1语料库15

2.1.2语言知识库17

2.2文本预处理18

2.2.1数据清洗18

2.2.2分词处理19

2.2.3特征过滤21

2.3文本向量化表示23

2.3.1独热表示23

2.3.2词袋表示24

2.3.3词频逆文档频率24

2.3.4Word2Vec模型25

2.4自然语言处理开源工具库29

2.4.1自然语言处理工具包29

2.4.2斯坦福核心自然语言处理30

2.4.3自然语言处理工具包30

2.4.4复旦自然语言处理30

2.4.5汉语语言处理包30

本章小结31

思考题31

本章参考文献32



第3章神经网络和深度学习33

本章思维导图33

3.1前馈神经网络34

3.1.1基本前馈神经网络35

3.1.2卷积神经网络35

3.1.3注意力网络37

3.2基本循环神经网络39

3.2.1循环神经网络的提出背景39

3.2.2基本循环神经网络结构40

3.2.3循环神经网络的训练41

3.2.4基本循环神经网络存在的问题42

3.3循环神经网络的扩展结构42

3.3.1双向循环神经网络42

3.3.2深度循环神经网络43

3.3.3长短时记忆网络44

3.3.4门控循环单元47

3.3.5循环神经网络的应用48

3.4深度学习概览48

3.4.1激活函数48

3.4.2监督学习和数据集50

3.4.3损失函数51

3.4.4梯度下降和反向传播算法51

3.4.5正则化53

本章小结53

思考题54

本章参考文献54

第4章语言模型55

本章思维导图55

4.1语言模型任务定义56

4.2从统计语言模型到神经网络语言模型56

4.2.1统计语言模型56

4.2.2神经网络语言模型57

4.3语言模型的评价指标59

4.4预训练语言模型60

4.4.1什么是预训练语言模型60

4.4.2ELMo模型61

4.4.3BERT模型63

4.5语言模型的前沿技术与发展趋势67

本章小结69

思考题69

本章参考文献69

第5章分类任务71

本章小结88

思考题89

本章参考文献89

第6章信息抽取91

本章小结111

思考题112

本章参考文献112

第7章知识图谱114

本章小结143

思考题143

本章参考文献144

第8章机器翻译146