第 一部分 导论
第 1章 迁移学习简介 3
1．1 NLP领域典型任务概述 5
1．2 理解人工智能背景下的NLP技术 6
1．2．1 人工智能 7
1．2．2 机器学习 7
1．2．3 自然语言处理 11
1．3 NLP发展简史 12
1．3．1 NLP简介 12
1．3．2 迁移学习的进展 14
1．4 计算机视觉中的迁移学习 16
1．4．1 概述 16
1．4．2 ImageNet预训练模型 17
1．4．3 ImageNet预训练模型的微调 18
1．5 NLP迁移学习成为一个令人兴奋的研究课题的原因 19
小结 20
第 2章 从头开始：数据预处理 21
2．1 垃圾电子邮件分类任务中示例数据的预处理 23
2．1．1 加载并检视Enron电子邮件语料库 24
2．1．2 加载并检视欺诈电子邮件数据集 26
2．1．3 将电子邮件文本转换为数值 30
2．2 电影评论情感分类任务中示例数据的预处理 32
2．3 广义线性模型 35
2．3．1 逻辑斯谛回归 36
2．3．2 支持向量机 38
小结 38
第3章 从头开始：基准测试和优化 41
3．1 基于决策树的模型 41
3．1．1 随机森林 42
3．1．2 梯度提升机 42
3．2 神经网络模型 47
3．2．1 语言模型嵌入 47
3．2．2 BERT模型简介 52
3．3 效果优化 56
3．3．1 手动超参调优 56
3．3．2 系统化超参调优 57
小结 58
第二部分 基于循环神经网络的浅层迁移学习和深度迁移学习
第4章 NLP浅层迁移学习 63
4．1 基于预训练词嵌入的半监督学习 65
4．2 基于高级表示的半监督学习 69
4．3 多任务学习 71
4．3．1 问题的提出以及浅层神经网络单任务基线 72
4．3．2 双任务实验 74
4．4 领域适配 75
小结 78
第5章 基于循环神经网络的深度迁移学习实验的数据预处理 79
5．1 表格分类数据的预处理 81
5．1．1 获取并检视表格数据 82
5．1．2 预处理表格数据 85
5．1．3 对预处理数据进行数字编码 87
5．2 预处理示例数据的事实核查 87
5．2．1 特殊问题考量 88
5．2．2 加载并检视事实核查数据 88
小结 89
第6章 基于循环神经网络的NLP深度迁移学习 91
6．1 SIMOn 91
6．1．1 通用神经网络结构概述 92
6．1．2 表格数据建模 93
6．1．3 SIMOn在表格数据分类中的应用 93
6．2 ELMo 100
6．2．1 ELMo双向语言建模 101
6．2．2 ELMo在虚假新闻检测任务中的应用 102
6．3 ULMFiT 104
6．3．1 以语言模型为目标任务的微调 104
6．3．2 以分类为目标任务的微调 105
小结 105
第三部分 基于Transformer的深度迁移学习以及适配策略
第7章 基于Transformer的深度迁移学习和GPT 109
7．1 Transformer 110
7．1．1 transformers库简介与注意力可视化 113
7．1．2 自注意力 115
7．1．3 残差连接、编码器-解码器注意力和位置编码 117
7．1．4 预训练的编码器-解码器在机器翻译任务中的应用 120
7．2 GPT 121
7．2．1 模型结构概述 122
7．2．2 Transformer pipeline及其在文本生成任务中的应用 124
7．2．3 聊天机器人任务中的应用 126
小结 128
第8章 基于BERT和mBERT的NLP深度迁移学习 129
8．1 BERT 130
8．1．1 BERT模型结构 131
8．1．2 在自动问答任务中的应用 134
8．1．3 在空白填写和后续句预测任务中的应用 136
8．2 mBERT的跨语言学习 138
8．2．1 JW300数据集概述 139
8．2．2 用预训练分词器将mBERT迁移到Twi单语言数据 139
8．2．3 根据Twi单语言数据从头训练mBERT模型和分词器 142
小结 143
第9章 ULMFiT与知识蒸馏的适配策略 145
9．1 逐步解冻和差别式微调 146
9．1．1 预训练语言模型微调 147
9．1．2 以分类为目标任务的微调 149
9．2 知识蒸馏 151
小结 156
第 10章 ALBERT、适配器和多任务适配策略 157
10．1 嵌入因子分解与跨层参数共享 158
10．2 多任务微调 162
10．2．1 GLUE数据集 163
10．2．2 GLUE单任务微调 164
10．2．3 序列化适配 167
10．3 适配器 169
小结 171
第 11章 总结 173
11．1 关键概念概述 174
11．2 其他新兴研究趋势 179
11．2．1 RoBERTa 180
11．2．2 GPT-3 180
11．2．3 XLNet 182
11．2．4 BigBird 182
11．2．5 Longformer 182
11．2．6 Reformer 183
11．2．7 T5 183
11．2．8 BART 184
11．2．9 XLM 185
11．2．10 TAPAS 185
11．3 NLP迁移学习的发展方向 186
11．4 伦理和环境因素 187
11．5 最新进展 189
11．5．1 Kaggle和Zindi比赛 189
11．5．2 arXiv 190
11．5．3 新闻与社交媒体 190
11．6 写在最后 191
附录A Kaggle入门 193
A．1 通过Kaggle Kernel免费使用GPU 193
A．2 竞赛、讨论区和博客 198
附录B 深度学习的基础工具简介 201
B．1 随机梯度下降 202
B．2 TensorFlow 203
B．3 PyTorch 206
B．4 Keras、fast．ai库和Hugging Face的transformers库 207