Lewis Tunstall是Hugging Face机器学习工程师，致力于为NLP社区开发实用工具，并帮助人们更好地使用这些工具。

Leandro von Werra是Hugging Face机器学习工程师，致力于代码生成模型的研究与社区推广工作。

Thomas Wolf是Hugging Face首席科学官兼联合创始人，他的团队肩负着促进AI研究和普及的使命。

刘聪
资深NLP技术专家和AI技术专家，南京云问科技首席算法架构师，MLNLP（机器学习算法与自然语言处理）社区学术委员。主攻文本向量表征、问答系统、AIGC等技术方向，是大模型领域的先驱者和布道者。开源了首个中文Unilm预训练模型、中文GPT2、夸夸闲聊机器人（ChatBot）、大模型微调等项目。作为主要负责人，在多项自然语言处理比赛中获得前三名，在中文核心期刊和SCI发表多篇论文，有多项发明专利。知乎ID为“刘聪NLP”，拥有公众号“NLP工作站”。

杜振东
资深NLP技术专家和AI技术专家，南京云问科技NLP研究院院长，国家人工智能标准委专家、AIIA 人工智能技术专家、CCF智能机器人专业组首批委员。拥有10年机器学习与文本挖掘经验，8年中文自然语言处理实战经验，参与制定6项国家人工智能总体组标准，编著有《会话式AI》《人工智能实践录》等书。

涂铭
资深AI架构师和大数据架构师，现就职于BAT，对NLP、图像识别、大数据等领域有深入研究，实战经验丰富。在NLP方面，担任导购机器人项目的架构师，主导开发机器人的语义理解、短文本相似度匹配、上下文理解等功能。在工业领域曾参与了燃煤优化、设备故障诊断、新能源光伏电池片和组件EL图像检测等项目。著有《Python自然语言处理实战：核心技术与算法》《深度学习与图像识别：原理与实践》等畅销书。

沈盛宇
资深算法工程师，南京云问科技算法组负责人。擅长结合用户业务场景，有针对性地设计知识图谱、问答、检索、多模态、AIGC等的相关算法和落地方案。在结合客户现有产品体系，推动数据中台和算法平台结合，从而提升服务质量方面，有丰富实战经验。曾获得多项国家专利，参与制定和撰写《IDP术语标准》《人工智能-智能助理能力等级评估标准》《人工智能标准化与开源研究报告》等多项国家级人工智能标准和报告。

《Transformer自然语言处理实战：使用Hugging Face Transformers库构建NLP应用》
本书涵盖了Transformer在NLP领域的主要应用。首先介绍Transformer模型和Hugging Face 生态系统。然后重点介绍情感分析任务以及Trainer API、Transformer的架构，并讲述了在多语言中识别文本内实体的任务，以及Transformer模型生成文本的能力，还介绍了解码策略和度量指标。接着深入挖掘了文本摘要这个复杂的序列到序列的任务，并介绍了用于此任务的度量指标。之后聚焦于构建基于评论的问答系统，介绍如何基于Haystack进行信息检索，探讨在缺乏大量标注数据的情况下提高模型性能的方法。最后展示如何从头开始构建和训练用于自动填充Python源代码的模型，并总结Transformer面临的挑战以及将这个模型应用于其他领域的一些新研究。

《ChatGPT原理与实战：大型语言模型的算法、技术和私有化》
这是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。
具体地，通过本书你能了解或掌握以下知识：
ChatGPT的工作流程和技术栈
ChatGPT的工作原理和算法实现
基于Transformer架构的一系列预训练语言模型的原理
强化学习的基础知识
提示学习与大模型涌现出的上下文学习、思维链
大模型的训练方法及常见的分布式训练框架
基于人工反馈的强化学习整体框架
从零搭建类ChatGPT模型，模拟完整的ChatGPT训练过程
本书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管你是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

《Transformer自然语言处理实战：使用Hugging Face Transformers库构建NLP应用》
序1
前言3
第1章 欢迎来到Transformer的世界11
1.1 编码器-解码器框架12
1.2 注意力机制14
1.3 NLP的迁移学习15
1.4 Hugging FaceTransformers库：提供规范化接口18
1.5 Transformer应用概览19
1.6 Hugging Face生态系统23
1.7 Transformer的主要挑战27
1.8 本章小结27
第2章 文本分类29
2.1 数据集30
2.2 将文本转换成词元36
2.3 训练文本分类器44
2.4 本章小结60
第3章 Transformer架构剖析62
3.1 Transformer架构62
3.2 编码器64
3.3 解码器79
3.4 认识Transformer81
3.5本章小结87
第4章 多语言命名实体识别88
4.1 数据集89
4.2 多语言Transformer93
4.3 多语言词元化技术94
4.4 命名实体识别中的Transformers96
4.5 自定义Hugging Face Transformers库模型类98
4.6 NER的词元化103
4.7 性能度量105
4.8 微调XLM-RoBERTa106
4.9 错误分析108
4.10 跨语言迁移114
4.11 用模型小部件进行交互120
4.12 本章小结121
第5章 文本生成122
5.1 生成连贯文本的挑战123
5.2 贪婪搜索解码125
5.3 束搜索解码129
5.4 采样方法132
5.5 top-k和核采样134
5.6 哪种解码方法最好136
5.7 本章小结137
第6章 文本摘要138
6.1 CNN/DailyMail数据集138
6.2 文本摘要pipeline139
6.3 比较不同的摘要143
6.4 度量生成文本的质量144
6.5 在CNN/DailyMail数据集上评估PEGASUS150
6.6 训练摘要模型152
6.7 本章小结158
第7章 构建问答系统160
7.1 构建基于评论的问答系统161
7.2 评估并改进问答pipeline183
7.3 生成式问答196
7.4 本章小结199
第8章 Transformer模型调优201
8.1 以意图识别为例201
8.2 创建性能基准203
8.3 通过知识蒸馏减小模型大小208
8.4 利用量化技术使模型运算更快220
8.5 基准测试量化模型225
8.6 使用ONNX和ONNX Runtime进行推理优化226
8.7 使用权重剪枝使模型更稀疏231
8.8 本章小结235
第9章 零样本学习和少样本学习236
9.1 构建GitHub issue标记任务238
9.2 基线模型—朴素贝叶斯245
9.3 零样本学习248
9.4 少样本学习256
9.5 利用无标注数据272
9.6 本章小结278
第10章 从零训练Transformer模型280
10.1 如何寻找大型数据集281
10.2 构建词元分析器290
10.3 从零训练一个模型301
10.4 结果与分析315
10.5 本章小结319
第11章 未来发展趋势321
11.1 Transformer的扩展321
11.2 其他应用领域329
11.3 多模态的Transformer334
11.4 继续前行的建议342

《ChatGPT原理与实战：大型语言模型的算法、技术和私有化》
赞誉
前言
第1章　了解ChatGPT1
1.1　ChatGPT的由来1
1.1.1　什么是ChatGPT2
1.1.2　ChatGPT的发展历史2
1.2　ChatGPT的工作流程3
1.3　ChatGPT用例3
1.3.1　日常任务4
1.3.2　编写代码5
1.3.3　文本生成6
1.3.4　办公自动化9
1.4　本章小结10
第2章　ChatGPT原理解构11
2.1　背景知识11
2.1.1　自然语言处理的发展历程12
2.1.2　大型语言模型的发展历程14
2.2　ChatGPT同类产品18
2.2.1　BlenderBot 3.018
2.2.2　LaMDA20
2.2.3　Sparrow23
2.3　ChatGPT的工作原理25
2.3.1　预训练与提示学习阶段26
2.3.2　结果评价与奖励建模阶段28
2.3.3　强化学习与自我进化阶段28
2.4　算法细节29
2.4.1　标注数据29
2.4.2　建模思路30
2.4.3　存在的问题30
2.5　关于ChatGPT的思考31
2.6　本章小结32
第3章　预训练语言模型33
3.1　Transformer结构33
3.2　基于Encoder结构的模型36
3.2.1　BERT36
3.2.2　RoBERTa39
3.2.3　ERNIE40
3.2.4　SpanBERT42
3.2.5　MacBERT43
3.2.6　ALBERT44
3.2.7　NeZha45
3.2.8　UniLM46
3.2.9　GLM47
3.2.10　ELECTRA48
3.3　基于Decoder结构的模型49
3.3.1　GPT49
3.3.2　CPM51
3.3.3　PaLM51
3.3.4　OPT52
3.3.5　Bloom53
3.3.6　LLaMA54
3.4　基于Encoder-Decoder结构的模型55
3.4.1　MASS55
3.4.2　BART56
3.4.3　T557
3.5　基于夸夸闲聊数据的UniLM
　　　模型实战59
3.5.1　项目简介59
3.5.2　数据预处理模块59
3.5.3　UniLM模型模块63
3.5.4　模型训练模块65
3.5.5　模型推理模块72
3.6　本章小结76
第4章　强化学习基础77
4.1　机器学习的分类77
4.1.1　有监督学习78
4.1.2　无监督学习78
4.1.3　强化学习79
4.2　OpenAI Gym82
4.2.1　OpenAI Gym API简介83
4.2.2　环境简介84
4.3　强化学习算法85
4.3.1　Q-learning算法85
4.3.2　SARSA算法87
4.3.3　DQN算法89
4.3.4　Policy Gradient算法93
4.3.5　Actor-Critic算法95
4.4　本章小结98
第5章　提示学习与大型语言模型的涌现99
5.1　提示学习99
5.1.1　什么是提示学习100
5.1.2　提示模板设计100
5.1.3　答案空间映射设计102
5.1.4　多提示学习方法103
5.2　上下文学习104
5.2.1　什么是上下文学习104
5.2.2　预训练阶段提升上下文学习能力105
5.2.3　推理阶段优化上下文学习的效果107
5.3　思维链108
5.4　基于提示的文本情感分析实战113
5.4.1　项目简介113
5.4.2　数据预处理模块114
5.4.3　BERT模型模块115
5.4.4　模型训练模块118
5.4.5　模型推理模块128
5.5　本章小结131
第6章　大型语言模型预训练132
6.1　大型预训练模型简介132
6.2　预训练模型中的分词器133
6.2.1　BPE133
6.2.2　WordPiece135
6.2.3　Unigram136
6.2.4　SentencePiece137
6.3　分布式深度学习框架138
6.3.1　并行范式简介139
6.3.2　Megatron-LM145
6.3.3　DeepSpeed147
6.3.4　Colossal-AI149
6.3.5　FairScale152
6.3.6　ParallelFormers153
6.3.7　OneFlow153
6.4　基于大型语言模型的预训练实战155
6.4.1　项目简介155
6.4.2　数据预处理模块156
6.4.3　执行模型训练159
6.5　基于大型语言模型的信息抽取实战168
6.5.1　项目简介168
6.5.2　数据预处理模块169
6.5.3　Freeze微调模块172
6.5.4　LoRA微调模块176
6.5.5　P-Tuning v2微调模块181
6.6　本章小结186
第7章　GPT系列模型分析187
7.1　GPT-1～GPT-4系列模型分析187
7.1.1　GPT-1和GPT-2模型187
7.1.2　GPT-3模型189
7.1.3　GPT-3的衍生模型：Code-X192
7.1.4　GPT-4模型193
7.2　InstructGPT模型分析194
7.2.1　模型简介194
7.2.2　数据收集195
7.2.3　模型原理198
7.2.4　模型讨论199
7.3　基于GPT-2模型的文本摘要实战200
7.3.1　项目简介200
7.3.2　数据预处理模块200
7.3.3　GPT-2模型模块202
7.3.4　模型训练模块204
7.3.5　模型推理模块213
7.4　本章小结219
第8章　PPO算法与RLHF理论实战220
8.1　PPO算法简介220
8.1.1　策略梯度算法回顾220
8.1.2　PPO算法原理剖析222
8.1.3　PPO算法对比与评价224
8.2　RLHF框架简介226
8.2.1　RLHF内部剖析226
8.2.2　RLHF价值分析228
8.2.3　RLHF问题分析229
8.3　基于PPO的正向情感倾向性生成项目实战230
8.3.1　项目任务与数据集分析230
8.3.2　数据预处理模块230
8.3.3　模型训练模块232
8.3.4　模型生成模块234
8.3.5　模型评估模块235
8.4　问题与思考237
8.5　本章小结238
第9章　类ChatGPT实战239
9.1　任务设计239
9.2　数据准备240
9.3　基于文档生成问题任务的类ChatGPT实战241
9.3.1　SFT阶段241
9.3.2　RM阶段249
9.3.3　RL阶段259
9.4　本章小结270
第10章　ChatGPT发展趋势271
10.1　AIGC的发展趋势271
10.1.1　AI云边协同272
10.1.2　AI工具应用273
10.1.3　AI可控生成274
10.1.4　AI辅助决策275
10.2　ChatGPT 2C应用场景276
10.2.1　个人助手276
10.2.2　知识导师278
10.2.3　创意集市279
10.2.4　情感伴侣282
10.3　ChatGPT 2B应用场景283
10.3.1　智能客服283
10.3.2　办公助手285
10.3.3　软件研发287
10.3.4　决策辅助288
10.4　行业参考建议290
10.5　本章小结291