刘全、傅启明、钟珊、黄蔚著的《大规模强化学习》讨论大规模强化学习的理论及方法，介绍强化学习在大状态空间任务中的应用。该研究己成为近年来计算机科学与技术领域最活跃的研究分支之一。 全书共分六部分21章。第一部分是强化学习基础。第二部分是用于强化学习的值函数逼近方法。第三部分是最小二乘策略迭代方法。第四部分是模糊近似强化学习方法。第五部分是并行强化学习方法。第六部分是离策略强化学习方法。 本书可以作为高等院校计算机专业和自动控制专业研究生的教材，也可以作为相关领域科技工作者和工程技术人员的参考书。

前言
第1章 强化学习概述
1.1 简介
1.2 形式框架
1.2.1 马尔可夫决策过程
1.2.2 策略
1.2.3 回报
1.3 值函数
1.4 解决强化学习问题
1.4.1 动态规划：基于模型的解决技术
1.4.2 强化学习：模型无关的解决技术
1.5 本章小结
参考文献
第2章 大规模或连续状态空间的强化学习
2.1 简介
2.2 近似表示
2.2.1 带参数化值函数逼近
2.2.2 非参数化值函数逼近
2.3 值函数逼近求解方法
2.3.1 梯度下降方法
2.3.2 最小二乘回归
2.4 本章小结
参考文献
第3章 梯度下降值函数逼近模型的改进
3.1 改进的梯度下降值函数逼近模型
3.1.1 势函数塑造奖赏机制
3.1.2 基于势函数塑造奖赏机制的值函数逼近模型
3.2 NRBF—GD—Sarsa(入)算法
3.2.1 算法描述
3.2.2 算法收敛性分析
3.3 仿真实验
3.3.1 实验描述
3.3.2 实验设置
3.3.3 实验分析
3.4 本章小结
参考文献
第4章 基于LSSVR的Q一值函数分片逼近模型
4.1 LSSVR—Q-值函数分片逼近模型
4.2 在线稀疏化样本池构建方法
4.3 LSSVR.Q算法
4.4 仿真实验
4.4.1 实验1：Mountain Car问题
4.4.2 实验2：DC Motor问题
4.5 本章小结
参考文献
第5章 基于ANRBF网络的Q.V值函数协同逼近模型
5.1 Q—V值函数协同机制
5.2 Q—V值函数协同逼近模型
5.3 Q—V值函数协同逼近算法
5.3.1 QV(入)算法
5.3.2 算法收敛性分析
5.4 仿真实验
5.4.1 实验描述
5.4.2 实验设置
5.4.3 实验分析
5.5 本章小结
参考文献
第6章 基于高斯过程的快速Sarsa算法
6.1 新的值函数概率生成模型
6.2 利用高斯过程对线性带参值函数建模
6.3 FL-GPSarsa算法
第7章 基于高斯过程的Q学习算法
第8章 最小二乘策略迭代算法
第9章 批量最小二乘策略迭代算法
第10章 自动批量最小二乘策略迭代算法
第11章 连续动作空间的批量最小二乘策略迭代算法
第12章 一种基于双层模糊推理的Sarsa（入）算法
第13章 一种基于区间型二型模糊推理的Sarsa（入）算法
第14章 一种带有自适应基函数的模糊值迭代算法
第15章 基于状态空间分解和智能调度的并行强化学习
第16章 基于资格迹的并行时间信度分配强化学习算法
第17章 基于并行采样和学习经验复用的E3算法
第18章 基于线性函数逼近的离策略Q（入）算法
第19章 基于二阶TD Error的Q（入）算法
第20章 基于值函数迁移的快速Q-Learning算法