《应用回归及分类——基于R与Python的实现（第3版）》以革新传统教材的视角，系统性地融合经典统计学与前沿机器学习算法，强调回归与分类问题的同等重要性。本书突破传统教材偏重数学推导与线性回归的局限，深入探讨计算机时代兴起的机器学习算法在分类领域的卓越表现。内容以数据驱动为核心，摒弃对模型假设的过度依赖，倡导通过交叉验证等客观方法评估模型性能，并依据数据特性灵活选择最优解法。 书中实践导向鲜明，全程结合R与Python两大开源工具，通过丰富的案例演示从数据预处理到模型构建的全流程，确保读者能独立完成分析并得出可靠的结论。与传统教材不同，本书直面各类方法的局限性，对比不同场景下模型的优缺点，鼓励读者进行批判性的思考。同时，强调开源生态的资源优势，助力读者紧跟统计学飞速发展的步伐。 本书秉承“授人以渔”的理念，不仅传授知识，更培养自主探索意识，倡导通过编程实践提升解决复杂问题的能力。其内容设计兼顾学术严谨与实用价值，是连接传统统计与现代机器学习的桥梁，适合渴望突破固有思维、掌握前沿工具的读者。

第1章 引言
1.1 作为科学的统计
1.1.1 统计是科学
1.1.2 模型驱动及数据驱动
1.2 数据及模型
1.2.1 数据中的信息
1.2.2 有监督学习模型
1.2.3 使用交叉验证来评价和比较模型
1.2.4 有监督学习过程汇总
1.2.5 传统统计模型和机器学习模型简介
1.2.6 历史：本来是数据驱动的统计变成模型驱动
1.2.7 今后：借用Donoho（2024）
1.3 关于软件的说明
1.3.1 本书使用R和Python语言
1.3.2 本书中的自编函数
1.4 有监督学习传统统计方法与机器学习方法的交叉验证比较
1.4.1 传统统计及机器学习回归方法交叉验证精度比较
1.4.2 传统统计及机器学习二分类方法交叉验证精度比较
1.4.3 传统统计及机器学习多分类方法交叉验证精度比较
1.5 习题
1.6 本章的R和Python代码
1.6.1 1.4.1节的R和Python代码
1.6.2 1.4.2节的R和Python代码
1.6.3 1.4.3节的R和Python代码
第2章 经典线性回归
2.1 模型形式
2.1.1 回顾高中课程：自变量为一个数量变量的情况
2.1.2 自变量为多个数量变量的情况
2.1.3 “线性”是对系数而言的
2.2 用最小二乘法估计线性模型
2.2.1 一个数量自变量的情况
2.2.2 多个自变量的情况
2.2.3 自变量有分类变量的情况*
2.3 回归系数的大小没有可解释性
2.3.1 “皇帝的新衣”
2.3.2 最小二乘线性回归仅是众多回归方法之一，过多的延伸是浪费
2.4 传统统计关于线性回归系数的性质和推断*
2.4.1 基本假定
2.4.2 关于H0：βi=0H1：βi≠0的t检验
2.4.3 关于多自变量系数复合假设F检验及方差分析表
2.4.4 分类变量的显著性必须从方差分析表看出
2.4.5 关于“残差的检验及点图”
2.5 通过一个“教材数据”来理解简单最小二乘回归
2.5.1 几种竞争的线性模型
2.5.2 孤立看模型可能会产生多个模型都“正确”的结论
2.5.3 多个模型相比较以得到相对较好的模型
2.5.4 对例2.6喂毒素数据的6个模型做预测精度的交叉验证
2.6 处理线性回归多重共线性的经典方法*
2.6.1 多重共线性
2.6.2 自变量子集选择
2.6.3 岭回归
2.6.4 lasso回归
2.6.5 适应性lasso回归
2.6.6 通过例2.7击球手数据比较几种方法的预测精度
2.7 损失函数及分位数回归简介*
2.7.1 损失函数
2.7.2 恩格尔数据例子的分位数回归
2.8 习题
2.9 本章的R和Python代码
2.9.1 2.2节的代码
2.9.2 2.3节的代码
2.9.3 2.4节的代码
2.9.4 2.5节的Python代码
2.9.5 2.6节的代码
2.9.6 2.7节的代码
第3章 广义线性模型
3.1 模型
3.2 指数分布族及典则连接函数
3.3 似然函数和准似然函数
3.3.1 似然函数和记分函数
3.3.2 广义线性模型的记分函数
3.3.3 准记分函数、准对数似然函数及准似然估计
3.4 广义线性模型的一些推断问题
3.4.1 最大似然估计和Wald检验
3.4.2 偏差和基于偏差的似然比检验
3.4.3 散布参数的估计
3.5 logistic回归和二元分类问题
3.5.1 logistic回归（probit回归）
3.5.2 用logistic回归做分类
3.6 Poisson对数线性模型及频数数据的预测*
3.6.1 Poisson对数线性模型
3.6.2 使用Poisson对数线性模型的一些问题
3.6.3 Poisson对数线性模型的预测及交叉验证
3.7 习题
3.8 本章的Python代码
3.8.1 3.5节的代码
3.8.2 3.6节的代码
第4章 机器学习：有监督学习
4.1 引言
4.2 决策树
4.2.1 决策树的基本构造
4.2.2 决策树是把因变量数据变纯的过程
4.2.3 一个真实数据的决策树回归实践
4.2.4 决策树回归和线性回归的比较和交叉验证
4.2.5 一个真实数据的决策树分类实践
4.3 集成算法的思想
4.3.1 基本思想
4.3.2 集成算法及自助法抽样
4.4 bagging方法
4.4.1 概述
4.4.2 一个真实数据的bagging回归实践
4.4.3 例4.3慢性肾病数据的bagging分类实践
4.5 随机森林
4.5.1 概述
4.5.2 例4.5能源效率数据的随机森林回归
4.5.3 例4.6进口汽车数据的随机森林分类
4.6 AdaBoost分类
4.6.1 概述
4.6.2 对例4.3慢性肾病数据的分类及变量重要性
4.6.3 使用AdaBoost预测
4.6.4 用自带函数做交叉验证
4.6.5 分类差额
4.7 mboost回归
4.7.1 概述
4.7.2 例子及拟合全部数据
4.7.3 对例4.6进口汽车数据做几种方法的交叉验证
4.8 Xgboost模型
4.8.1 模型概述
4.8.2 对例4.7皮肤病数据做Xgboost分类
4.8.3 对例4.8服装业生产率数据做Xgboost回归
4.9 神经网络
4.9.1 神经网