第1章 离散时间的马尔可夫链
　　1.1 一般随机过程的基本概念
　　定义1.1 设是概率空间，是可测空间，T是指标集。若对任何，有，且，则称是上的取值于中的随机过程，在无混淆的情况下简称；为随机过程，称为状态空间或相空间，称E中的元素为状态，称T为时间域。对每个固定的，称为；对应于的轨道或现实，对每个固定的，称为E值随机元。有时也记为
　　设是中的一族单调增的子代数（代数流），即
　　若，则称是适应的随机过程，或适应于的随机过程。特别地，若令
　　是由所生成的。代数，则是适应的随机过程。
　　当时，称为实值随机过程；
　　当时，称为复值随机过程；
　　当时，称为n维随机过程；
　　当E是可列集（有限集）时，称为可列（有限）随机过程；
　　当或时，称为连续参数的随机过程；
　　当T=N或N+时，称为离散参数的随机过程（随机序列）；
　　当或时，称为随机场。
　　按参数和状态空间划分，随机过程有4种类型：
　　（1）指标集T离散，状态空间E离散的随机过程；
　　（2）指标集T离散，状态空间E连续的随机过程；
　　（3）指标集T连续，状态空间E离散的随机过程；
　　（4）指标集T连续，状态空间E连续的随机过程。
　　然而，以上分类是表面的，更深刻的是按随机过程的概率结构来分类。例如，分为马尔可夫（Markov）过程、平稳过程、独立增量过程、二阶矩过程、正态过程、泊松（Poisson）过程、生灭过程、分支过程、更新过程、鞅等。
　　对于随机过程而言，可以这样设想，有一个做随机游动的质点M，以Xt表示在时刻t质点M的位置。于是描绘了质点M所做的随机运动的变化过程，一般把“Xt=x”形象地说成“在时刻t质点M处于状态x”。
　　定义1.2 设是概率空间上的、以为状态空间的随机过程，T=R+（或R或直线上的任一区间）。如果，有
　　则称是可测的。
　　设是F中的一族单调增的子代数。如果；有
　　则称关于循序可测。
　　命题1.1 设，是F中的一族单调增的子代数。如果关于循序可测，则是可测的。
　　定义1.3 设是随机过程，称
　　为随机过程的一维分布函数；称
　　为随机过程的二维分布函数；一般地，称
　　为随机过程的n维分布函数；而称
　　为随机过程的有限维分布函数族。
　　随机过程的有限维分布函数族F具有下列性质：
　　（1）对，及t1；t2； ；tn的任意排列ti1；ti2； ；tin，有
　　（2）对，有
　　注1.1 若知道了随机过程的有限维分布函数族F，便知道了这一随机过程中任意有限个随机变量的联合分布，也就可以完全确定它们之间的相互关系。可见，随机过程的有限维分布函数族能够完整地描述随机过程的统计特征。但是在实际问题中，要知道随机过程的有限维分布函数族是不可能的，因此，人们想到了用随机过程的某些数字特征来刻画随机过程。
　　定义1.4 设是实随机过程，称
　　为的均值函数；称
　　为的方差函数；称
　　为的协方差函数；称
　　为的相关函数。
　　注1.2 若是复值随机过程，则方差函数的定义为
　　协方差函数的定义为
　　相关函数的定义为
　　性质1.1
　　1.2 马尔可夫链的定义
　　在实际应用中有一类很广泛的随机过程，其特点是：过去只影响现在，而不影响将来。这种随机过程称为马尔可夫过程。状态离散的马尔可夫过程称为马尔可夫链，本章介绍时间离散的马尔可夫链（简称马尔可夫链）。
　　马尔可夫过程的研究始于1906年，是随机过程的一个重要分支，它在近代物理学、生物学、管理科学、信息处理、自动控制、金融保险等方面有着许多重要应用。
　　在本章中，无特别声明我们总是假设：
　　（1）参数集合T={0；1；2； }；
　　（2）状态空间S={0；1；2； }或S={ ；-2；-1；0；1；2； }或其子集。
　　定义1.5 设是定义在概率空间上的随机过程，状态空间为S。若对于任意的n>1及任意的整数，有
　　（1.2.1）
　　则称为马尔可夫链，简称马氏链。等式（1.2.1）称为马氏性或无后效性，且假定式（1.2.1）两端的条件概率都有意义（以下涉及条件概率的式子都作类似的假定）。
　　定理1.1 随机过程是马尔可夫链的充要条件是对任意的n>1及任意的，有
　　1.3 转移概率
　　对于马尔可夫链，描述它概率性质最重要的是它在时刻m的一步转移概率。
　　马尔可夫链是描述某些特定的随机现象的数学模型，而产生这种特定的随机现象的具体模型一般称为系统，因此我们经常把事件说成是在时刻m时系统处于状态i，把说成已知在时刻m时系统处于状态i，而在时刻m+1时系统转移到状态j的概率等。
　　定义1.6 设是状态空间为S的马尔可夫链，称
　　为系统在时刻m时处于状态i的条件下，经n步转移到状态j的n步转移概率，简
　　称时刻m的n步转移概率。
　　显然，具有下列性质：
　　上述性质说明了，对于任意给定的及，是一个概率分布。规定
　　若与m无关，则称是时齐的或齐次的马尔可夫链。此时，记；一步转移概率记为。
　　对时齐的马尔可夫链，有
　　以下恒设马尔可夫链是时齐的，并简称为马尔可夫链。
　　性质1.2 马尔可夫链的n步转移概率p（n）ij具有下列性质：
　　定理1.2（Chapman-Kolmogorov） 设p（n）ij是马尔可夫链的n步转移概率，则，有
　　（C-K方程）
　　证明
　　定理1.3 马尔可夫链的一步转移概率pij可以确定所有的n步转移概率p（n）ij。
　　证明由C-K方程，显然。
　　记。称P（n）为马尔可夫链的n步转移矩阵，称P为马尔可夫链的（一步）转移矩阵。此时，C-K方程可表示为P（m+n）=P（m）P（n）且P（n）=Pn。
　　定义1.7 设是马尔可夫链，对任意的n>0，称，为绝对概率。特别地，称为初始概率。
　　显然，绝对概率和初始概率具有下列性质：
　　故对任意是概率分布，通常称为绝对（概率）分布；特别地，称为初始（概率）分布。记。
　　定理1.4 设是马尔可夫链，则它的任意有限维概率分布完全由初始分布和一步转移概率决定。
　　证明对任意的n>1，任意的整数及任意的，有

目录
第二版前言
第一版前言
符号意义
第1章 离散时间的马尔可夫链 1
1.1 一般随机过程的基本概念 1
1.2 马尔可夫链的定义 4
1.3 转移概率 4
1.4 若干例子 7
1.5 状态的分类 12
1.6 n步转移概率p(n)ij的渐近性质与马尔可夫链的平稳分布 22
1.7 马尔可夫链的可逆性 29
第2章 连续时间的马尔可夫链 31
2.1 连续时间的马尔可夫链的定义及基本性质 31
2.2 科尔莫戈罗夫(微分)方程 32
2.3 若干例子 43
第3章 马尔可夫过程与双参数算子半群 46
3.1 预备知识 46
3.1.1 若干集类 46
3.1.2 单调类定理 47
3.1.3 随机元(随机变量) 48
3.1.4 数学期望 48
3.1.5 积分变换 48
3.1.6 条件概率 49
3.1.7 条件数学期望 49
3.2 马尔可夫过程的定义 50
3.3 转移函数 52
3.4 双参数算子半群 58
3.5 非时齐马尔可夫过程产生的双参数算子半群 63
3.5.1 两个Banach空间 63
3.5.2 M上的半群与L上的半群的关系 63
3.5.3 非时齐马尔可夫过程产生的两个半群 64
第4章 其他类型的随机过程 66
4.1 泊松过程 66
4.2 更新过程 73
4.3 分支过程 81
第5章 平稳过程的谱理论 83
5.1 预备知识 83
5.1.1 Hilbert空间及性质 83
5.1.2 投影算子PM：h0=PMh 89
5.2 平稳过程及相关函数的定义 90
5.2.1 非负定函数 90
5.2.2 平稳过程的定义 91
5.2.3 相关函数的谱表示 91
5.2.4 例子 94
5.3 随机测度与随机积分 97
5.3.1 基本正交随机测度 97
5.3.2 关于基本正交随机测度的积分 98
5.3.3 基本正交随机测度Z=Z(△)；的扩张 99
5.3.4 关于随机测度(略“基本正交”)的随机积分的进一步结果 100
5.3.5 正交增量随机过程与随机测度 102
5.4 平稳过程的谱定理 103
5.5 平稳过程导函数的谱表示 108
5.6 平稳过程的常系数微分、差分方程 113
5.7 大数定律、相关函数与谱函数的估计 118
5.7.1 R-L2积分 118
5.7.2 平稳的弱大数定律 120
5.8 Karhunen定理 122
第6章 线性预测问题引论 129
6.1 线性预测问题的提出 129
6.2 具有有理谱密度的平稳序列的线性预测 133
第7章 平稳序列的线性预测 145
7.1 线性外推问题的提出 145
7.2 平稳序列的正则性与奇异性 147
7.3 正则平稳序列的Wold分解 151
7.4 正则平稳序列的条件及H±类函数的基本性质 155
7.4.1 H±类函数的定义 156
7.4.2 H±类函数的基本性质 157
7.4.3 H±类函数的参数表示 158
7.4.4 H±类函数的进一步性质 159
7.5 平稳序列的Lebesgue-Gramer分解与奇异性判别法 165
7.6 平稳序列外推问题的解 168
7.7 平稳序列的线性滤波 169
7.8 例子 171
7.9 平稳序列的线性内插 173
第8章 连续参数平稳过程的线性预测 178
8.1 线性外推问题的提出 178
8.2 平稳过程的正则性与奇异性 178
8.2.1 正则性、奇异性和Wold分解 178
8.2.2 双线性变换 180
8.2.3 几个引理 181
8.3 平稳过程的正则性条件 184
8.4 正则平稳过程的Wold分解与线性预测 186
8.4.1 随机测度的Fourier变换 186
8.4.2 平稳过程的滑动和表示 188
8.4.3 正则平稳过程的Wold分解 189
8.4.4 正则平稳过程的线性预测 192
8.5 一般平稳过程的线性预测 193
8.6 连续参数平稳过程的线性滤波 194
8.7 一维平稳过程的几个问题 194
第9章 严平稳序列和遍历理论 198
9.1 严平稳序列、保测变换 198
9.2 遍历性和混合性 199
9.3 遍历定理 201
第10章 正定函数及矩阵测度 205
10.1 正定函数定义 205
10.1.1 二元正定函数和二元正定矩阵函数 205
10.1.2 (一元)正定函数与(一元)正定矩阵函数 207
10.2 正定齐次序列及其谱表示 207
10.2.1 正定齐次序列的定义 207
10.2.2 正定齐次序列的谱表示 208
10.3 正定矩阵齐次序列及其谱表示 211
10.3.1 正定矩阵齐次序列的定义和性质 211
10.3.2 矩阵测度 212
10.3.3 正定矩阵齐次序列的谱表示 214
10.4 正定齐次函数及其谱表示 215
10.4.1 正定齐次函数的定义 215
10.4.2 连续的正定齐次函数的谱表示 216
10.5 正定矩阵齐次函数及其谱表示 217
10.5.1 正定矩阵齐次函数的定义 217
10.5.2 正定矩阵齐次函数的谱表示 218
10.6 矩阵测度的特征值和特征向量 218
10.6.1 f(λ)的*小特征值与相应的特征向量 218
10.6.2 f(λ)的第二小特征值和对应的特征向量 220
10.7 矩阵测度构成的Hilbert空间 221
10.7.1 L2(F)空间的定义 221
10.7.2 L2(F)为线性内积空间 222
10.7.3 L2(F)为Hilbert空间 223
10.7.4 L2(F)中的稠密集 224
10.7.5 L2(F)的唯一性 225
第11章 多维平稳过程的谱理论 227
11.1 多维平稳过程的定义及相关的概念 227
11.1.1 多维平稳过程定义 227
11.1.2 多维平稳过程的同构空间 227
11.2 多维平稳过程的谱表示 228
11.3 两个多维平稳过程之间的平稳相关和从属关系 230
11.3.1 平稳相关 230
11.3.2 从属关系 230
11.4 常数秩的n维平稳过程 233
第12章 多维离散参数平稳过程的预测问题 239
12.1 多维平稳过程的外推问题与奇异性、正则性 239
12.1.1 外推问题 239
12.1.2 奇异性与正则性 240
12.2 n维正则平稳序列的Wold分解 243
12.3 *大秩的n维正则平稳序列 250
12.4 n维平稳序列的线性滤波及线性系统问题 255
12.4.1 线性滤波 255
12.4.2 离散线性系统与线性滤波 257
12.4.3 有限滤波问题 259
第13章 多维连续参数平稳过程的预测问题 261
13.1 多维平稳过程的外推问题及正则性、奇异性 261
13.2 n维正则平稳过程的Wold分解 265
13.3 *大秩正则的n维平稳过程 269
13.4 连续参数n维平稳过程的线性滤波 269
参考文献 273