目 录
第1章 绪论 001
1．1 本书研究背景及意义 001
1．2 国内外研究现状 006
1．2．1 非负矩阵分解发展历史 006
1．2．2 国内外研究机构 008
1．2．3 非负数据降维研究现状 009
1．3 本书主要工作 012
1．4 本书组织结构 014
第2章 非负矩阵分解基础 016
2．1  非负矩阵分解模型 016
2．1．1  相似性度量 017
2．1．2  先验信息 024
2．1．3  扩展模型 032
2．2 非负矩阵分解理论问题 035
2．2．1 数据表示特性 035
2．2．2 维数选择 036
2．2．3 非负矩阵分解与聚类分析算法的等价关系 038
2．3  优化算法 040
2．3．1  初始化方法 040
2．3．2  不准确块迭代方法 041
2．3．3 准确块迭代方法 045
2．3．4  随机规划方法 048
2．3．5 多层分解方法 048
2．3．6 在线优化算法 049
2．3．7  并行与分布式算法 050
2．4 应用领域 052
2．4．1 数据挖掘 052
2．4．2 模式识别 054
2．5 本章小结与讨论 055
第3章 非负块配准框架 057
3．1 引言 057
3．1．1 局部优化 060
3．1．2  全局配准 060
3．2 非负块配准框架 061
3．2．1 基于KL距离的NPAF 063
3．2．2 基于欧几里得距离的NPAF 070
3．2．3 计算复杂性分析 076
3．2．4 非负数据降维算法框架比较 076
3．3 非负数据降维算法的分析 077
3．3．1 非负矩阵分解 078
3．3．2 局部非负矩阵分解 078
3．3．3 判别非负矩阵分解 080
3．3．4 图罚分非负矩阵分解 081
3．4 非负块配准框架派生模型实例 082
3．4．1 非负PCA模型 082
3．4．2 非负LLE模型 083
3．4．3 非负LTSA模型 084
3．5 本章小结与讨论 085
第4章 非负判别局部块配准模型 087
4．1 引言 087
4．2 模型定义 089
4．2．1 数学描述 090
4．2．2 两类NDLA模型 092
4．2．3 流形学习角度的解释 093
4．3 改进NDLA模型 094
4．4 模型求解算法 095
4．4．1 乘法更新规则 095
4．4．2 计算复杂性 098
4．5 试验结果 098
4．5．1 人脸识别 098
4．5．2 手写体识别 103
4．5．3 局部特征提取 105
4．5．4 结果分析 107
4．6 本章小结与讨论 109
第5章 非负块配准框架快速梯度下降算法 111
5．1  引言 111
5．2  改进乘法更新规则 113
5．3  快速梯度下降算法 118
5．3．1  单步长快速线搜索 119
5．3．2  多步长快速线搜索 122
5．3．3  平衡多步长快速线搜索 128
5．4  基于欧几里得距离的NPAF优化 131
5．4．1  NPAFE快速梯度下降算法 131
5．4．2  NPAFE投影梯度下降算法 137
5．4．3  计算复杂性分析 138
5．5  非负块配准框架派生模型优化 139
5．6  数值试验 139
5．6．1  单步长快速梯度下降算法 140
5．6．2  多步长快速梯度下降算法 143
5．7  本章小结与讨论 146
第6章 非负矩阵分解很优梯度下降算法 147
6．1 引言 147
6．1．1 非负矩阵分解优化算法研究现状 150
6．1．2  很优梯度下降算法 154
6．2 非负矩阵分解很优梯度下降算法 155
6．2．1  非负最小二乘优化算法 156
6．2．2 非负矩阵分解优化算法 164
6．2．3  扩展模型优化算法 166
6．3 非负块配准很优梯度下降算法 168
6．3．1 派生模型优化算法 171
6．4 试验结果 172
6．4．1 非负矩阵分解优化 172
6．4．2 图正则非负矩阵分解优化 182
6．5 本章小结与讨论 183
第7章 非负矩阵分解在线优化算法 185
7．1 引言 185
7．1．1 在线非负矩阵分解研究现状 186
7．1．2 INMF-VC算法 189
7．1．3 OMF-DA算法 190
7．1．4 鲁棒随机近似算法 191
7．2 基于RSA的在线非负矩阵分解算法 193
7．2．1 缓冲池策略 197
7．2．2 计算复杂性 199
7．2．3 收敛性分析 199
7．3 非负矩阵分解扩展模型的在线优化 203
7．3．1 滑动窗口更新扩展 204
7．3．2 距离度量扩展 204
7．3．3 稀疏约束扩展 205
7．3．4 平滑约束扩展 206
7．3．5 盒约束扩展 206
7．4 数值试验 207
7．4．1 在线非负矩阵分解效率比较 208
7．4．2 人脸识别 215
7．5 本章小结与讨论 217
第8章 非负矩阵分解典型应用实例 218
8．1  引言 218
8．2  模式识别 219
8．2．1  人脸识别 220
8．3  数据挖掘 229
8．3．1  文本聚类 230
8．4  信息检索 234
8．4．1  图像标注 234
8．5  本章小结与讨论 240
附录A 辅助函数技术 242
A．1 辅助函数的定义 242
A．2 辅助函数应用 242
附录B 一阶优化方法与收敛速度 244
B．1 收敛速度的定义 244
B．2 一阶优化方法假设 245
B．3 一阶优化方法的很优收敛速度 245
参考文献 246
后记 277