目　　录<br />前言第1章　生成模型1　1.1　无监督学习与生成模型1<br />1.1.1　监督学习与无监督学习1<br />1.1.2　判别模型与生成模型3<br />1.1.3　无监督生成模型4<br />　1.2　显式与隐式生成模型5<br />1.2.1　极大似然估计法6<br />1.2.2　完全可见置信网络8<br />1.2.3　流模型13<br />1.2.4　变分自编码器18<br />1.2.5　玻尔兹曼机24<br />1.2.6　隐式生成模型27<br />　参考文献28第2章　目标函数优化29　2.1　GAN29<br />2.1.1　GAN概述30<br />2.1.2　GAN模型30<br />2.1.3　GAN的本质33<br />　2.2　LSGAN35<br />　2.3　EBGAN40<br />　2.4　f GAN42<br />　2.5　WGAN45<br />2.5.1　分布度量45<br />2.5.2　WGAN目标函数48<br />　2.6　Loss-sensitive GAN51<br />　2.7　WGAN-GP53<br />　2.8　IPM54<br />2.8.1　IPM概念55<br />2.8.2　基于IPM的GAN55<br />2.8.3　IPM与f散度57<br />　2.9　其他目标函数57<br />2.9.1　RGAN57<br />2.9.2　BEGAN58<br />　参考文献59第3章　训练技巧61　3.1　GAN训练的3个问题61<br />3.1.1　梯度消失61<br />3.1.2　目标函数不稳定性63<br />3.1.3　模式崩溃64<br />　3.2　退火噪声65<br />　3.3　谱正则化66<br />3.3.1　特征值与奇异值67<br />3.3.2　谱范数与1-Lipschitz<br />限制68<br />　3.4　一致优化71<br />3.4.1　欧拉法71<br />3.4.2　GAN动力学系统73<br />3.4.3　一致优化算法76<br />　3.5　GAN训练技巧77<br />3.5.1　特征匹配77<br />3.5.2　历史均值78<br />3.5.3　单侧标签平滑78<br />3.5.4　虚拟批正则化79<br />3.5.5　TTUR79<br />3.5.6　0中心梯度80<br />3.5.7　其他建议80<br />　3.6　模式崩溃解决方案80<br />3.6.1　unrolledGAN82<br />3.6.2　DRAGAN85<br />3.6.3　Minibatch判别器与<br />PGGAN86<br />3.6.4　MADGAN与<br />MADGAN-Sim87<br />3.6.5　VVEGAN89<br />　参考文献91第4章　评价指标与可视化93　4.1　评价指标93<br />4.1.1　评价指标的要求93<br />4.1.2　IS系列94<br />4.1.3　FID96<br />4.1.4　MMD97<br />4.1.5　Wasserstein距离98<br />4.1.6　近邻分类器98<br />4.1.7　GANtrain与GANtest99<br />4.1.8　NRDS100<br />4.1.9　图像质量度量101<br />4.1.10　平均似然值102<br />　4.2　GAN可视化103<br />4.2.1　设置模型103<br />4.2.2　训练模型105<br />4.2.3　可视化数据107<br />4.2.4　样例演示109<br />　参考文献110第5章　图像生成111　5.1　图像生成应用111<br />5.1.1　训练数据扩充111<br />5.1.2　数据质量提升112<br />5.1.3　内容创作112<br />　5.2　深度卷积GAN113<br />5.2.1　DCGAN原理114<br />5.2.2　DCGAN的思考115<br />　5.3　条件GAN117<br />5.3.1　有监督条件GAN117<br />5.3.2　无监督条件GAN118<br />5.3.3　半监督条件GAN119<br />5.3.4　复杂形式的条件输入119<br />　5.4　多尺度GAN121<br />5.4.1　LAPGAN121<br />5.4.2　Progressive GAN123<br />　5.5　属性GAN124<br />5.5.1　显式属性GAN124<br />5.5.2　隐式属性GAN125<br />　5.6　多判别器与生成器GAN133<br />5.6.1　多判别器GAN133<br />5.6.2　多生成器GAN134<br />　5.7　数据增强与仿真GAN135<br />5.7.1　数据增强GAN135<br />5.7.2　数据仿真GAN136<br />　5.8　DCGAN图像生成实践137<br />5.8.1　项目解读137<br />5.8.2　实验结果144<br />　5.9　StyleGAN人脸图像生成实践147<br />5.9.1　项目简介147<br />5.9.2　模型解读147<br />5.9.3　预训练模型的使用157<br />5.9.4　小结161<br />　参考文献161第6章　图像翻译163　6.1　图像翻译基础163<br />6.1.1　什么是图像翻译163<br />6.1.2　图像翻译任务的类型164<br />　6.2　有监督图像翻译模型166<br />6.2.1　Pix2Pix166<br />6.2.2　Pix2PixHD167<br />6.2.3　Vid2Vid168<br />　6.3　无监督图像翻译模型168<br />6.3.1　基于域迁移与域对齐的<br />无监督模型168<br />6.3.2　基于循环一致性约束的<br />无监督模型172<br />　6.4　图像翻译模型的关键改进175<br />6.4.1　多领域转换网络<br />StarGAN175<br />6.4.2　丰富图像翻译模型的<br />生成模式177<br />6.4.3　给模型添加监督信息179<br />　6.5　基于Pix2Pix模型的图像上色<br />实践180<br />6.5.1　数据处理180<br />6.5.2　模型代码解读181<br />6.5.3　模型训练与测试189<br />6.5.4　小结193<br />　参考文献194第7章　人脸图像编辑195　7.1　人脸表情编辑195<br />7.1.1　表情编辑问题195<br />7.1.2　关键点控制的表情编辑<br />模型196<br />　7.2　人脸年龄编辑197<br />7.2.1　年龄编辑问题197<br />7.2.2　基于潜在空间的条件对抗<br />自编码模型197<br />　7.3　人脸姿态编辑198<br />7.3.1　姿态编辑问题198<br />7.3.2　基于3DMM的姿态编辑<br />模型199<br />　7.4　人脸风格编辑200<br />7.4.1　风格编辑问题201<br />7.4.2　基于注意力机制的风格化<br />模型201<br />　7.5　人脸妆造编辑203<br />7.5.1　妆造编辑问题204<br />7.5.2　基于GAN的妆造迁移<br />算法204<br />　7.6　人脸换脸编辑206<br />7.6.1　身份编辑问题206<br />7.6.2　基于编解码器的Deepfakes<br />换脸算法206<br />　7.7　通用的人脸属性编辑207<br />7.7.1　StyleGAN人脸编辑的<br />关键问题207<br />7.7.2　潜在编码向量的求解208<br />　7.8　基于StyleGAN模型的人脸属性<br />编辑实践209<br />7.8.1　人脸重建209<br />7.8.2　人脸属性混合与插值219<br />7.8.3　人脸属性编辑221<br />7.8.4　小结228<br />　参考文献228第8章　图像质量增强230　8.1　图像降噪230<br />8.1.1　图像降噪问题230<br />8.1.2　基于GAN的图像去噪<br />框架231<br />　8.2　图像去模糊232<br />8.2.1　图像去模糊问题232<br />8.2.2　基于GAN的图像去模糊<br />框架233<br />　8.3　图像色调映射234<br />8.3.1　图像色调映射问题235<br />8.3.2　图像色调映射数据集236<br />8.3.3　基于GAN的图像色调<br />映射框架236<br />　8.4　图像超分辨239<br />8.4.1　图像超分辨问题240<br />8.4.2　基于GAN的图像超分辨<br />框架240<br />　8.5　图像修复243<br />8.5.1　图像修复基础243<br />8.5.2　基于GAN的图像修复<br />框架244<br />　8.6　基于SRGAN的人脸超分重建<br />实践247<br />8.6.1　项目解读247<br />8.6.2　模型训练254<br />8.6.3　模型测试258<br />8.6.4　小结260<br />　参考文献260第9章　三维图像与视频生成262　9.1　三维图像与视频生成应用262<br />9.1.1　三维图像生成应用262<br />9.1.2　视频生成与预测应用263<br />　9.2　三维图像生成框架264<br />9.2.1　一般三维图像生成<br />框架264<br />9.2.2　二维图到三维图的预测<br />框架265<br />　9.3　视频生成与预测框架266<br />9.3.1　基本的Video-GAN266<br />9.3.2　多阶段的MD-GAN267<br />9.3.3　内容动作分离的<br />MoCoGAN268<br />　参考文献270第10章　通用图像编辑271　10.1　图像深度编辑271<br />10.1.1　深度与景深271<br />10.1.2　图像景深编辑框架274<br />　10.2　图像融合276<br />10.2.1　图像融合问题276<br />10.2.2　基于GAN的图像融合<br />框架277<br />　10.3　交互式图像编辑278<br />10.3.1　交互式图像编辑<br />框架278<br />10.3.2　基于GAN的交互式<br />图像编辑框架279<br />　10.4　展望280<br />　参考文献280第11章　对抗攻击282　11.1　对抗攻击及防御算法282<br />11.1.1　对抗攻击概述282<br />11.1.2　常用攻击算法284<br />11.1.3　常用防御算法287<br />　11.2　基于GAN的对抗样本生成289<br />11.2.1　Perceptual-Sensitive <br />GAN289<br />11.2.2　Natural GAN292<br />11.2.3　AdvGAN294<br />　11.3　基于GAN的对抗攻击防御296<br />11.3.1　APEGAN296<br />11.3.2　DefenseGAN297<br />　11.4　对抗攻击工具包AdvBox297<br />11.4.1　对分类器的攻击297<br />11.4.2　高斯噪声对抗防御301<br />11.4.3　其他示例程序301<br />　参考文献305第12章　语音信号处理306　12.1　基于GAN的语音增强306<br />12.1.1　项目简介306<br />12.1.2　SEGAN模型307<br />12.1.3　SEGAN训练和<br />测试313<br />　12.2　基于GAN的语音转换315<br />12.2.1　项目简介315<br />12.2.2　WORLD语音合成<br />工具316<br />12.2.3　CycleGAN-VC2<br />模型317<br />12.2.4　CycleGAN-VC2<br />训练322<br />12.2.5　CycleGAN-VC2<br />测试325<br />　12.3　基于GAN的语音生成325<br />12.3.1　项目简介326<br />12.3.2　WaveGAN模型326<br />12.3.3　WaveGAN训练和<br />测试332<br />　参考文献333