Jason Jerald，高级工程师，拥有近30年VR设计经验，参与过包括世界五百强在内的30家企业的60多个VR项目；同时是Principal Consultant at Next Gen Interactions的联合创始人。
刘冠宏，目前就职于同济大学设计创意学院，担任助理教授一职。博士就读于清华大学美术学院和清华大学未来实验室。本科和硕士分别毕业于中央美术学院设计学院和清华大学计算机科学与技术系。近年来，在艺术、科技与人文相融合视角下展开了一系列研究与创作，包括传统工艺数字化创新设计方法与实践、面向视障人士的无障碍交互技术。已在人机交互顶级国际会议（CHI、IMWUT）上发论文十余篇，授权多项专利，并具有广泛的参展经历。其博士论文被评为清华美院优秀学位论文。

全面系统深入地介绍虚拟现实的理论与实践，涵盖了VR简史，体感设计、内容设计、交互设计以及可能的负面效果等各个层面，集理论与实践于一体。

概述 1
0．1 本书涵盖的内容 2
0．2 本书未涵盖的内容 3
0．3 本书适合哪些读者 3
0．4 如何阅读本书 3
0．5 七部分内容的综述 4
第一部分 简介与背景
1 虚拟现实是什么 7
1．1 虚拟现实的定义 7
1．2 虚拟现实是沟通 8
1．2．1 直接沟通 8
1．2．2 间接沟通 9
1．3 虚拟现实擅长什么 9
2 虚拟现实的历史 11
2．1 19世纪 11
2．2 20世纪 13
2．3 21世纪 20
3 各种现实的概述 21
3．1 “现实”的形式 21
3．2 现实系统 22
3．2．1 视觉显示器 23
3．2．2 声音 26
3．2．3 触觉 27
3．2．4 运动平台 29
3．2．5 跑步机 30
3．2．6 其他的感觉输出 31
3．2．7 输入 31
3．2．8 内容 31
4 沉浸感、临场感和现实的权衡 32
4．1 沉浸感 32
4．2 临场感 33
4．3 临场感的错觉 34
4．4 现实的权衡 36
4．4．1 恐怖谷 36
4．4．2 保真度连续集 37
*5 基本：设计指南 39
5．1 说明和背景（第一部分） 39
5．2 虚拟现实是沟通（1．2节） 39
5．3 对各种现实的概述（第3章） 40
5．4 沉浸感，临场感和现实的权衡
（第4章） 40
第二部分 感知
6 主观和客观现实 44
6．1 现实是主观的 44
6．2 感知错觉 46
6．2．1 2D错觉 46
6．2．2 边界完成错觉 47
6．2．3 盲点 48
6．2．4 深度错觉 49
6．2．5 月亮错觉 50
6．2．6 残影 51
6．2．7 移动错觉 52
7 感知模型和感知过程 54
7．1 远端刺激和近端刺激 54
7．2 感觉和感知 55
7．2．1 整合 55
7．3 自下而上和自上而下的过程 55
7．4 传入和传出 56
7．5 迭代感知过程 56
7．6 潜意识和意识 58
7．7 本能的、行为的、反射的、情感的
过程 58
7．7．1 本能过程 59
7．7．2 行为过程 59
7．7．3 反射过程 59
7．7．4 情感过程 60
7．8 心智模型 60
7．9 神经语言规划 61
7．9．1 NLP交流模型 62
7．9．2 外部刺激 62
7．9．3 过滤器 63
7．9．4 内部状态 64
8 感知模态 65
8．1 看 65
8．1．1 视觉系统 65
8．1．2 亮度和明度 68
8．1．3 颜色 70
8．1．4 视敏度 71
8．1．5 眼动 73
8．1．6 视觉显示 75
8．2 听 76
8．2．1 声音的属性 76
8．2．2 双耳信息 77
8．2．3 语音感知 78
8．3 触摸 79
8．3．1 振动 79
8．3．2 纹理 80
8．3．3 被动触摸与主动触摸 80
8．3．4 疼痛 80
8．4 本体感觉 81
8．5 平衡和物理运动 81
8．6 嗅觉和味觉 82
8．7 多模态感知 83
8．7．1 视觉信息和前庭信息相互补充 84
9 空间与时间的感知 85
9．1 空间感知 85
9．1．1 外中心和自我中心判断 86
9．1．2 分割我们周围的空间 86
9．1．3 深度（景深）感知 87
9．1．4 测量深度感知 94
9．1．5 虚拟现实中空间感知的挑战 94
9．2 时间感知 95
9．2．1 时间分析 95
9．2．2 大脑和时间 95
9．2．3 感受时间的流逝 96
9．2．4 闪烁 98
9．3 运动感知 98
9．3．1 生理 99
9．3．2 物体相对运动和主体相对运动 99
9．3．3 光流 100
9．3．4 运动感知因素 100
9．3．5 诱导运动 101
9．3．6 表观运动 101
9．3．7 运动连贯性 103
9．3．8 运动拖影 103
9．3．9 生物运动 104
9．3．10 相对运动错觉 104
10 知觉稳定性、注意力和行为 106
10．1 知觉恒常性 106
10．1．1 大小恒常性 107
10．1．2 形状恒常性 107
10．1．3 位置恒常性 108
10．1．4 亮度和颜色恒常性 108
10．1．5 响度恒常性 109
10．2 适应 109
10．2．1 感官适应 109
10．2．2 知觉适应 109
10．2．3 负面后遗症 111
10．3 专注 111
10．3．1 有限的资源和过滤 112
10．3．2 引导注意 113
10．4 行为 116
10．4．1 行为与感知 116
10．4．2 镜像神经元系统 117
10．4．3 导航 117
*11 感知：设计指南 119
11．1 主观和客观现实（第6章） 119
11．2 感知模型和感知过程（第7章） 119
11．3 感知模态（第8章） 120
11．4 空间与时间的感知（第9章） 120
11．5 知觉稳定性、注意力和行为
（第10章） 121
第三部分 健康危害
12 晕动症 125
12．1 场景移动 125
12．2 晕动症和相对运动错觉 126
12．3 晕动症病理 126
12．3．1 感官冲突原理 126
12．3．2 进化理论 127
12．3．3 姿态不稳定理论 127
12．3．4 静止参考系假设 128
12．3．5 眼动理论 129
12．4 晕动症的统一模型 130
12．4．1 世界的真实状态 130
12．4．2 感官输入 131
12．4．3 中央处理区 131
12．4．4 状态判断 131
12．4．5 动作 131
12．4．6 预判和反馈 131
12．4．7 运动的心理模型 132
13 视疲劳、痉挛和副作用 133
13．1 视觉辐辏调节冲突 133
13．2 遮蔽显示冲突 133
13．3 闪烁 134
13．4 副作用 134
13．4．1 重新适应 134
14 硬件挑战 136
14．1 身体疲劳 136
14．2 头戴适配 137
14．3 受伤问题 137
14．4 卫生问题 138
15 延迟 140
15．1 延迟的负面作用 140
15．1．1 视敏度弱化 140
15．1．2 弱化表现 141
15．1．3 体验感中断 141
15．1．4 负面训练效应 141
15．2 延迟阈值 141
15．3 感官延迟：暗适应的机能之一 142
15．4 延迟源 143
15．4．1 动作追踪延迟 144
15．4．2 应用程序延迟 145
15．4．3 渲染延迟 145
15．4．4 显示延迟 145
15．4．5 同步延迟 148
15．5 时间分析 148
15．5．1 延迟测量 149
16 度量不适感 150
16．1 肯尼迪模拟疾病问卷表 150
16．2 姿态稳定性 151
16．3 生理测量 151
17 导致负面作用的影响因素总结 152
17．1 系统因素 153
17．2 用户个人因素 154
17．3 应用程序设计因素 157
17．4 沉浸感和晕动症 158
*18 减少不良影响的案例 159
18．1 适应优化 159
18．2 外界稳定信息 159
18．3 把世界场景当成一个物体来控制 160
18．4 先导标记 161
18．5 尽量减少视觉加速度和旋转 161
18．6 棘轮转动 162
18．7 延迟补偿 162
18．7．1 预测 162
18．7．2 后期渲染技术 162
18．7．3 延迟补偿的问题 163
18．8 运动平台 163
18．9 舒缓猩猩臂 163
18．10 边界警示网格和淡出 164
18．11 药物 164
*19 减少健康危害的设计准则 165
19．1 硬件 165
19．2 系统校准 166
19．3 减少延迟 166
19．4 通用设计 167
19．5 运动设计 167
19．6 交互设计 168
19．7 使用 169
19．8 度量不适感 170
第四部分 内容创作
20 内容创作的高级概念 173
20．1 体验故事 173
20．2 核心体验 176
20．3 概念完整性 176
20．4 格式塔组织原则 177
20．4．1 分组法则 178
20．4．2 分割原则 181
21 环境设计 183
21．1 场景 183
21．2 色彩和光照 184
21．3 声音 185
21．4 采样和混叠 186
21．5 环境导航辅助 187
21．5．1 标记、轨迹和度量 189
21．6 真实世界内容 190
21．6．1 360°全景相机 190
21．6．2 光场及基于图像的捕捉／渲染 191
21．6．3 真实三维捕捉 191

21．6．4 医学数据和科学数据 192
22 影响行为 194
22．1 个人导航辅助 194
22．1．1 地图 194
22．1．2 指南针 195
22．1．3 多重导航辅助 196
22．2 动作中心 196
22．3 视野 197
22．4 虚拟现实中的简便与高端配置 197
22．4．1 有线虚拟现实和无线虚拟现实 197
22．4．2 移动便携虚拟现实和固定位置
的虚拟现实 198
22．5 角色、虚拟形象、社交网络 198
*23 过渡到虚拟现实的内容创作 201
23．1 从传统开发到虚拟现实开发，
范式的转换 201
23．2 复用现有内容 202
23．2．1 几何细节 203
23．2．2 平视显示器 203
23．2．3 瞄准网格线 204
23．2．4 手部模型／武器模型 204
23．2．5 缩放模式 205
*24 内容创作：设计准则 206
24．1 内容创作的高级概念
（第20章） 206
24．2 环境设计（第21章） 207
24．3 影响行为（第22章） 209
24．4 过渡到虚拟现实的内容创作
（第23章） 210
第五部分 交互
25 以人为本的交互 212
25．1 直觉性 212
25．2 Norman的交互设计原则 213
25．2．1 示能性 213
25．2．2 意符 214
25．2．3 约束限制 214
25．2．4 反馈 215
25．2．5 匹配 216
25．3 直接与间接的交互 217
25．4 交互循环 218
25．5 手 220
25．5．1 双手交互 220
*26 虚拟现实的交互概念 222
26．1 交互保真度 222
26．2 本体感觉与以本体为中心的交互 224
26．2．1 混合本体中心与外部中心的
交互 224
26．3 参考系 224
26．3．1 虚拟世界的参考系 225
26．3．2 真实世界参考系 225
26．3．3 躯干参考系 225
26．3．4 手部参考系 227
26．3．5 头部参考系 227
26．3．6 眼部参考系 228
26．4 语音和姿态 228
26．4．1 姿态 229
26．4．2 语音识别 230
26．5 模式和流程 231
26．6 多模态技术 232
26．7 小心疾病和疲劳 233
26．8 视觉-物理冲突和感觉替代 233
*27 输入设备 235
27．1 输入设备特征 235
27．1．1 尺寸和形状 235
27．1．2 自由度 235
27．1．3 相对与绝对 236
27．1．4 分离与集成 236
27．1．5 等距与等压 236
27．1．6 按钮 237
27．1．7 无负担输入设备 237
27．1．8 与物理对象完全交互的能力 237
27．1．9 设备的可靠性 237
27．1．10 触觉能力 238
27．2 手部输入设备的分类 238
27．2．1 接地输入设备 239
27．2．2 非跟踪手持控制器 240
27．2．3 跟踪手持控制器 241
27．2．4 手部穿戴设备 242
27．2．5 裸手控制器 243
27．3 非手部输入设备的分类 243
27．3．1 头部跟踪输入 243
27．3．2 眼动跟踪输入 244
27．3．3 麦克风 245
27．3．4 全身跟踪 245
*28 交互模式和技术 246
28．1 选择模式 248
28．1．1 手选模式 248
28．1．2 点选模式 249
28．1．3 图像-平面选择模式 251
28．1．4 基于体积的选择模式 252
28．2 操作模式 253
28．2．1 手操模式 253
28．2．2 代理模式 254
28．2．3 3D工具模式 255
28．3 视点控制模式 256
28．3．1 行走模式 257
28．3．2 驾驶模式 258
28．3．3 3D多点触控模式 259
28．3．4 自动模式 261
28．4 间接控制模式 262
28．4．1 窗口部件和面板模式 263
28．4．2 非空间控制模式 266
28．5 复合模式 267
28．5．1 点选与手操结合模式 267
28．5．2 微缩世界模型模式 268
28．5．3 多模态模式 270
*29 交互：设计准则 272
29．1 以人为本的交互（第25章） 272
29．2 虚拟现实的交互概念（第26章） 274
29．3 输入设备（第27章） 277
29．4 交互模式和技术（第28章） 278
第六部分 迭代设计
30 迭代设计的哲学 285
30．1 虚拟现实既是艺术，又是科学 285
30．2 以人为本的设计 285
30．3 通过迭代不断发现问题 286
30．4 没有一个过程是依赖于项目的 287
30．5 团队 288
*31 定义阶段 289
31．1 愿景 290
31．2 问题 290
31．3 评估与可行性 292
31．4 高阶设计注意事项 292
31．5 目标 293
31．6 关键参与者 293
31．7 时间与成本 294
31．8 风险 294
31．9 假设 296
31．10 项目约束 296
31．10．1 项目约束的类型 296
31．10．2 约束难题 297
31．11 人物角色 298
31．12 用户故事 299
31．13 故事板 300
31．14 范围 301
31．15 需求 301
31．15．1 质量要求 302
31．15．2 功能性需求 303
31．15．3 通用的虚拟现实需求 304
*32 制作阶段 305
32．1 任务分析 305
32．1．1 何时进行任务分析 306
32．1．2 如何做任务分析 306
32．2 设计规范 308
32．2．1 草图 308
32．2．2 框图 309
32．2．3 使用案例 310
32．2．4 类 310
32．2．5 软件设计模式 311
32．3 系统注意事项 312
32．3．1 系统权衡和做出决定 312
32．3．2 硬件支持 313
32．3．3 帧率和延迟 313
32．3．4 疾病指南 313
32．3．5 校准 314
32．4 模拟 314
32．4．1 分离模拟与渲染 314
32．4．2 与物理抗争 314
32．4．3 抖动物体 315
32．4．4 飞行物体 315
32．5 网络环境 315
32．5．1 理想的网络环境 316
32．5．2 消息协议 317
32．5．3 网络架构 317
32．5．4 决定论和局部估计 319
32．5．5 减少网络堵塞 319
32．5．6 同时交互 320
32．5．7 网络物理 320
32．6 原型 320
32．6．1 原型的形式 321
32．7 最终产品 322
32．8 交付 322
32．8．1 演示小样 322
32．8．2 现场安装 323
32．8．3 持续的交付 323
*33 学习阶段 324
33．1 沟通与态度 325
33．1．1 虚拟现实创作者是特殊用户 325
33．2 研究概念 326
33．2．1 数据收集 326
33．2．2 可靠性 327
33．2．3 有效性 327
33．2．4 灵敏度 331
33．3 构建主义方法 331
33．3．1 小型回顾 331
33．3．2 演示 331
33．3．3 访谈 332
33．3．4 调查问卷 332
33．3．5 小组座谈 333
33．3．6 专家评估 334
33．3．7 行动后回顾 336
33．4 科学方法 336
33．4．1 实验设计概述 337
33．4．2 真实实验vs．准实验 339
33．5 数据分析 339
33．5．1 了解数据 339
33．5．2 统计概念 340
*34 迭代设计：设计原则 344
34．1 迭代设计的哲学（第30章） 344
34．2 定义阶段（第31章） 345
34．3 制作阶段（第32章） 348
34．4 学习阶段（第33章） 353
第七部分 未来从现在开始
35 虚拟现实的现在与未来 358
35．1 将虚拟现实售卖给大众 358
35．2 虚拟现实社区文化 359
35．3 通信 359
35．3．1 新生代语言 359
35．3．2 符号化通信 360
35．3．3 用虚拟人类创造同情心 361
35．3．4 脑对脑通信 361
35．3．5 全神经输入和输出 362
35．4 标准和开源 363
35．4．1 开源 364
35．4．2 平台特定/事实标准 364
35．4．3 开放标准 365
35．5 硬件 365
35．6 增强现实和虚拟现实的融合 366
*36 启动 367