增强现实理论、技术及应用

本书系统论述了增强现实理论、技术及应用的方方面面。全书分成理论篇、技术篇和应用篇，共11章。其中理论篇侧重讨论增强现实概念和发展历史、人类视觉成像基本原理、视觉三维感知基础理论、光场概念及其研究进展；技术篇讲解了增强现实涉及的各方面技术，包括三维图形绘制技术、位姿跟踪注册技术、虚实融合呈现技术和自然人机交互技术；应用篇讨论了增强现实系统基本组成、典型领域应用前景分析，并给出了军事领域应用前景分析。全书架构清晰，内容完整，层次递进，可以为增强现实相关行业提供技术参考和方向指引。

本书可作为增强现实相关行业研发人员与工程技术人员的技术指南，还可作为相关领域研究生的参考书。

理论篇

第1章增强现实概念和发展历史2

1.1相关概念介绍2

1.1.1虚拟现实3

1.1.2增强现实4

1.1.3混合现实6

1.1.4虚实统一体7

1.1.5增强现实与虚拟现实的区别7

1.1.6“人-机-环境”关系9

1.1.7元宇宙10

1.2增强现实呈现手段11

1.2.1视觉呈现12

1.2.2听觉呈现12

1.2.3触觉呈现13

1.2.4嗅觉和味觉呈现14

1.3增强现实应用的发展14

1.3.1增强现实用于电视转播15

1.3.2首款增强现实游戏原型16

1.3.3谷歌眼镜和微软HoloLens17

1.4增强现实关键技术17

1.4.1位姿跟踪注册技术17

1.4.2虚实融合呈现技术18

1.4.3自然人机交互技术19

1.5增强现实应用领域20

第2章人类视觉成像基本原理21

2.1人眼基本生理结构21

2.1.1眼球组织的分层构造解析21

2.1.2视觉感知流程23

2.1.3视觉感知类型24

2.1.4视觉基本概念26

2.2人眼立体视觉感知30

2.2.1心理立体感知30

2.2.2生理立体感知31

2.3视觉感知的四个层级33

2.3.1传统平面显示屏34

2.3.2影院式立体眼镜34

2.3.3沉浸式立体显示35

2.3.4光场式立体呈现37

第3章视觉三维感知基础理论38

3.1分层射影几何38

3.1.1分层射影几何基本概念38

3.1.2二维射影空间40

3.1.3三维射影空间42

3.2相机成像模型43

3.2.1小孔相机模型44

3.2.2图像的像素化44

3.2.3坐标系的变换45

3.2.4完整变换过程45

3.2.5成像矩阵表示46

3.3多视图几何理论47

3.3.1两幅图像的对极几何关系47

3.3.2基本矩阵的估计方法48

3.3.3三幅图像的多焦距张量49

3.3.4三焦距张量的估计方法52

3.4三维重建与增强现实的关系53

第4章光场概念及其研究进展54

4.1光场基本概念54

4.1.1光场的参数表示54

4.1.2光场的四维表示55

4.1.3光场的几何解释59

4.1.4光场的魔盒解释60

4.2光场数据采集61

4.2.1基于相机阵列的光场数据采集61

4.2.2基于微透镜阵列的光场数据采集66

4.2.3基于编码掩膜的光场数据采集73

4.2.4光场数据采集方案的对比分析75

4.3光场数据处理75

4.3.1光场数据的可视化处理75

4.3.2基于光场数据的重聚焦77

4.3.3基于光场数据的深度估计79

4.4光场数据显示84

4.4.1体三维显示84

4.4.2多视投影阵列显示86

4.4.3集成成像显示88

4.4.4多层液晶张量光场显示89

4.5光场研究意义93

4.5.1理论研究价值93

4.5.2潜在的应用领域94

4.5.3与增强现实的关系95

技术篇

第5章增强现实中的三维图形绘制技术98

5.1计算机图形学基础98

5.1.1基本图形元素99

5.1.2矢量几何含义100

5.1.3几何拓扑关系105

5.1.4几何实体定义106

5.2三维实体模型绘制107

5.2.1图形系统基本组成107

5.2.2图形绘制基本流程108

5.3视图模型变换过程108

5.3.1成像过程108

5.3.2模型变换110

5.3.3投影变换111

5.3.4裁剪变换112

5.3.5视口变换112

5.3.6矩阵堆栈113

5.4图形绘制相关技术113

5.4.1纹理映射113

5.4.2光照模型114

5.4.3视点漫游116

5.4.4GPU加速绘制117

5.4.5云绘制技术120

5.5常用图形开发接口124

5.5.1OpenGL125

5.5.2Direct3D125

第6章增强现实中的位姿跟踪注册技术126

6.1位姿跟踪注册框架126

6.1.1对位姿跟踪的基本要求126

6.1.2位姿跟踪注册方法127

6.2基于视觉的位姿跟踪技术128

6.2.1跟踪基本流程128

6.2.2图像特征匹配129

6.2.3空间位姿解算130

6.2.4相关数学算法131

6.3基于惯导的位姿跟踪技术132

6.3.1IMU运动模型133

6.3.2IMU预积分133

6.4其他位姿跟踪技术134

6.4.1基于卫星的位置跟踪134

6.4.2基于实时动态定位技术的位置跟踪135

6.4.3基于超宽带技术的位置跟踪136

6.5多传感器融合跟踪技术139

第7章增强现实中的虚实融合呈现技术141

7.1近眼光学微显示技术142

7.1.1液晶显示技术143

7.1.2硅基液晶显示技术144

7.1.3有机发光二极管显示技术146

7.1.4数字光处理技术147

7.1.5微型有机电激光显示技术150

7.1.6微发光二极管显示技术151

7.1.7其他光学显示技术153

7.2近眼光路组合技术154

7.2.1棱镜光路技术155

7.2.2Birdbath光路技术155

7.2.3自由曲面反射镜光路技术157

7.2.4自由曲面棱镜光路技术157

7.2.5光波导技术159

7.3环境光自适应控制技术166

7.3.1环境光感知技术166

7.3.2电致变色技术168

7.4近眼显示系统相关问题170

7.4.1光学转换效率170

7.4.2移动时间延迟170

7.4.3杂散光影响171

7.4.4视觉舒适性171

第8章增强现实中的自然人机交互技术173

8.1多模态人机交互框架设计173

8.2基于语音识别的人机交互技术174

8.2.1研究及应用场景175

8.2.2端到端语音识别176

8.2.3无声语音识别技术177

8.2.4视听语音识别技术179

8.2.5小结180

8.3基于手势识别的人机交互技术181

8.3.1研究及应用场景181

8.3.2基于计算机视觉的手势识别技术181

8.3.3基于生物电信号的手势识别技术183

8.3.4基于传感手套的手势识别技术184

8.3.5小结185

8.4基于眼动追踪的人机交互技术185

8.4.1研究及应用场景185

8.4.2眼动追踪处理流程186

8.4.3二维注视估计186

8.4.4眼动注视追踪187

8.4.5三维注视估计188

8.4.6典型应用分析189

8.4.7小结191

8.5基于触觉反馈的人机交互技术191

8.5.1研究及应用场景191

8.5.2基于引脚阵列的触觉反馈技术192

8.5.3基于力向量的触觉反馈技术192

8.5.4基于振动的触觉反馈技术192

8.5.5其他触觉反馈相关技术192

8.5.6基于可穿戴织物的增强现实触觉设备193

8.5.7小结194

8.6多模态交互融合案例分析194

8.6.1研究及应用场景194

8.6.2基于视觉和语音的双模态交互195

8.6.3基于手势和语音的双模态交互195

8.6.4基于语音、触摸、移动的多模态交互技术201

8.6.5基于语音与触控的多模态交互技术201

8.6.6基于人脸识别与触控的多模态交互技术202

8.6.7基于多种感官的多模态交互203

8.6.8基于混合脑机接口的交互203

8.6.9小结204

8.7总结204

应用篇

第9章增强现实系统基本组成208

9.1增强现实系统架构209

9.2增强现实主流硬件210

9.2.1感知单元211

9.2.2计算单元214

9.2.3显示单元214

9.2.4交互单元215

9.3增强现实开发工具包218

9.3.1发展过程219

9.3.2ARKit工具包219

9.3.3ARCore工具包223

9.3.4Vuforia工具包226

9.3.5Augument工具包227

9.4增强现实绘制引擎228

9.4.1开发者社区方面229

9.4.2程序开发方面229

第10章典型领域应用前景分析231

10.1工业领域应用231

10.1.1建筑设计领域应用231

10.1.2工业设计领域应用232

10.1.3装配维修领域应用233

10.1.4工业数字孪生应用234

10.2医疗领域应用236

10.3教育领域应用238

10.4文娱领域应用240

第11章军事领域应用前景分析242

11.1典型军事应用需求分析242

11.1.1战场态势感知增强242

11.1.2新型作战指挥模式245

11.1.3模拟仿真训练应用247

11.1.4装备辅助维修应用249

11.2美军的集成视觉增强系统250

11.3电子沙盘指控应用案例253

11.3.1电子沙盘应用背景253

11.3.2应用案例框架设计253

11.3.3主要信息处理流程254

11.3.4典型场景应用验证255

11.3.5案例实践总结分析258

11.4班组战斗协同应用案例260

11.4.1战斗协同应用背景260

11.4.2应用案例框架设计260

11.4.3典型场景应用验证262

11.4.4主要技术难点分析263

11.5协同标绘应用案例265

11.5.1协同标绘应用背景265

11.5.2应用案例框架设计265

11.5.3主要技术难点分析267

参考文献268