AI汽车：纯视觉自动驾驶

《AI汽车：纯视觉自动驾驶》 上海交通大学青年学者领衔编写，揭秘纯视觉自动驾驶核心技术

核心亮点：
? 权威团队：由上海交通大学自动化与感知学院钱烨强教授领衔，多位深耕智能驾驶、计算机视觉领域的青年学者共同编写，融合前沿科研与工程实践经验

? 技术前沿：系统梳理纯视觉自动驾驶从基础理论到核心算法的完整技术体系，涵盖视觉传感器标定、目标检测跟踪、全景建模、行为理解等关键技术

? 产业落地：深入解析无图模式、自动化矢量地图构建、环境重建与仿真等工程实践，助力快速了解产业现状

? 内容体系：8章层层递进，从高精地图到无图模式演变、视觉传感器妙用、目标检测跟踪、全景建模、行为理解、矢量地图构建、场景仿真到未来展望，构建完整知识框架

适合人群：
? 自动驾驶领域研究人员、工程师、行业从业者

? 计算机视觉、人工智能相关专业学生

? 智能驾驶技术爱好者、产品设计师

本书围绕纯视觉自动驾驶技术的前沿发展，逐层深入，探讨技术背景、应用细节及未来趋势。具体而言，书中首先介绍了高精地图与无图模式的概念、演变过程以及它们在自动驾驶中的核心应用。随后，书中详细讲解了视觉传感器的选型与校准、目标检测与跟踪技术、全景建模与环境理解的基本原理。在此基础上，本书沿着自动驾驶技术的开发路线，重点阐述了数据采集与管理、算法模型训练、感知软件开发、场景开发及测试流程的优化。书中还围绕行为理解与世界模型的构建、自动化矢量地图的构建方法，以及环境重建的基本方法展开，强调这些技术在实际应用中的重要性和相互关联性。此外，书中提供了相关工具和实际案例介绍，帮助读者将理论知识转化为实践能力。最后，书中展望了纯视觉自动驾驶技术的未来发展趋势，探讨当前技术面临的挑战以及需要解决的问题。
本书适合对自动驾驶技术及相关领域感兴趣的读者，无论是开发者、研究人员、设计师，还是刚刚入门的学生均能从书中获益。同时，对于具备相关知识背景的行业从业者，本书也提供了深入学习和实践的有力支持。

钱烨强，上海交通大学电信学院自动化系长聘教轨副教授、博士生导师。围绕智能车感知与导航技术近5年发表学术论文30余篇，IEEE Trans系列长文10余篇。获得SAA最佳博士学位论文，全国博士后创新创业大赛银奖、上海市技术发明一等奖（参与人）等多个奖项。主持国自然科学基金面上项目、国家自然科学基金青年项目、中国博士后基金面上项目、上海市超级博士后激励资助计划等多个项目。担任中国指挥与控制学会智能指挥与控制系统工程专委会常务委员，担任IEEE IROS 2024和2023的编委和上海交通大学学报英文版的客座编辑。

前 言
第1 章
从高精地图到无图模式的自动驾驶技术演变
1.1 地图的魔力：自动驾驶的起点 / 001
1.1.1 昔日辉煌：自动驾驶的有图时代 / 001
1.1.2 双刃剑的舞动：高精地图的弊端 / 005
1.2 从依赖到独立：无图模式的挑战 / 011
1.2.1 背景驱动：从地图依赖到无图探索 / 012
1.2.2 核心支撑：实现无图的关键技术 / 014
1.2.3 产业观察：无图方案的发展现状 / 016
1.2.4 隐忧与瓶颈：落地过程中的主要挑战 / 019
1.2.5 新机与潜能：无图方案的应用前景 / 021
第2 章
洞悉自动驾驶之眼：摄像头的妙用与精调
2.1 视觉传感器的种类与原理 / 025
2.1.1 单目摄像头：最基础的视觉感知 / 025
2.1.2 双目与多目摄像头：立体视觉的实现 / 027
2.1.3 全景摄像头：360°无死角的视界 / 030
2.2 视觉传感器的安装与布局 / 032
2.2.1 合理的传感器布局策略 / 032
2.2.2 传感器视角的优化与覆盖 / 035
2.3 视觉传感器的校准技术 / 037
2.3.1 外参校准：确定传感器的相对位置 / 037
2.3.2 内参校准：提升摄像头的感知精度 / 040
2.4 让摄像头看得更清楚：数据优化的秘密 / 042
2.4.1 除去“噪声”的图像清理术 / 042
2.4.2 多只“眼睛”的协作：视角合成与融合 / 045
2.4.3 鸟瞰图：为车装上“上帝视角” / 046
2.5 未来的摄像头：更聪明、更强大 / 049
2.5.1 分辨率越高越好吗 / 049
2.5.2 “自我学习”的摄像头 / 051
2.5.3 AI 赋能的“超级视角” / 054
第3 章
目标检测与目标跟踪
3.1 感知任务中的基础与关键角色 / 056
3.1.1 核心功能：从视觉输入到目标与轨迹的构建 / 057
3.1.2 价值与意义：安全驾驶的基石与鲁棒性的保障 / 059
3.2 目标检测：理解道路与参与者 / 061
3.2.1 道路与规则要素：车道线、路缘、交通标志与信号灯 / 062
3.2.2 交通参与者：车辆、行人、骑行体 / 067
3.2.3 异常与低频目标：施工设施、落物、动物等 / 070
3.3 目标跟踪：稳定的时序感知 / 071
3.3.1 从检测到轨迹：多目标跟踪与轨迹生成 / 072
3.3.2 稳定性挑战：遮挡恢复、身份一致性与轨迹管理 / 074
3.3.3 实时性挑战：视觉目标跟踪的效率与算力优化 / 077
3.4 方法进展与融合方向 / 079
3.4.1 模型演进：大模型驱动的感知范式 / 079
3.4.2 感知与规划的衔接：端到端与一体化趋势 / 082
第4 章
全景建模与环境理解
4.1 占用网络：开启环境理解的新视野 / 086
4.1.1 从二维视角到全局感知 / 086
4.1.2 感知赋能：占用网络在智能感知中的角色 / 090
4.2 数据生成：构建智能的“基础原料” / 093
4.2.1 数据采集：真值构建的核心材料 / 093
4.2.2 数据生成流程揭秘：数据的“炼金术” / 098
4.2.3 精度指标：如何衡量我们的模型性能？ / 105
4.3 模型进化：智能理解的“多样化路径” / 107
4.3.1 占用网络模型：三维特征表达的多样性 / 107
4.3.2 轻量化与稀疏化方案：实现高效推理的秘诀 / 110
4.3.3 自监督学习方案：模型自主学习的探索之旅 / 115
第5 章
行为理解与预测：自动驾驶的演绎推理
5.1 像人类驾驶人一样思考 / 119
5.1.1 人类驾驶人的核心能力 / 120
5.1.2 自动驾驶如何具备推理能力 / 122
5.2 理解环境中的交通参与者：行为预测 / 124
5.2.1 感知与规划的桥梁：预测算法 / 126
5.2.2 从历史中学习：时空信息建模 / 128
5.2.3 行为预测的前景与挑战 / 131
5.3 场景理解 / 131
5.3.1 从感知到理解：场景解析的背景 / 132
5.3.2 方法与路径：当前场景理解技术 / 134
5.3.3 迈向未来：场景理解的机遇与挑战 / 139
5.4 推演未来：世界模型 / 140
5.4.1 自动驾驶中的世界模型 / 140
5.4.2 生成式AI：如何创造未来世界 / 142
5.4.3 自动驾驶中的世界模型 / 145
第6 章
自动化矢量地图构建
6.1 驶向无图时代：感知矢量构图的崛起 / 147
6.1.1 感知为先：无图时代的重要性 / 148
6.1.2 赋能应用：无图感知的实践场景 / 151
6.1.3 技术沉淀：传统高精地图的发展 / 155
6.1.4 轻量化演进：局部高精矢量地图 / 157
6.2 技术引擎：揭开主流矢量构建框架的面纱 / 159
6.2.1 端到端理念：矢量构图网络概述 / 159
6.2.2 核心方案：主流端到端框架解析 / 161
6.2.3 多元探索：其他框架的矢量构建方法 / 164
6.3 如何给局部矢量构图网络“打分” / 166
6.3.1 数据基础：常用数据集 / 166
6.3.2 评测体系：核心评价指标 / 169
6.3.3 对比分析：常见基准的表现 / 171
6.3.4 细分评测：含中心线基准的表现 / 173
6.4 未来探索：挑战与机遇的交汇点 / 175
6.4.1 难题解码：局部矢量地图构建的挑战 / 175
6.4.2 未来之光：局部矢量构图的机遇探索 / 177
第7 章
驾驶仿真与模型重建渲染
7.1 驾驶仿真：从虚拟到现实的旅程 / 179
7.1.1 机器人与仿真：萌芽于虚拟的技术 / 180
7.1.2 自动驾驶仿真器：幕后英雄的功能与设计 / 182
7.1.3 Sim2Real：虚拟驾驶如何加速真实上路 / 185
7.2 三维重建：为自动驾驶“重现”世界 / 188
7.2.1 传统建模：手工的数字场景复刻 / 188
7.2.2 自动化三维重建：看懂三维世界的算法 / 190
7.2.3 智能重建：基于深度学习构建环境 / 195
7.3 新视角合成渲染：赋予驾驶场景新的生命 / 199
7.3.1 NeRF 与3DGS：重塑视野的双剑 / 199
7.3.2 未来展望：重建渲染的无限可能 / 205
第8 章
当前挑战和未来展望
8.1 目前自动驾驶中的“路障”：问题与挑战 / 207
8.1.1 简单与复杂：纯视觉技术不能解决的情况 / 207
8.1.2 有限与无限：训练数据不足和硬件成本的限制 / 210
8.1.3 矛盾与统一：不同制度和政策带来的问题 / 212
8.2 自动驾驶的“突破之道”：解决方案与协作策略 / 212
8.2.1 硬件与软件的突破：提升视觉系统的适应性和精确度 / 213
8.2.2 数据支持与成本控制：丰富模型训练数据并降低自动驾驶系统成本 / 215
8.2.3 协调与引导：推动制度与政策的规范化建设 / 217
8.3 未来自动驾驶的“蓝图”：愿景与创新发展 / 218
参考文献