面向无人系统的多模态感知计算技术及应用研究

本书隶属于多模态感知计算方面的著作，有单模态感知到多模态感知的技术趋势分析、基于视频的大规模笔米波雷达数据生成技术及应用、不同设备间毫米波雷达点云配准的技术及应用、毫米波雷达和相机融合进行目标检测的技术及应用、面向无人系统的多模态感知计算原型系统的搭建和实施等部分组成。全书以常见的无人系统，即自动驾驶汽车、无人机、移动机器人为研究对象，阐述多模态感知计算过程中亟需解决的感知训练数据不足、感知数据难对齐以及传算资源与感知任务难适配的问题，分析利用室米波雷达和相机数据在数据丰富度、感知能力和资源需求方面的互补优势，改善无人系统进行多模态感知计算时存在的鲁棒性差、准确率低、传算延迟高的性能，对多模态数据生成、多模态数据融合计算等方面的研究者和从业人员有学习和参考价值。

邓凯凯，出生于1994年12月，毕业于北京邮电大学，计算机科学与技术博士研究生，现工作于河南科技大学信息工程学院。主要从事智能无人系统中多模态感知计算、边缘计算、数据生成等研究工作。近年来，参与国家自然科学基金委项目4项、北京市科技计划课题1项、北京市自然科学基金-小米创新联合基金1项；在IEEETMC、ACMUbiComp、IEEEICASSP、ChinaCommunications等国际顶级学术期刊或会议上发表学术论文14篇；申请国家发明专利15项，授权国家发明专利4项。

第1章 无人系统中的多模态感知计算

1.1 研究背景

1.2 无人系统的发展趋势

1.3 无人系统的发展特点

1.4 多模态感知计算技术的发展趋势

1.5 无人系统中多模态感知计算所面临的挑战

1.6 国内外研究现状综述

1.7 研究思路与内容

第2章 多模态感知计算相关技术

2.1 毫米波雷达感知技术

2.2 点云配准技术

2.3 毫米波雷达和相机融合技术

第3章 基于视频的毫米波雷达数据生成方法

3.1 为什么生成毫米波雷达数据

3.2 方法概述

3.3 数据生成网络

3.4 变种孪生网络

3.5 性能评估与比较分析

第4章 模态关联的毫米波雷达点云配准方法

4.1 为什么配准毫米波雷达点云

4.2 方法概述

4.3 点云配准网络

4.4 多车-基础设施自适应调度

4.5 性能评估与比较分析

第5章 雷视融合的边端协同目标检测方法

5.1 不同配置下目标检测任务的性能分析

5.2 方法概述

5.3 多帧合成

5.4 显著区域提取与编码

5.5 并行传输与推理

5.6 性能评估与比较分析

第6章 面向无人系统的多模态感知计算原型系统

6.1 系统总体架构

6.2 系统的模块设计与实现

6.3 应用性能测试

参考文献