图像融合的深度学习方法

图像融合是视觉感知领域中一个基础而关键的问题，旨在整合多幅源图像中的重要信息，生成单幅更加全面且准确描述场景内容的融合图像。本书介绍一系列基于深度学习的多模态、数字摄影及遥感图像融合的方法，挖掘多种图像融合任务的特点及共性，并探索图像融合技术在下游视觉任务中的重要作用。首先，针对多模态图像融合任务，介绍两种典型的红外-可见光和医学图像融合方法；其次，针对数字摄影图像融合任务，分别介绍有代表性的多曝光和多聚焦融合方法；然后，介绍两种多光谱与全色图像融合方法；接着，考虑各类图像融合任务的共性，介绍两种无监督的统一图像融合方法；最后，针对图像融合技术在实际应用中面临的挑战，介绍三种兼顾图像配准与语义感知的图像融合方法。扫封底二维码可查看全书彩图资源。

目录
第1章 绪论 1
1.1 图像融合问题的定义与任务分类 2
1.1.1 图像融合问题的定义 2
1.1.2 图像融合的任务分类 2
1.2 基于深度学习的图像融合框架 5
1.2.1 基于自编码器的图像融合框架 5
1.2.2 基于卷积神经网络的图像融合框架 6
1.2.3 基于生成对抗网络的图像融合框架 6
1.3 图像融合数据集与评估指标 6
1.3.1 图像融合数据集 6
1.3.2 图像融合评估指标 9
第2章 多模态图像融合 16
2.1 基于生成对抗网络的红外和可见光图像融合 17
2.1.1 概述 17
2.1.2 实验结果与分析 21
2.1.3 讨论与展望 30
2.2 基于无监督信息保留增强的医学图像融合 31
2.2.1 概述 31
2.2.2 方法设计 32
2.2.3 实验结果与分析 36
2.2.4 讨论与展望 42
第3章 数字摄影图像融合 44
3.1 基于生成对抗网络与自适应梯度联合约束的多聚焦图像融合 44
3.1.1 方法设计 45
3.1.2 实验结果与分析 48
3.1.3 讨论与展望 56
3.2 基于本征图像分解的多曝光图像融合 58
3.2.1 方法设计 59
3.2.2 实验结果与分析 64
3.2.3 讨论与展望 77
第4章 遥感图像融合 79
4.1 基于生成对抗网络的无监督多光谱与全色图像融合 79
4.1.1 方法设计 81
4.1.2 实验结果与分析 85
4.1.3 讨论与展望 92
4.2 基于尺度迁移学习与光谱观测模型估计的多光谱与全色图像融合 93
4.2.1 方法设计 95
4.2.2 实验结果与分析 104
4.2.3 讨论与展望 120
第5章 通用图像融合 122
5.1 统一无监督图像融合 122
5.1.1 概述 122
5.1.2 方法设计 124
5.1.3 实验结果与分析 130
5.1.4 讨论与展望 139
5.2 基于 SwinTransformer与跨域长距离学习的通用图像融合 140
5.2.1 概述 140
5.2.2 方法设计 141
5.2.3 实验结果与分析 145
5.2.4 讨论与展望 158
第6章 兼顾图像配准与高级语义的图像融合 159
6.1 互促进的多模态图像配准与融合 159
6.1.1 概述 159
6.1.2 方法设计 161
6.1.3 实验结果与分析 168
6.1.4 讨论与展望 181
6.2 基于渐进语义注入的红外与可见光图像融合 183
6.2.1 概述 183
6.2.2 方法设计 185
6.2.3 实验结果与分析 190
6.2.4 消融实验分析 200
6.2.5 讨论与展望 202
6.3 语义感知的图像配准与融合 203
6.3.1 概述 203
6.3.2 方法设计 204
6.3.3 实验结果与分析 211
6.3.4 消融实验分析 217
6.3.5 讨论与展望 220
参考文献 221