近日，摄影测量与遥感领域国际顶级期刊《ISPRS Journal of Photogrammetry and Remote Sensing》（ISPRS）连续发表昆明理工大学国土资源工程学院付志涛副教授课题组在多模态匹配方向的系列研究成果。在图像与点云跨模态匹配方面，团队创新性提出了基于空间感知的跨模态几何一致性无检测器匹配网络2D3D-SPMatch，相关研究成果以“2D3D-SPMatch: Cross-Modal Geometric Consistency Based on Spatial Perception for Detector-Free Image and Point Cloud Matching”为题发表；在光学与SAR图像跨模态匹配方向，合作团队创新提出PromptMID光学-SAR匹配方法，将基础模型与文本提示先验信息引入跨模态特征学习过程，研究成果以“PromptMID: Modal invariant descriptors based on diffusion and vision foundation models for optical-SAR image matching”为题发表。

图像与点云匹配是三维重建、机器人定位导航及多模态感知的重要基础，但由于二维图像与三维点云在数据结构和特征表达上的显著差异，跨模态匹配长期面临模态鸿沟导致的特征对齐困难。特别是在弱纹理区域和高度相似结构区域中，现有方法难以提取稳定且具有几何一致性的跨模态特征，影响匹配精度与系统鲁棒性。

针对上述问题，团队创新性提出了基于空间感知的跨模态几何一致性无检测器匹配网络2D3D-SPMatch。通过引入深度几何信息构建统一中间表示，增强图像与点云特征的空间几何一致性，有效缓解二维与三维之间的模态差异，显著提升了复杂场景下跨模态匹配的准确性与鲁棒性。特别是在弱纹理和高度相似结构区域中，能够有效强化空间结构辨识能力，降低误匹配风险，实现更加稳定可靠的跨模态对应。论文对所提出的2D3D-SPMatch网络进行了大量实验验证，结果表明相关研究成果能够有效提升图像与点云跨模态匹配精度与稳定性，在复杂场景中达到与当前同类方法相比最优的匹配与配准性能。2023级硕士研究生嵇娅帅为论文第一作者，付志涛副教授为论文通讯作者，昆明理工大学为论文第一完成单位和通讯单位。

光学与SAR图像匹配是遥感影像协同解译、变化检测与跨源数据融合的重要基础，但由于两类影像成像机理差异显著、存在强噪声干扰与语义歧义，传统方法难以提取稳定可靠的模态不变特征，尤其在跨区域、跨传感器及未知场景下泛化能力不足，严重制约复杂场景高精度匹配应用。针对上述问题，合作团队创新提出PromptMID光学-SAR匹配方法，将基础模型与文本提示先验信息引入跨模态特征学习过程，增强模态不变特征表达能力与跨域泛化性能，有效缓解光学与SAR影像间的模态差异，显著提升复杂场景下跨模态匹配的准确性与稳定性。特别是在高噪声和未知域场景中，展现出更强鲁棒性和泛化能力。论文对所提出的PromptMID网络进行了大量实验验证，结果表明相关研究成果能够有效提升光学与SAR图像匹配精度，在复杂场景及跨区域数据集上达到与当前同类方法相比最优的匹配性能，并展现出优异的域泛化能力。武汉大学2023级博士研究生聂韩为论文第一作者，付志涛副教授为论文共同通讯作者。

相关研究得到了国家自然科学基金、云南省“兴滇英才”支持计划、云南省基础研究计划等项目的资助。

（供稿：国土资源工程学院）