近日，我院科研团队在多模态图像融合领域研究新成果被人工智能、计算机视觉领域顶级期刊International Journal of Computer Vision (IJCV)录用。研究成果CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion由刘晋源博士、林润甲硕士研究生、吴冠尧硕士研究生、刘日升教授、罗钟铉教授和樊鑫教授(通讯作者)合作完成，是几何计算与智能媒体技术研究所团队在该领域的最新研究成果。
多模态图像融合通过综合不同传感器获取的互补信息，来获取显著提升信息量和质量的融合图像，对于增强视觉和改善图像语义分析应用具有重要意义。团队发现现有的深度学习多模态图像融合算法主要通过构造各种损失函数来保存互补特征，但通常忽视了不同传感模态间的内在联系，造成融合结果中存在冗余或无效信息。为了解决这一难题，该论文创新性地提出一种耦合对比约束来优化损失函数，使融合图像的前景目标/背景细节与相应的红外/可见光源图像在特征表示空间中紧密联系的同时远离另一模态的特征，有效避免了融合过程中的失真现象。此外，论文引入了一个多级注意模块，用于学习丰富的层次特征表示，并在融合过程中全面地传递语义信息特征，成功地在多个图像融合任务以及后续的语义感知任务中实现了促进作用。相关成果已开源至https://github.com/runjia0124/CoCoNet.
据悉，IJCV（影响因子19.5）是人工智能、计算机视觉领域最重要的顶级学术期刊之一，其与IEEE TPAMI、JMLR、AI并列是中国计算机学会（CCF）推荐的人工智能领域的4个A类期刊，其中IJCV年录取量仅为约130篇，在上述四个期刊中发文量相对较低。
团队介绍：大连理工大学几何计算与智能媒体技术研究团队与立命馆大学合作建立健康医疗智能计算联合研究中心，研究课题包括机器学习、深度学习、计算机视觉、多媒体技术、优化方法等当前最前沿的领域，及其在医疗和健康领域中的应用。近年来在IEEE TPAMI、TIP、NeurIPS、CVPR、ECCV、IJCAI、AAAI、ACM MM等人工智能、多媒体技术等多领域的重要期刊及会议上发表论文达100余篇。该团队也一直致力于面向国家重大需求，加强关键共性技术研究，已经在全天候车载多波段立体视觉感知单元，以及水下目标自主抓取机器人等应用研发方面取得突破。
