在大数据时代，海量多模态数据广泛存在，怎样通过模态数据间的互补学习来挖掘数据中隐藏的巨大价值，是现阶段大数据研究关注的主要问题，也是大数据与传统数据学习任务的主要区别。数据融合方法是多模态数据分析与挖掘的重要手段，然而多模态数据的模态低质性、处理实时性、模态不均衡性和属性高维性为融合方法的设计提出了严峻挑战。针对多模态数据的上述特性，开展面向低质模态分析融合、增量模态聚类融合、异构模态迁移融合和低维模态共享融合四个方面的多模态数据融合算法研究。该方向的研究思路如图1所示。
图1 多模态数据融合挖掘方向研究思路
（1） 基于深度语义匹配的低质多模态数据融合算法
面向低质多模态数据分析的融合，针对现有低质多模态分析融合算法难以有效学习跨模态数据共享语义的问题，提出基于深度语义匹配的低质多模态数据融合算法。利用深度学习网络的高层语义抽象特性，设计耦合模态私有深度网络和低质模态共享特征学习的统一深度模型，实现低质多模态数据的深度相关融合，降低模态共享特征的语义偏差。基于模态空间几何特性，设计局部不变图规则化因子，耦合子空间中多模态共享特征和原始模态特征，进一步提升融合结果的准确性。实验验证了该算法能够通过深度语义抽象对低质多模态数据进行有效相关匹配，保证融合结果的精度。
（2） 无参数多模态数据增量共聚类融合算法
面向增量多模态数据聚类的融合，针对现有多模态增量聚类融合算法精度易受参数选择影响的问题，提出无参数多模态数据增量共聚类融合算法。定义了新的多模态数据相似性度量标准，并设计了新的增量聚类策略，对多模态数据进行无参数增量聚类融合，提高算法效率的同时保证融合结果的鲁棒性。设计一种自适应的模态权重更新机制，在共聚类融合过程中对模态权重进行动态调整，满足模态对融合结果影响的动态变化需求，提升算法的可扩展性。实验验证了该算法在保持新增多模态数据聚类融合精度的同时，能够有效提高动态数据处理的效率。
（3）基于多层语义匹配的异构模态数据迁移融合算法
面向异构模态数据迁移的融合，针对现有异构模态迁移融合算法难以有效弥补模态间较大语义偏差的问题，提出基于多层语义匹配的异构模态数据迁移融合算法。耦合模态深度网络与模态语义相关模型，设计基于多层语义匹配的统一深度网络架构。通过每一层跨模态特征的相关匹配，逐步减少异构模态间的语义偏差。利用顶层输出特征的最大相关对模态网络进行整体优化调整，进一步提升模态深度语义的相关性。定义新的目标函数联合优化异构模态深度匹配网络，得到跨模态高层语义融合子空间，在子空间内完成源模态知识到目标模态任务的迁移学习。实验验证了该算法能够通过多层相关匹配有效弥补异构模态数据间的语义偏差，得到更加可靠的迁移融合结果。
（4）一种无监督多模态数据非负相关特征共享融合算法
面向多模态数据低维共享的融合，针对现有多模态低维特征共享融合算法难以有效排除模态私有信息影响的问题，提出一种无监督多模态数据非负相关特征共享融合算法。设计模态私有（不相关或负相关）特征和跨模态共享（相关）特征共学习模型，通过模态私有特征的分离，提升低维共享特征表示的准确性。利用共享特征的耦合建立各模态联合优化目标函数，并利用模态不变图规则化和投影矩阵稀疏化辅助模型优化过程，进一步提升融合结果的精度。通过迭代的相关和不相关特征共训练、更新，得到低维潜在子空间中鲁棒的跨模态共享融合特征。实验验证了该算法能够通过分离模态私有特征有效学习多模态数据的共享特征，完成高维模态数据的低维融合。
该研究方向取得代表性成果如下：
[1] Zhao Liang, Chen Zhikui, Yang Yi, Wang Z. Jane and Leung Victor C.M. Incomplete Multi-View Clustering via Deep Semantic Mapping. Neurocomputing, 2018, 275: 1053-1062.
[2] Zhao Liang, Chen Zhikui and Wang Z. Jane. Unsupervised Multiview Nonnegative Correlated Feature Learning for Data Clustering. IEEE Signal Processing Letters, 2018, 25(1): 60-64.
[3] Zhang Qingchen, Yang Laurence T., Castiglione Arcangelo, Chen Zhikui and Li Peng. Secure Weighted Possibilistic c-Means Algorithm on Cloud for Clustering Big Data. Information Sciences, 2018. Online.
[4]Liang Zhao, Zhikui Chen, Laurence T. Yang, M. Jamal Deen, Z. Jane Wang, Deep Semantic Mapping for Heterogeneous Multimedia Transfer Learning Using Co-Occurrence Data, ACM Transactions on Multimedia Computing, Communications, and Applications, 2019, 15(1s): 9:1-9:21.
[5] Qingchen Zhang, Laurence T. Yang, Zhikui Chen and Feng Xia. A High-Order Possibilistic C-Means Algorithm for Clustering Incomplete Multimedia Data. IEEE Systems Journal, 2017, 11(4): 2160-2169.
[6] Peng Li, Zhikui Chen, Laurence T. Yang, Liang Zhao and Qingchen Zhang. A Privacy-Preserving High-Order Neuro-Fuzzy c-Means Algorithm with Cloud Computing. Neurocomputing, 2017, 256: 82-89.
[7] Bu Fanyu, Chen Zhikui, Zhang Qingchen and Yang Laurence T.. Incomplete High-dimensional Data Imputation Algorithm Using Feature Selection and Clustering Analysis on Cloud. Journal of Supercomputing, 2016, 72(8): 2977-2990.
[8] Liang Zhao, Zhikui Chen, Yi Yang, Liang Zou, Z. Jane Wang, ICFS: Clustering with Multiple Representatives for Large Data, IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(3): 728-738.
[9] Zhao Liang, Chen Zhikui, Yang Zhennan, Hu Yueming and Obaidat Mohammad S.. Local Similarity Imputation Based on Fast Clustering for Incomplete Data in Cyber-Physical Systems. IEEE Systems Journal, 2018, 12(2): 1610-1620.
[10] Zhang Qingchen, Yang Laurence T., Chen Zhikui and Li Peng. High-Order Possibilistic c-Means Algorithms Based on Tensor Decompositions for Big Data in IoT. Information Fusion, 2018, 39: 72-80.
相关专利：
[1]一种不完整物联网数据混合填充方法。发明人：陈志奎，赵亮，杨镇楠。专利号：201510274616.2，授权日：2018.01.26。
[2]一种基于子空间混合超图学习的交叉模态检索算法。发明人：陈志奎，钟芳明，钟华，鲁飞。专利号：201710116758.5，授权日：2018.09.04。
