EN

面向大数据特征学习的深度计算模型​

2019-05-05  点击:[]


随着物联网、社交网络与电子商务的迅速发展,大数据时代已经到来。尽管大数据给工业、教育和医疗等众多领域带来了巨大的潜力,然而从大数据中获取有价值的知识却是一件非常艰巨的任务。学习大数据的特征并挖掘隐藏在大数据中的信息既需要先进的技术,也需要多学科的交叉合作。

特征学习是大数据分析与挖掘的关键步骤,然而大数据的海量性(volume)、异构性(variety)和实时性(velocity)特点为数据特征学习方法提出了严峻的挑战。针对大数据的上述三个特点,设计面向大数据特征学习的深度计算模型,主要研究工作包括以下几个方面:


(1)基于张量数据表示的基本深度计算模型

针对现有的深度学习模型难以有效学习异构数据特征的问题,提出基于张量数据表示的深度计算模型。将深度学习模型从向量空间扩展到张量空间,设计基本深度计算模型,学习异构数据的特征。设计面向张量空间的高阶反向传播算法,训练深度计算模型的参数。设计基于张量距离的重构误差函数,捕捉大数据在张量空间中的分布特征。理论分析表明深度计算模型是深度学习模型在张量空间的扩展与泛化。实验结果表明深度计算模型能够有效学习异构数据的多层特征。

(2)支持增量式更新的深度计算模型

针对基本深度计算模型无法动态调整模型参数与结构,难以实时学习动态数据特征的问题,提出增量式深度计算模型。引入函数一阶近似思想,设计基于参数更新的增量式高阶自动编码模型,通过更新参数实现深度计算模型的更新;通过不断增加隐藏层神经元的方法,设计结构更新的增量式高阶自动编码模型,快速适应新增数据的特征变化,实时学习动态数据的特征。理论分析表明增量式深度计算模型满足增量式学习增量性、保持性与适应性三条性质。实验结果表明增量式深度计算模型在保持对新增数据分类精度的同时,能够有效提高动态数据特征学习的效率。

(3)支持隐私保护的云端安全深度计算模型

针对深度计算模型在云端执行过程中容易泄露数据隐私的问题,提出支持隐私保护的云端安全深度计算模型,采用全同态加密方案对数据进行加密,设计云端安全高阶反向传播算法,提升大数据特征学习的效率,同时保证数据在云计算环境下的隐私和安全。实验结果表明云端安全深度计算模型能够充分利用云计算强大的运算能力提高模型训练效率,同时能够保护大数据在云端的敏感信息。

以上研究方向发表代表性论文如下:

[1]Qingchen Zhang, Laurence T. Yang, Zhikui Chen. Privacy Preserving Deep Computation Model on Cloud for Big Data Feature Learning, IEEE Transactions on Computers, 2016, 65(5): 1351-1362.

[2]Qingchen Zhang, Laurence T. Yang, and Zhikui Chen. Deep Computation Model for Unsupervised Feature Learning on Big Data, IEEE Transactions on Services Computing, 2016, 9(1): 161-171.

[3] Qingchen Zhang,Laurence T.Yang,Zhikui Chen,Peng Li. A Dropconnect Deep Computation Model for Highly Heterogeneous Data Feature Learning in Mobile Sensing Networks. IEEE Network, 2018, 32(4):22-27.

[4] Peng Li, Zhikui Chen,Laurence T.Yang. An Incremental Deep Convolutional Computation Model for Feature Learning on Industrial Big Data. IEEE Transactions on Industrial Informatics, 2018:1-1.

[5] Qingchen Zhang, Laurence T. Yang, Zhikui Chen. Dependable Deep Computation Model for Feature Learning on Big Data in Cyber-Physical Systems. ACM Transactions on Cyber-Physical Systems, 2018, 3(1):1-17.

[6] Qingchen Zhang, Laurence T. Yang, Zhikui Chen, Peng Li, M. Jamal Deen. Privacy-Preserving Double-Projection Deep Computation Model With Crowdsourcing on Cloud for Big Data Feature Learning. IEEE Internet of Things Journal 5(4): 2896-2903 (2018)

[7] Li Peng, Chen Zhikui, Yang Laurence T., Zhang Qingchen and Deen M. Jamal. Deep Convolutional Computation Model for Feature Learning on Big Data in Internet of Things. IEEE Transactions on Industrial Informatics, 2018, 14(2): 790-798.

[8] Qingchen Zhang, Laurence T. Yang, Zhikui Chen and Peng Li. An Improved Deep Computation Model Based on Canonical Polyadic Decomposition. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017. Online.

[9] Qingchen Zhang, Laurence T. Yang, Zhikui Chen, Peng Li and M. Jamal Deen. Privacy-preserving Double-projection Deep Computation Model with Crowdsourcing on Cloud for Big Data Feature Learning. IEEE Internet of Things Journal, 2017. Online.

[10] Qingchen Zhang, Luarence T. Yang, Zhikui Chen and Peng Li. PPHOPCM: Privacy-preserving High-order Possibilistic c-Means Algorithm for Big Data Clustering with Cloud Computing. IEEE Transactions on Big Data, 2017. Online.

[11] Qingchen Zhang, Laurence T. Yang, Xingang Liu, Zhikui Chen and Peng Li. A Tucker Deep Computation Model for Mobile Multimedia Feature Learning. ACM Transactions on Multimedia Computing, Communications and Applications, 2017, 13(3s): 1-18.