科研進展
重慶研究院在稀疏大數(shù)據(jù)分析方法研究中取得進展
時間：2016-11-22編輯：信息所大數(shù)據(jù)中心
近日，重慶研究院大數(shù)據(jù)挖掘及應(yīng)用中心團隊在稀疏大數(shù)據(jù)分析方法研究中取得進展，率先提出“恒定非負的高維稀疏矩陣隱特征分析方法”[1, 2]。該方法能對高維稀疏矩陣這種典型大數(shù)據(jù)結(jié)構(gòu)進行高效、恒定滿足非負條件的隱特征分析，進而完成集簇探測、缺失值預(yù)測、趨勢分析等知識發(fā)現(xiàn)任務(wù)。相關(guān)研究成果發(fā)表于《IEEE Access》[1]，并以長文形式[2]被數(shù)據(jù)挖掘領(lǐng)域頂級會議“IEEE International Conference on Data Mining 2016（IEEE ICDM 2016）*”錄用。
高維稀疏矩陣是大數(shù)據(jù)應(yīng)用系統(tǒng)產(chǎn)生的典型數(shù)據(jù)結(jié)構(gòu)，出現(xiàn)場景包括電子商務(wù)、社交網(wǎng)絡(luò)、云服務(wù)優(yōu)選、網(wǎng)絡(luò)媒體、公共交通、運營商服務(wù)等。其頻繁出現(xiàn)的主要原因是隨著應(yīng)用系統(tǒng)的規(guī)模不斷擴大，其所涉及的實體數(shù)量不斷膨脹，導(dǎo)致1）實體關(guān)系的維度不斷提高；2）每個實體所能交互的實體子集在實體全集中占據(jù)的比例不斷下降。因此，描述實體間關(guān)系的數(shù)據(jù)結(jié)構(gòu)一般具備高維、稀疏的特點，如高維稀疏矩陣（涉及兩個實體集合）、高維稀疏張量（涉及三個實體集合）以及高維稀疏超張量（涉及四個及以上的實體集合）。其中，高維稀疏矩陣是最常出現(xiàn)的數(shù)據(jù)結(jié)構(gòu)。如何對其進行高效的隱特征分析，從而發(fā)現(xiàn)有效的模式，進而獲取有用的知識，是大數(shù)據(jù)挖掘與應(yīng)用領(lǐng)域的熱點研究問題[3]。
一般情況下，工業(yè)應(yīng)用產(chǎn)生的數(shù)據(jù)具備非負性，進行隱特征建模時，需要加入非負約束，使所得模型能更好地表征目標數(shù)據(jù)[4]。但非負約束會使隱特征分析過程進一步復(fù)雜化，這就提高了對優(yōu)化求解方法的要求[4]。針對該問題，重慶研究院大數(shù)據(jù)挖掘及應(yīng)用中心羅辛研究員及其研究團隊提出了一種恒定非負的高維稀疏矩陣隱特征分析方法。其主要思想是：1）將隱特征分析通過單特征依賴的建模形式，從目標高維稀疏矩陣轉(zhuǎn)移到其已知數(shù)據(jù)集合上，降低隱特征模型的空間和時間復(fù)雜度；2）引入單特征依賴、恒定非負的非線性函數(shù)，對非負約束的優(yōu)化過程進行松弛，將優(yōu)化決策過程與輸出隱特征分離，使優(yōu)化決策參數(shù)不再受非負約束，從而輸出隱特征恒定非負；3）參數(shù)優(yōu)化過程與通用優(yōu)化方法兼容。實驗結(jié)果表明，應(yīng)用該方法構(gòu)造的隱特征模型能恒定輸出非負的隱特征，對比現(xiàn)有非負預(yù)測模型，算法實現(xiàn)難度明顯降低，且能高效處理如社區(qū)發(fā)現(xiàn)和缺失值預(yù)測等知識發(fā)現(xiàn)任務(wù)[1, 2]。
相關(guān)研究成果均已發(fā)表：
[1] Xin Luo, Mengchu Zhou, Mingsheng Shang, Shuai Li, and Yunni Xia. A Novel Approach to Extracting Non-negative Latent Factors from Big Sparse Matrices [J]. IEEE Access, 2016, 4: 2649-2655.
[2] Xin Luo, Mingsheng Shang, and Shuai Li. Efficient Extraction of Non-negative Latent Factors from High-dimensional and Sparse Matrices in Industrial Applications [C]. IEEE International Conference on Data Mining 2016, Accepted.
[3] XinLuo, Mengchu Zhou, Yunni Xia, and Qingsheng Zhu. An Incremental-and-Static-Combined Scheme for Matrix-Factorization-Based Collaborative Filtering[J]. IEEE Trans. on Automation Science and Engineering, 2016, 13(1):333-343.
[4] Xin Luo, Mengchu Zhou, Shuai Li, Zhuhong You, Yunni Xia, and Qingsheng Zhu. A Non-negative Latent Factor Model for Large-scale Sparse Matrices in Recommender Systems via Alternating Direction Method[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27(3):524-537.
論文鏈接：
http://ieeexplore.ieee.org/document/7457202/?arnumber=7457202
http://ieeexplore.ieee.org/document/6883239/
http://ieeexplore.ieee.org/document/7112169/
中國科學(xué)院重慶綠色智能技術(shù)研究院 版權(quán)所有京ICP備05002857號渝公網(wǎng)安備50010943035號
