異構(gòu)大數(shù)據(jù)的機(jī)器學(xué)習(xí)挑戰(zhàn)

1、Tianjin University異構(gòu)大數(shù)據(jù)的機(jī)器學(xué)習(xí)挑戰(zhàn)異構(gòu)大數(shù)據(jù)的機(jī)器學(xué)習(xí)挑戰(zhàn)胡清華胡清華天津大學(xué)天津大學(xué) 計(jì)算機(jī)學(xué)院計(jì)算機(jī)學(xué)院2014-12-12Tianjin University異構(gòu)大數(shù)據(jù)的機(jī)器學(xué)習(xí)異構(gòu)大數(shù)據(jù)的機(jī)器學(xué)習(xí) 報(bào)告會(huì)報(bào)告會(huì)2014. 12.14，天津大學(xué) 25樓C412 白栓虎，社交媒體挖掘方法與技術(shù) 周明，微博的文本挖掘和情感分析 董軍宇，海洋大數(shù)據(jù)挖掘初探 陳松燦，復(fù)雜高維多視圖數(shù)據(jù)的相關(guān)分析 楊猛，Sparse Learning for Image classification 左旺孟，面向非凸稀疏和低秩模型的優(yōu)化算法 孟德宇，Easy Samples First:

2、 Self-paced Reranking for Zero-Example Multimedia Search 紀(jì)榮嶸，Structured, Discriminative, 3D Scene Parsing 吳飛，跨媒體深度學(xué)習(xí)及知識(shí)網(wǎng)絡(luò)構(gòu)建Tianjin University提提 綱綱 大數(shù)據(jù)的異構(gòu)特性大數(shù)據(jù)的異構(gòu)特性 異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題 人腦的多通道感知整合人腦的多通道感知整合 面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法 典型應(yīng)用典型應(yīng)用Tianjin University提提 綱綱 大數(shù)據(jù)的異構(gòu)特性大數(shù)據(jù)的異構(gòu)特性 異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)性

3、問(wèn)題 人腦的多通道感知整合人腦的多通道感知整合 面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法 典型應(yīng)用典型應(yīng)用Tianjin University大數(shù)據(jù)研究和發(fā)展計(jì)劃（2012年3月） 召開(kāi)了以大數(shù)據(jù)為主題的香山科學(xué)會(huì)議（2012年5月）；科技部、基金委將大數(shù)據(jù)分別列入973計(jì)劃和基金申請(qǐng)指南。 大數(shù)據(jù)和節(jié)能計(jì)算技術(shù)方案（2013年1月）開(kāi)放數(shù)據(jù)戰(zhàn)略（2011年11月）美國(guó)美國(guó) 英國(guó)英國(guó)歐盟歐盟 中國(guó)中國(guó) 新ICT戰(zhàn)略研究計(jì)劃（2012年7月）日本日本 大數(shù)據(jù)蘊(yùn)含的巨大價(jià)值引起了科技界、企業(yè)界和各國(guó)政府的高度重視，諸多國(guó)家和國(guó)際組織已將大數(shù)據(jù)研究提升到國(guó)家重大戰(zhàn)略層面。Tianjin

4、University6圖像視頻文本非結(jié)構(gòu)化多模態(tài)信息爆炸性增長(zhǎng)言語(yǔ) Tianjin University社交媒體數(shù)據(jù) 日平均活躍用戶數(shù)(DAU)為6660萬(wàn)，月平均活躍用戶數(shù)(MAU)為1.438億 月平均產(chǎn)生信息30多億條海量動(dòng)態(tài)微博內(nèi)容的深層語(yǔ)義理解；多粒度用戶興趣建模與用戶關(guān)系發(fā)現(xiàn)構(gòu)建基于多模態(tài)內(nèi)容深度語(yǔ)義分析與多粒度用戶關(guān)系挖掘的精準(zhǔn)社會(huì)化推薦系統(tǒng)。 Tianjin University 多模態(tài)異構(gòu)信息8Tianjin University太陽(yáng)活動(dòng)對(duì)深空探測(cè)、載人航天、衛(wèi)星運(yùn)行、電力網(wǎng)絡(luò)的安全有重要影響。SDO每秒以10個(gè)波段拍攝太陽(yáng)4096*4096分辨率的圖像，每天數(shù)據(jù)量為1.5T

5、。天文大數(shù)據(jù)：太陽(yáng)觀測(cè)數(shù)據(jù)挖掘Tianjin University疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛大規(guī)模性 疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛多模態(tài)性 疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛疲勞駕駛增長(zhǎng)性 l 用戶交互性強(qiáng)l 傳播速度快l 傳播行為復(fù)雜l 大數(shù)據(jù)往往呈現(xiàn)出大規(guī)模、多模態(tài)與快速增長(zhǎng)等特征，使得傳統(tǒng)的數(shù)據(jù)分析理論、方法與技術(shù)面臨可計(jì)算性、有效性與時(shí)效性等嚴(yán)峻挑戰(zhàn)

6、。文本音頻視頻圖片l 用戶多l(xiāng) 總量龐大l 分布廣l 數(shù)據(jù)分析的可計(jì)算性數(shù)據(jù)分析的有效性數(shù)據(jù)分析的時(shí)效性l 數(shù)據(jù)源多樣l 數(shù)據(jù)類型多樣l 交互方式多樣l 11o 2010,Nature: 文本、圖像、語(yǔ)音、視頻等多模態(tài)數(shù)據(jù)混合在一起,將成為未來(lái)信息表示的主要形式o 2011,Science組織“Dealing with Data”專輯：數(shù)據(jù)的組織和使用體現(xiàn)多模態(tài)特征多源異構(gòu)大數(shù)據(jù)不僅在互聯(lián)網(wǎng)環(huán)境涌現(xiàn)，而且廣泛出現(xiàn)在多源異構(gòu)大數(shù)據(jù)不僅在互聯(lián)網(wǎng)環(huán)境涌現(xiàn)，而且廣泛出現(xiàn)在醫(yī)療、醫(yī)療、金融，科研金融，科研, ,工業(yè)監(jiān)控工業(yè)監(jiān)控等領(lǐng)域等領(lǐng)域o 2014年973指南“大數(shù)據(jù)計(jì)算的基礎(chǔ)研究”：研究多源異構(gòu)大數(shù)

7、據(jù)的表示、度量和語(yǔ)義理解方法o 2014年863指南“媒體大數(shù)據(jù)內(nèi)容理解與智能服務(wù)”：實(shí)現(xiàn)異構(gòu)媒體的結(jié)構(gòu)化描述和語(yǔ)義協(xié)同提提 綱綱n大數(shù)據(jù)的異構(gòu)特性大數(shù)據(jù)的異構(gòu)特性n異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題n人腦的多通道感知整合人腦的多通道感知整合n面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法n典型應(yīng)用典型應(yīng)用Tianjin University傳統(tǒng)學(xué)習(xí)算法應(yīng)對(duì)多模態(tài)數(shù)據(jù)的挑戰(zhàn)傳統(tǒng)學(xué)習(xí)算法應(yīng)對(duì)多模態(tài)數(shù)據(jù)的挑戰(zhàn)KNN決策樹(shù)決策樹(shù)Linear SVMnonlinear SVM數(shù)值數(shù)據(jù)異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題圖像數(shù)據(jù)視頻數(shù)據(jù) 時(shí)間序列文本數(shù)據(jù)符號(hào)數(shù)據(jù)太陽(yáng)太陽(yáng)物理物理14如何提

8、取和統(tǒng)一表示不同模態(tài)數(shù)據(jù)中的有用信息是多模態(tài)數(shù)據(jù)知識(shí)發(fā)現(xiàn)面臨的重要科學(xué)挑戰(zhàn) Tianjin University多源信息融合 遷移 互補(bǔ) 異構(gòu)信息表達(dá) 建模 協(xié)同不確定信息模型 推理 決策15不同型號(hào)機(jī)組數(shù)據(jù)的共用相似型號(hào)機(jī)組信息的復(fù)用聲/光/電等多模態(tài)信息的全息利用不確定感知的近似推理混合數(shù)混合數(shù)據(jù)挖掘據(jù)挖掘異構(gòu)異構(gòu)大數(shù)據(jù)大數(shù)據(jù)異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題Tianjin University提提 綱綱 大數(shù)據(jù)的異構(gòu)特性大數(shù)據(jù)的異構(gòu)特性 異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題 人腦的多通道感知整合人腦的多通道感知整合 面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法 典型應(yīng)用

9、典型應(yīng)用Tianjin University我比語(yǔ)音識(shí)別器強(qiáng)Tianjin Universityp 認(rèn)知是為人類認(rèn)識(shí)客觀事物、獲得知識(shí)的活動(dòng)，包括知覺(jué)、記憶、學(xué)習(xí)、語(yǔ)言、思維和問(wèn)題解決等過(guò)程；p認(rèn)知科學(xué)是研究人類感知和思維對(duì)信息處理過(guò)程的科學(xué)人類感知和思維對(duì)信息處理過(guò)程的科學(xué)，包括從感覺(jué)的輸入到復(fù)雜問(wèn)題的求解，從人類個(gè)體到人類社會(huì)的智能活動(dòng)，以及人類智能和機(jī)器智能的性質(zhì)；p如何從復(fù)雜的信息碎片中提取知識(shí)，實(shí)現(xiàn)類似人腦的認(rèn)知與判從復(fù)雜的信息碎片中提取知識(shí)，實(shí)現(xiàn)類似人腦的認(rèn)知與判斷，發(fā)現(xiàn)新的關(guān)聯(lián)和模式，從而做出正確的決策斷，發(fā)現(xiàn)新的關(guān)聯(lián)和模式，從而做出正確的決策。p認(rèn)知計(jì)算的研究包括：自然的人機(jī)接

10、口；學(xué)習(xí)能力；探索式問(wèn)自然的人機(jī)接口；學(xué)習(xí)能力；探索式問(wèn)題求解能力題求解能力。p研究認(rèn)知的機(jī)理，建立認(rèn)知的模型，然后用計(jì)算機(jī)模擬人類認(rèn)知的過(guò)程來(lái)處理實(shí)際問(wèn)題是人工智能領(lǐng)域的重要課題，受到很多研究者的關(guān)注。Tianjin Universityp 視覺(jué)方面的研究已取得了大量成果視覺(jué)方面的研究已取得了大量成果視覺(jué)信息包括：亮度、形狀、顏色、運(yùn)動(dòng)和立體視覺(jué)等信息；六類神經(jīng)元(光感受器細(xì)胞、雙極細(xì)胞、神經(jīng)節(jié)細(xì)胞、水平細(xì)胞、無(wú)足細(xì)胞和網(wǎng)間細(xì)胞) 處理著最初的視覺(jué)信息初級(jí)視皮層內(nèi)神經(jīng)元分為兩大類：簡(jiǎn)單細(xì)胞/復(fù)雜細(xì)胞；簡(jiǎn)單細(xì)胞的感受野窄，復(fù)雜細(xì)胞的感受野大；形狀、顏色、運(yùn)動(dòng)和深度視覺(jué)信息在視覺(jué)系統(tǒng)內(nèi)的平行、分

11、級(jí)處理域。皮層中某個(gè)特別區(qū)域主管整個(gè)圖像綜合p 在聽(tīng)覺(jué)認(rèn)知方面：聽(tīng)覺(jué)認(rèn)知處理的早期階段決定大腦半球優(yōu)勢(shì)的因素是聲學(xué)特性，而不是聽(tīng)覺(jué)信號(hào)的功能；p 大腦如何整合視聽(tīng)覺(jué)信息尚不清楚？已知具有相互啟大腦如何整合視聽(tīng)覺(jué)信息尚不清楚？已知具有相互啟動(dòng)效應(yīng)動(dòng)效應(yīng)Tianjin UniversityBizley and Cohen. The what, where and how of auditory-object perception. NATURE, 2013超音段語(yǔ)音信號(hào)手勢(shì)表情聽(tīng)覺(jué)通道 內(nèi)容識(shí)別話者識(shí)別互補(bǔ)啟動(dòng)啟動(dòng)視覺(jué)通道多通多通道感知道感知如何通過(guò)融合多通道感知機(jī)理提升言語(yǔ)識(shí)別系統(tǒng)的能力?提提

12、綱綱 大數(shù)據(jù)的異構(gòu)特性大數(shù)據(jù)的異構(gòu)特性 異構(gòu)數(shù)據(jù)的挑異構(gòu)數(shù)據(jù)的挑戰(zhàn)戰(zhàn)性性問(wèn)題問(wèn)題 人腦的多通道感知整合人腦的多通道感知整合 面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法 典型應(yīng)用典型應(yīng)用Tianjin University多模態(tài)異構(gòu)數(shù)據(jù)的向量表示多模態(tài)異構(gòu)數(shù)據(jù)的向量表示Tianjin Universityo 多線索融合的描述符學(xué)習(xí)o 圖像/視頻動(dòng)作識(shí)別多模態(tài)異構(gòu)數(shù)據(jù)的向量表示多模態(tài)異構(gòu)數(shù)據(jù)的向量表示Tianjin Universityo 多媒體數(shù)據(jù)的結(jié)構(gòu)化表示多媒體數(shù)據(jù)的結(jié)構(gòu)化表示多模態(tài)異構(gòu)數(shù)據(jù)的向量表示多模態(tài)異構(gòu)數(shù)據(jù)的向量表示Tianjin Universityo面對(duì)圖像中異構(gòu)多模態(tài)

13、的局部特征屬性，如幾何屬性、顏色/紋理分布和方向梯度等，如何進(jìn)行有效利用和融合有效利用和融合以提升圖像識(shí)別性能Discriminative Graphlets（判別式（判別式Graphlets） Zhang, Han, Yang, et al. IEEE TIP, 2013多模態(tài)異構(gòu)數(shù)據(jù)的結(jié)構(gòu)化向量表示多模態(tài)異構(gòu)數(shù)據(jù)的結(jié)構(gòu)化向量表示Tianjin UniversitynJ. Chen, Y. Han, X. Cao, Q. Tian, Object Coding on the Semantic Graph for Scene Classification, ACM International

14、Conference on Multimedia (ACM Multimedia 2013) (CCF A)nY. Han, Y. Yang, X. Zhou. Co-Regularized Ensemble for Feature Selection, IJCAI, 2013 (CCF A)n 圖像場(chǎng)景中的語(yǔ)義上下文通過(guò)圖像場(chǎng)景中的語(yǔ)義上下文通過(guò)語(yǔ)義有向無(wú)環(huán)圖（語(yǔ)義有向無(wú)環(huán)圖（Semantic Semantic DAGDAG）進(jìn)行表達(dá)；構(gòu)建正則化回歸模型，通過(guò)進(jìn)行表達(dá)；構(gòu)建正則化回歸模型，通過(guò)路徑編碼（路徑編碼（Path Path CodingCoding）正則化項(xiàng)）正則化項(xiàng)將圖像場(chǎng)景間的語(yǔ)

15、義關(guān)聯(lián)約束加入回歸過(guò)將圖像場(chǎng)景間的語(yǔ)義關(guān)聯(lián)約束加入回歸過(guò)程。程。多模態(tài)異構(gòu)數(shù)據(jù)的表示多模態(tài)異構(gòu)數(shù)據(jù)的表示Tianjin UniversitynTao, Li, Hu, Maybank, and Wu. Supervised Tensor Learning. ICDM 05, 2014 10-Year ICDM Highest-Impact Paper AwardnHao, He, Chen, and Yang. A Linear Support Higher-Order Tensor Machine for Classification. IEEE TIP 2013nSignoretto, e

16、t al. Learning with tensors: a framework based on convex optimization and spectral regularization. Machine Learning, 2014 多模態(tài)異構(gòu)數(shù)據(jù)的張量表示多模態(tài)異構(gòu)數(shù)據(jù)的張量表示n多模態(tài)數(shù)據(jù)建模的關(guān)鍵問(wèn)題29符號(hào)數(shù)據(jù)符號(hào)數(shù)據(jù)數(shù)值數(shù)據(jù)數(shù)值數(shù)據(jù)時(shí)間序列時(shí)間序列文本數(shù)據(jù)文本數(shù)據(jù)圖像數(shù)據(jù)圖像數(shù)據(jù)視頻數(shù)據(jù)視頻數(shù)據(jù)多多 模模 態(tài)態(tài) 數(shù)數(shù) 據(jù)據(jù)科學(xué)問(wèn)題科學(xué)問(wèn)題-跨模態(tài)信息的集成跨模態(tài)信息的集成如何定義多模態(tài)數(shù)據(jù)的距離如何定義多模態(tài)數(shù)據(jù)的距離Tianjin UniversityBellet, Ha

17、brard, Sebban. A Survey on Metric Learning for Feature Vectors and Structured Data. Report, 2014異構(gòu)數(shù)據(jù)的距離學(xué)習(xí)異構(gòu)數(shù)據(jù)的距離學(xué)習(xí)Tianjin UniversityMcFee, Lanckriet. JMLR 12 (2011) 491-523Learning Multi-modal SimilarityTianjin UniversityMultiple Kernel Learning for Dimensionality Reduction32Tianjin UniversityZhang,

18、 Wang, Zhou, Yuan, Shen. NeuroImage 55 (2011) 856867 Tianjin UniversitySparse Representation for classification Tianjin UniversityShekhar, Patel,Nasrabadi, Chellappa. IEEE TPAMI, 2014Joint Sparse Representation for Robust Multimodal Biometrics RecognitionTianjin University 多模態(tài)深度學(xué)習(xí)多模態(tài)深度學(xué)習(xí)36Nigiam, Kh

19、olsa, Kim, Nam, Ng. Multimodal Deep Learning, ICML, 2011Srivastava, Salakhutdinov. Multimodal Learning with Deep Boltzmann Machines. NIPS 2012多模態(tài)異構(gòu)數(shù)據(jù)的表示和建模多模態(tài)異構(gòu)數(shù)據(jù)的表示和建模Tianjin UniversityOnline Multimodal Deep Similarity Learning with Application to Image RetrievalWu, Hoi, Xia, Zhao, Wang, Miao. ACM

20、MM, 2014Tianjin UniversityZhou, Hu, Liu, Jia. Combining Multi-modal Deep Neural Networks with Conditional Random Fields for Chinese Dialogue Act Recognition. Interspeech, 2014 序貫決策的多模態(tài)深度學(xué)習(xí)序貫決策的多模態(tài)深度學(xué)習(xí)智能大數(shù)據(jù)分析：智能大數(shù)據(jù)分析：多模態(tài)異構(gòu)數(shù)據(jù)的表示和建模多模態(tài)異構(gòu)數(shù)據(jù)的表示和建模Tianjin University提提 綱綱 大數(shù)據(jù)的異構(gòu)特性大數(shù)據(jù)的異構(gòu)特性 異構(gòu)數(shù)據(jù)的挑戰(zhàn)性問(wèn)題異構(gòu)數(shù)據(jù)的挑戰(zhàn)

21、性問(wèn)題 人腦的多通道感知整合人腦的多通道感知整合 面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法面向異構(gòu)數(shù)據(jù)的機(jī)器學(xué)習(xí)方法 典型應(yīng)用典型應(yīng)用Tianjin University言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片言語(yǔ)碎片互聯(lián)網(wǎng)使得知識(shí)發(fā)現(xiàn)可能變成群體行為通過(guò)互聯(lián)網(wǎng)環(huán)境言語(yǔ)碎片的深度利用，有可能提高從海量復(fù)雜數(shù)據(jù)中獲取知識(shí)的能力，可能加速科學(xué)與工程領(lǐng)域的創(chuàng)新步伐挑戰(zhàn)： 如何對(duì)互聯(lián)網(wǎng)環(huán)境的言語(yǔ)碎片信息進(jìn)行表示？ 如何從龐雜的言語(yǔ)碎片中挖掘其蘊(yùn)含的知識(shí)？Tianjin University中文言語(yǔ)深度理解言語(yǔ)多通道感知機(jī)理言語(yǔ)信息表示理論大規(guī)模語(yǔ)料庫(kù)及

22、標(biāo)注系統(tǒng)言語(yǔ)信息服務(wù)平臺(tái)與應(yīng)用驗(yàn)證多言語(yǔ)空間及其映射關(guān)系多言語(yǔ)口語(yǔ)識(shí)別多通道感知機(jī)理基于語(yǔ)境的中文言語(yǔ)信息計(jì)算模型言語(yǔ)行為計(jì)算理論Tianjin University全球近50%的居民所處環(huán)境中，每20萬(wàn)人口中只有 1名精神科醫(yī)生。（WHO, 2011）我國(guó)目前僅有2萬(wàn)多名精神科專科醫(yī)師，3.5萬(wàn)名護(hù)士。（衛(wèi)生部2012年10月10日新聞發(fā)布會(huì)實(shí)錄）醫(yī)療資源匱乏醫(yī)療資源匱乏隱私泄露問(wèn)題隱私泄露問(wèn)題怕遭歧視，不愿承認(rèn)自己患病且不愿尋求治療傾聽(tīng)傾聽(tīng)觀察觀察提問(wèn)提問(wèn)評(píng)定量表評(píng)定量表缺乏綜合的客觀量化指標(biāo)缺乏綜合的客觀量化指標(biāo)依賴于醫(yī)生面談及臨床量表，干擾因素多（醫(yī)生經(jīng)驗(yàn)水平、環(huán)境）。主觀隱瞞、怕遭歧視，重