人機交互前沿技術

人機交互前沿技術第一頁，共十三頁，2022年，8月28日多通道融合交互

(多通道人機交互)第二頁，共十三頁，2022年，8月28日多通道融合交互概念

(多通道人機交互)多個通道以自然、并行、協(xié)作的方式進行人機對話，通過整合來自多個通道的、精確的和不精確的輸入來捕捉用戶的交互意圖，提高人機交互的自然性和高效性。在多通道人機界面中，用戶可以使用自然的交互方式，如語音、手勢、表情等與計算機系統(tǒng)進行協(xié)同工作。人機交互方式向人與人的交互方式靠攏，交互的自然性和高效性得到極大的提高。第三頁，共十三頁，2022年，8月28日多通道人機交互目標關注用戶向計算機的輸入以及計算機對用戶意圖的理解（1）交互的自然性:使用戶盡可能多地利用已有的日常技能與計算機交互，降低認識負荷。（2）交互的高效性:使人機通訊信息交換吞吐量更大、形式更豐富，發(fā)揮人機彼此不同的認知潛力。第四頁，共十三頁，2022年，8月28日多通道人機交互的基本特點1.使用多個通道一種通道(如語音)不能充分表達用戶的意圖時，需輔以其它通道(如手勢指點)的信息；有時使用輔助通道以增強表達力。交替而獨立地使用不同的通道不是真正意義上的多通道技術，必須允許充分地并行、協(xié)作的通道配合關系。

第五頁，共十三頁，2022年，8月28日2.允許非精確的交互人類語言本身就具有高度模糊性,人類在日常生活中習慣于并大量使用非精確的信息交流。允許使用模糊的表達手段可以避免不必要的認識負荷，有利于提高交互活動的自然性和高效性。多通道人機交互技術主張以充分性代替精確性。第六頁，共十三頁，2022年，8月28日多通道人機交互關鍵技術----融合語音和手勢信息的融合是目前整合的主要問題。融合中的一個重要問題是歧義消除。處理好設備之間在時間響應上的差異。舉例語音+指點語音+唇讀語音+手勢語音+書寫第七頁，共十三頁，2022年，8月28日融合分類第八頁，共十三頁，2022年，8月28日一般來說，基于決策級的融合還可以分為三種類型：符號:每個模態(tài)的輸出僅僅為一個類別編號。如：投票法。排序:根據輸入對象屬于各個類別的可能性大小，每個通道的輸出為所有類別編號的一個排序。度量:輸出結果為測試對象屬于各個類別的置信度大小。如：加權平均、貝葉斯方法、模糊積分、D-S方法以及基于神經網絡的方法等。第九頁，共十三頁，2022年，8月28日基于模糊理論的融合算子

(FuzzySetBased)平均法。加權平均。其它乘積規(guī)則。最大與最小規(guī)則。第十頁，共十三頁，2022年，8月28日基于統(tǒng)計理論的貝葉斯方法 取最大后驗概率對應的類別作為融合后的結果，即第十一頁，共十三頁，2022年，8月28日基于證據理論的D-S融合方法基本概率賦值函數：信任函數與似然函數：[Bel(A),Pls(A)]反映了不確定度的范圍。在考慮分類器輸出不確定性測度的多分類器融合中，通過拒識置信度較低的樣本，能以較小的拒識率為代價來換取較高的識別率。1、D-S證據方法D-S正交和第十二頁，共十三頁，2022年，8月28日基于模糊積分多分類器融合在用模糊積分對多分類器融合時，積分域為分類器的集合，被積函數為從分類器得到的對象屬于各類別的置信度，積分結果為融合后系統(tǒng)對該類別的信任度。模糊積分已成為多分類器融合的有效手段。模糊積分中，要解決模