2023年AR眼鏡的兩種交互模式

AR眼鏡的兩種交互模式AUI，AugmentedUserInterface或AugmentedUserInteraction，是指有視覺或者的確深度信息的虛實(shí)結(jié)合的用戶所見界面。

在電腦最開頭消失的時(shí)候，鍵盤是它的輸入方式，然后鼠標(biāo)隨后而來。接著，隨著手機(jī)形態(tài)的到來和不斷進(jìn)展，我們從按鍵輸入到習(xí)慣了用手指直接觸碰屏幕界面。

到現(xiàn)在，觸碰屏的輸入已經(jīng)進(jìn)化到可以區(qū)分手指的數(shù)量和按壓的輕重，還有語音、遙控器、隔空手勢等。更多的交互模式正在隨著技術(shù)的進(jìn)展，進(jìn)入我們可設(shè)計(jì)的范圍。

可以看到，設(shè)備交互模式的設(shè)計(jì)與技術(shù)息息相關(guān)，比如你無法在一款沒有壓感屏幕的手機(jī)上選用以按壓輕重來進(jìn)行輸入的方式（3Dtouch功能）。

當(dāng)我們習(xí)慣了為手機(jī)或PAD設(shè)計(jì)應(yīng)用，就會習(xí)以為常的使用行業(yè)內(nèi)已知和通用的交互方式和設(shè)計(jì)樣式，將更多的精力聚焦到應(yīng)用詳細(xì)的場景和用戶的群體分類上，從而忽視當(dāng)時(shí)形成這些設(shè)計(jì)通識和規(guī)范的技術(shù)條件和終端設(shè)備形態(tài)。

誠然，場景定義和用戶群體依舊是設(shè)計(jì)交互時(shí)不行避開的考慮因素，然而在現(xiàn)今以AR眼鏡為設(shè)備的AUI設(shè)計(jì)里，我們不得不重新考慮技術(shù)條件和終端設(shè)備形態(tài)。

基于場景定義，我從使用者的角度將AR眼鏡的交互模式分為兩個(gè)大類：用手操作和非手操作。

一、用手操作

這是我們特別熟識的一類交互模式，屏幕UI的主要交互模式就是用手操作的，無論是通過手指敲打鍵盤、移動(dòng)鼠標(biāo)，還是用手滑動(dòng)屏幕、點(diǎn)擊圖標(biāo)，或者是用遙控器操作光標(biāo)，播放視頻，無疑都是需要用戶使用手來進(jìn)行操作的。

在AR眼鏡界面的設(shè)計(jì)中，使用可識別的手勢、眼鏡設(shè)備上的硬按鍵、額外配備的遙控器等，都被我歸類為用手操作的交互模式。

1.

手勢

在AR眼鏡的形態(tài)下使用手勢進(jìn)行交互是一種符合自然和習(xí)慣的交互模式，拿取東西、放置物品，我們?nèi)祟愄焐?xí)慣于用手和這個(gè)世界做交互，然而在AR眼鏡界面的設(shè)計(jì)中要使用手勢作為交互：

首先得保證這臺AR眼鏡具有手勢識別的功能，其次，也要考慮識別的效度、精度和準(zhǔn)度（見《AR設(shè)計(jì)師需要了解的6個(gè)技術(shù)點(diǎn)》）。

2.

按鍵/觸屏

正如手機(jī)會帶一些簡潔的硬按鍵一樣，有些AR眼鏡也會自帶一些按鍵或觸屏來支持用戶輸入。

比如我司自研的AR眼鏡上帶了三個(gè)硬按鍵，我們在系統(tǒng)層級上為單擊它們定義了確定、返回、息屏/亮屏的操作語義，在設(shè)計(jì)詳細(xì)的應(yīng)用時(shí)，也可以增加定義雙擊、長按等操作。

又比如Google最早的一代AR眼鏡，在眼鏡的一側(cè)增加了觸控板來支持用戶進(jìn)行輸入。

3.

遙控器

遙控器作為外接設(shè)備，也是供應(yīng)AR眼鏡界面可交互的一種方式。

這種交互比起上面兩種交互方式來說是最不簡單累的，由于手勢假如要被識別，需要抬高手臂讓你的手勢進(jìn)入AR眼鏡能看得見的地方，而按鍵和觸屏，由于它本身就在AR眼鏡上，你也必需抬起手臂讓手指能夠得著它們。

這樣兩種操作方式雖然可以給手臂做做運(yùn)動(dòng)，但總歸不是長久之計(jì)，使用遙控器就會舒適許多。對于人們來說，這也是一種特別熟識的交互方式，就像電視機(jī)遙控器一樣。

但它同樣也有缺點(diǎn)，就是你除了買一臺AR眼鏡，必需還得多付一個(gè)遙控器的錢，并且使用AR眼鏡的時(shí)候都得多帶一個(gè)它。遙控器這個(gè)方案我們也考慮過使用手機(jī)替代，那么缺點(diǎn)就是得額外下載一個(gè)專屬應(yīng)用。

另外，由于戴著AR眼鏡，再看手機(jī)屏幕并不是那么便利，需要考慮如何設(shè)計(jì)讓用戶在盲操作的狀況下依舊較為便利的使用手機(jī)屏幕作為遙控器。

二、非手操作

基于AR增加現(xiàn)實(shí)的特點(diǎn)，肯定會有這樣的場景，用戶雙手都在和現(xiàn)實(shí)世界互動(dòng)，無法同時(shí)在去用手來操作AR眼鏡里的界面，比如修理。

基于頭戴式設(shè)備的特點(diǎn)，首先介紹一個(gè)特別類似光標(biāo)的概念，叫做Gaze，翻譯為注視。

在上述用手操作的模式里其實(shí)也會用到它，不過有時(shí)候我們可以用上下左右或者不同手勢來區(qū)分不同的觸發(fā)對象，而在非手操作里，它就必不行少了。

在AR眼鏡里，這個(gè)類似于光標(biāo)的gaze點(diǎn)是在模擬用戶眼睛所看到的焦點(diǎn)，通常狀況下，用戶會在有進(jìn)一步意愿的目標(biāo)物上多看幾眼，不同于一般的看，而是注視（Gaze：alonglook，usuallyofaparticularkind），最簡潔的非手操作交互模式便是由此而來。

注視+讀秒

當(dāng)可交互對象被Gaze激活，且用戶選擇在特定時(shí)間內(nèi)保留這個(gè)激活狀態(tài)達(dá)到設(shè)定時(shí)間長度時(shí)，交互被確認(rèn)，界面自動(dòng)響應(yīng)此交互對象關(guān)聯(lián)的后續(xù)操作。

需要留意的是，上圖中的button指代全部可交互對象，真實(shí)或虛擬均可。

在實(shí)際的設(shè)計(jì)時(shí)，這個(gè)詳細(xì)的設(shè)定時(shí)間是一個(gè)難點(diǎn)，長了會讓用戶等待，短了又會引起誤觸，需要依據(jù)實(shí)際狀況進(jìn)行考量。這個(gè)關(guān)鍵點(diǎn)就是在推斷什么時(shí)候用戶是真的想交互而不是單純的看看，我之前寫過一個(gè)專利，在AR眼鏡中加入了腦電波的技術(shù)用于推斷一些簡潔的確認(rèn)命令，也是在探究技術(shù)進(jìn)展后我們可能會有的更聰慧的交互方式。

在AR設(shè)備里，注視依據(jù)技術(shù)水平的不同，可以區(qū)分為頭部注視和眼睛注視。

眼睛注視需要設(shè)備有眼動(dòng)跟蹤的力量，而頭部注視則一般設(shè)定顯示FOV中間為眼睛注視的焦點(diǎn)，通過頭部移動(dòng)帶動(dòng)位于顯示FOV中間的Gaze去移動(dòng)，這也是前面的D類窗口無法使用頭部注視與之交互的緣由，兩者均基于FOV移動(dòng)，相對位置基本不變。

通俗的說法就是，你動(dòng)它也動(dòng)，就是點(diǎn)不到。

除了注視和提交，語音也是非手操作里一個(gè)常用的交互方式，和在其他硬件設(shè)備上使用語音交互一樣，室外嘈雜環(huán)境和隱私性是它的一個(gè)難點(diǎn)。

另外，和手勢識別一樣，語音識別也