智能家居人機交互方案

1、在智能家居實驗室建設(shè)方案中，人機交互系統(tǒng)是一個相對比較獨立的系統(tǒng)。但它的運行即需要其他子系統(tǒng)的支持，同時也想高級服務(wù)提供依據(jù)。其中的主要交互設(shè)備有家居機器人、智能手機、移動平板、智能視機、健康設(shè)備、遙控器、計算機等。1家居機器人1.1人機交互技術(shù)在終端機器人中主要提供觸摸顯示和語音交互方式，并提供攝像頭擴展接口，利于更高層次的開發(fā)。觸摸顯示交互是多媒體技術(shù)交互方式的一種，其依托于7寸觸摸顯示屏進行操作界面的實現(xiàn)和用戶觸摸輸入。目前，在手機、平板等電子消費領(lǐng)域得到了非常廣泛的應(yīng)用。其有一個缺陷是，觸摸顯示屏安放在機器人的機體結(jié)構(gòu)中，屬于機器人的一部分，具體的使用過程不是特別方便。語音交互是本設(shè)計

2、中的重要部分，是終端機器人與其他家電設(shè)備最大的卻別。通過自然語言交流，一方面用戶可以非常方便的使用機器人進行家庭中各種設(shè)備的控制，另一方面其還能與老人對話，提供心理慰藉，或者用于幼齡兒童的教學(xué)。終端機器人中語音交互的方案采用科大訊飛語音云平臺進行高效開發(fā)。語音識別的過程為：在本地進行語音采集，將采集的信息發(fā)送到語音云端，本地接受來自云端的識別結(jié)果在，然后進行智能處理；語音合成的過程為：將要合成的文本發(fā)送到語音云端，云端將語音信息返回到本地進行播放?？拼笥嶏w云平臺只是提供具體的識別和合成，而怎么讓語音識別更智能化則需要進一步的研究。1.2系統(tǒng)硬件1.2.1整體架構(gòu)電子芯片技術(shù)的飛越發(fā)展，CPU處

3、理核心的處理和運算性能越來越強。基于最大化利用CPU能力、減少成本和降低系統(tǒng)能耗的思想，本設(shè)計采用單處理核心，由Cortex-A8（S5PV210）統(tǒng)籌系統(tǒng)的所有外設(shè)，進行設(shè)備控制和信息采集。對于外部設(shè)備，設(shè)備本身復(fù)雜程度以及傳輸方式、傳輸速率上均有不同，因此在對系統(tǒng)設(shè)備進行選型時盡量減少設(shè)備種類的復(fù)雜程度。系統(tǒng)框架中定義了2種設(shè)備總線：USB總線和IO數(shù)據(jù)總線。<A href="底層擴展系統(tǒng)主要用于傳感器數(shù)據(jù)采集、機器人動力系統(tǒng)控制以及情感控制，設(shè)備的類型和控制較為簡單。而上層Cortex-A8平臺則是在核心控制器的基礎(chǔ)上搭載觸摸顯示屏、用戶按鍵接口、音頻輸出以及USB類的攝

4、像頭、Wi-Fi適配器、藍牙適配器。整體的硬件架構(gòu)如圖1圖11.2.1 Cortex-A8與S5PV210ARM Cortex-A8 處理器是基于ARMv7-A體系結(jié)構(gòu)，其設(shè)計主要面向高性能和低功耗。目前，其突出的優(yōu)勢已經(jīng)得到了市場的認可，在智能手機、機頂盒、數(shù)字電視、打印機等終端設(shè)備中具有廣泛的應(yīng)用。Cortex-A8處理器的主要特點如下：1）128 位SIMD 引擎支持高性能媒體處理（NEON）；2）優(yōu)化的1 級高速緩存和集成的2 級高速緩存；4）Thumb-2 技術(shù)，提高性能并節(jié)省指令存儲空間；5）動態(tài)分支預(yù)測，降低分支錯誤預(yù)測的危害；6）完整的內(nèi)存管理單元（MMU）；7）Jazelle

5、-RCT技術(shù)優(yōu)化即時生產(chǎn)(JIT) 和動態(tài)自適應(yīng)編譯(DAC)；8）高功效和高性能的內(nèi)存系統(tǒng)；Mini210s開發(fā)板以Cortex-A8的S5PV210為核心控制器。S5VP210是一款高效率、高性能、低功耗的32為RISC處理器，其適用于智能手機和平板電腦等智能終端。S5PV210在Cortex-A8的基礎(chǔ)上拓展了多媒體方面的性能，其包含很多強大的硬件編解碼功能，內(nèi)置MFC（Multi Format Codec）、高性能PowerVR SGX540 3D圖形引擎和2D圖形引擎、IVA3硬件加速器、HDMIv1.3等多媒體相關(guān)的處理模塊。S5PV210采用584引腳的FCFBGA封裝，具有豐富

6、的外圍接口如TFT LCD控制器、攝像頭接口、MIPI DSI、ATA接口、UART、24通道DMA、定時器、<A href=" GPIO、USB Host 2.0、USB 2.0 OTG等。S5PV210同時具有豐富的高質(zhì)量的外部存儲接口，其DRAM支持LPDDR1、DDR2、LPDDR2，F(xiàn)lash/ROM支持NAND Flash、NOR-Flash、SRAM等。S5PV210芯片結(jié)構(gòu)圖如圖2所示。圖2 S5PV210芯片結(jié)構(gòu)圖1.2.2 Mini210s開發(fā)平臺Mini210s是一款高性能高性價比的Cortex-A8開發(fā)板，搭載三星S5PV210處理器，運行主頻可高達1G

7、Hz，同時集成PowerVR SGX540高性能圖形引擎。<A href=" Mini210s開發(fā)板配備了512M DDR2內(nèi)存和4G MLC NAND Flash，其外部應(yīng)用接口非常豐富如WM8960音頻芯片、miniHDMI高清輸出、USB2.0、CMOS攝像頭、SDIO、矩陣鍵盤等接口（詳見圖4-15），其電源電路也支持低功耗待機省電模式。該款開發(fā)板提供開源的Android2.3.1系統(tǒng)源碼以及Linux kernel源碼，方便用戶進行二次開發(fā)。同時其還提供方便易使用的開發(fā)板燒寫工具Superboot，縮短了系統(tǒng)開發(fā)周期。根據(jù)終端系統(tǒng)功能設(shè)定要求，Mini210s開發(fā)板的

8、板載資源主要使用電阻觸摸顯示、USB OTG接口、音頻接口三個部分。電阻觸摸顯示接口與7寸一線精準電阻觸摸顯示屏連接，實現(xiàn)Android系統(tǒng)操作界面的顯示和觸控操作的檢測。WiFi、藍牙、USB攝像頭等設(shè)備通過與USB HOST接口連接的USB Hub完成基于USB設(shè)備的設(shè)備擴展。音頻部分采用I2S0接口，外接WM8960 CODEC解碼芯片，提供聲音輸入和speaker輸出（內(nèi)置D類功放，能直接連接81W揚聲器）功能。圖3 Mini210s接口布局1.3服務(wù)內(nèi)容1.3.1 機器人動作及情感表達圖4 小優(yōu)機器人的動作和情感是其與其他家居設(shè)備的最重要的區(qū)別，能夠?qū)崿F(xiàn)更好的人機交互模式。機器人的動

9、作主要包括2類，機器人的正常行走和頭部運動。行走控制是在2輪輪系結(jié)構(gòu)上通過控制直流電機實現(xiàn)，機器人可以靈活地進行前進、后退、左右轉(zhuǎn)等動作。頭部運動主要包含了抬頭和扭頭的動作，2個自由度均通過直流電機實現(xiàn)。機器人相關(guān)動作作為服務(wù)發(fā)布到智能家居服務(wù)網(wǎng)關(guān)，其他終端可以通過網(wǎng)關(guān)或者直接網(wǎng)絡(luò)連接實現(xiàn)機器人的動作控制。機器人的情感表達是機器人智能性的核心體現(xiàn)。其表現(xiàn)途徑主要有三個方面：LED情感輸出、機械動作以及語音，通過三者的結(jié)合向用戶立體地呈現(xiàn)了具體情感。3.2.2 網(wǎng)絡(luò)接入網(wǎng)絡(luò)是物聯(lián)網(wǎng)的核心基礎(chǔ)之一，是物聯(lián)網(wǎng)終端的基本特征。物聯(lián)網(wǎng)終端工作的環(huán)境為一個家庭，其面積通常在幾十到幾百個平方米，因此在選擇通

10、信介質(zhì)時需要選擇覆蓋面積較大、信號穿透力強的網(wǎng)絡(luò)通信方式。再則該終端在家庭中大多數(shù)情況出于運動狀態(tài)，通信介質(zhì)應(yīng)選取無線類型的。目前，消費市場流行的短距離無線通信方式主要有藍牙和WiFi。藍牙和WiFi技術(shù)都是工作在全球通用的2.4GHz ISM頻段，有效解決了移動終端設(shè)備之間以及與Internet的通信。一般藍牙技術(shù)的有效通信距離為10m，新的藍牙標準4.0能夠達到100m以上的超長距離。WiFi的有效通信距離則在幾十米，發(fā)射功率足夠大的情況下能達到100m以上，足夠覆蓋整個家庭環(huán)境。另外，藍牙的傳輸速率較低，如果處理視頻類的數(shù)據(jù)時會出現(xiàn)延遲問題。因此，設(shè)計中使用WiFi作為機器人的網(wǎng)絡(luò)通信介

11、質(zhì)，連接局域網(wǎng)以及互聯(lián)網(wǎng)。為了方便WiFi模塊的驅(qū)動移植，設(shè)計中選擇的USB接口WiFi模塊EDUP EP-8508GS。其采用REALTEK8188cus芯片，使用802.11n無線傳輸技術(shù)，傳輸速率高達150Mbps，內(nèi)置高精密天線，傳輸穩(wěn)定。另外，藍牙通信在智能設(shè)備如手機、醫(yī)療健康類設(shè)備等中應(yīng)用廣泛，為了支持此類設(shè)備，終端系統(tǒng)使用USB接口的藍牙適配器提供藍牙通信通道。3.2.3 智能家居應(yīng)用在具體的家居環(huán)境中，物聯(lián)網(wǎng)終端一方面作為設(shè)備對外發(fā)布自己的服務(wù)，如動作相關(guān)服務(wù)、視頻服務(wù)等（可以根據(jù)具體的需求對其進行擴展），其他終端設(shè)備可以通過網(wǎng)絡(luò)方式對其進行服務(wù)調(diào)用，另一方面終端能夠通過網(wǎng)關(guān)調(diào)

12、用其他設(shè)備所提供的服務(wù)，例如家電控制的實現(xiàn)。服務(wù)調(diào)用的實現(xiàn)依托于家庭環(huán)境中的網(wǎng)絡(luò)環(huán)境，主要有2種模式：服務(wù)器模式和直接連接模式。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。 服務(wù)器模式依托于現(xiàn)有的家居PC網(wǎng)關(guān)，家居環(huán)境中的各種設(shè)備與服務(wù)器網(wǎng)關(guān)進行連接，網(wǎng)關(guān)對設(shè)備統(tǒng)一進行管理。當需要控制其他設(shè)備時，設(shè)備從網(wǎng)關(guān)獲取控制方式并將控制請求發(fā)送到網(wǎng)關(guān)，網(wǎng)關(guān)接受到請求后先判斷目標設(shè)備正常后將控制請求發(fā)送到目標設(shè)備，目標設(shè)備接收請求并依情況進行響應(yīng)。服務(wù)器模式優(yōu)點是能夠?qū)υO(shè)備進行統(tǒng)一管理，設(shè)備可以動態(tài)增減，但整體結(jié)構(gòu)比較復(fù)雜，給家居環(huán)境增加了額外的設(shè)備開銷。直接連接模式中各設(shè)備通過網(wǎng)絡(luò)直接通過物理通信方式發(fā)送控制指令和數(shù)據(jù)直

13、接到達被控設(shè)備。由于直接連接模式?jīng)]有網(wǎng)關(guān)對設(shè)備進行統(tǒng)一管理，所以在網(wǎng)絡(luò)環(huán)境中必須對設(shè)備列表進行固化，不能實現(xiàn)設(shè)備的動態(tài)添加。但此種模式技術(shù)實現(xiàn)簡單而且沒有額外開銷。圖3智能家居網(wǎng)絡(luò)結(jié)構(gòu)圖物聯(lián)網(wǎng)終端機器人對兩種網(wǎng)絡(luò)環(huán)境都提供支持。智能家居控制時，終端通過WebService協(xié)議與網(wǎng)關(guān)通信，實現(xiàn)具體設(shè)備的控制。同時終端也可以通過Wifi與家電控制終端直接連接，終端機器人通過socket通信傳遞控制指令，家電控制終端通過Wifi轉(zhuǎn)RS232模塊將socket信息轉(zhuǎn)化為串口數(shù)據(jù)，處理模塊接收控制指令后進行相應(yīng)操作。終端機器人作為設(shè)備時，建立網(wǎng)絡(luò)監(jiān)聽，接受相應(yīng)的控制信息即可進行響應(yīng)3.2.5 智能提醒及

14、應(yīng)用擴展 人到老年后隨著年齡的增加記憶力不斷退化，往往會出現(xiàn)遺忘需要完成的事情或者是忘記吃藥等現(xiàn)象。針對這一老年人的實際需求，物聯(lián)網(wǎng)終端機器人具有智能提醒的功能。用戶根據(jù)需要通過語音命令或者設(shè)置界面進行事件的設(shè)定，設(shè)置內(nèi)容主要包括時間和事件內(nèi)容，當?shù)竭_預(yù)定時間時機器人將進行相關(guān)時間的語音提示并在Android系統(tǒng)窗口推送時間提醒消息。 智能提醒服務(wù)主要是基于時間、時間提醒的應(yīng)用，針對老人的心理慰藉問題也可以開發(fā)語音相關(guān)治療軟件。事實上，Android系統(tǒng)擁有非常龐大的應(yīng)用APP商店，涵蓋了健康、保健、娛樂、教育等多個方面，用戶根據(jù)自身的需求對應(yīng)用程序進行定制，而且應(yīng)用商店中的絕大多數(shù)軟件都是可

15、以免費使用的。對于一些專有性較強的應(yīng)用，開發(fā)者根據(jù)具體的需求使用過Android SDK以及相關(guān)工具即可開發(fā)。而且其上層應(yīng)用開發(fā)幾乎完全與底層硬件相獨立，大大縮小了開發(fā)難度。也正是由于強大的應(yīng)用商店庫和高效開發(fā)性，終端機器人實現(xiàn)選擇搭載Android操作系統(tǒng)。2智能手機2.1 智能手機的人機交互方式 智能手機作為物聯(lián)網(wǎng)家居中的一個重要的智能終端，在人機交互上有多種體現(xiàn)方式。常見的就有感應(yīng)器、觸摸屏、物理按鍵、加速度感應(yīng)器、環(huán)境光線感應(yīng)器、距離感應(yīng)器、陀螺儀、指南針、GPS、攝像頭、時鐘、錄音以及常規(guī)的數(shù)據(jù)輸入口（2/3/4G數(shù)據(jù)、WIFI、藍牙、數(shù)據(jù)線）。（1）觸摸屏 觸摸屏是大家所

16、熟知的命令輸入設(shè)備，已經(jīng)發(fā)展出全套的多手指手勢，用于自然的命令輸入。在智能手機上使用的最多的是點擊、長按、橫滑、拖動，以單指手勢為主。兩指以上的手勢并不太適合手機，因為常見的持機方式是單手持機。多指手勢比較適合平板電腦。（2）傳感器現(xiàn)在的移動操作系統(tǒng)都提供了對傳感器的支持，如果硬件設(shè)備提供了這些傳感器，目前支持的傳感器有加速度傳感器、光線傳感器、壓力傳感器、方向傳感器、磁場傳感器、溫度傳感器等，通過這些傳感器，用戶可以很方便的獲得手機的運行狀態(tài)、當前的擺放方向、外界的磁場、溫度和壓力等。（3）GPS 最直接的用途是在地圖應(yīng)用中調(diào)取當前位置，在LBS服務(wù)中獲得POI點名稱。不過Nike

17、 Running將其用于記錄跑步的路徑，也是一種比較有趣的拓展。（4）攝像頭  攝像頭其實是一種非常強大的信息獲得設(shè)備。二維碼在O2O領(lǐng)域的巨大潛力已經(jīng)被微信攪起來了。之前一種頗為神奇的用途就是被heart rate通過拍攝手指血管來測量心律。其他的用途還有人臉身份識別、計算機視覺的手勢識別、物體追蹤等等。 （5）錄音  錄音是一種長期被忽略的人機交互方式，發(fā)現(xiàn)它潛力的人則創(chuàng)造了非常神奇的交互方式。比如  Square用它作為信用卡刷卡信息的輸入口；  一些游戲用它模擬一些“吹一吹”的效果；  Chirp利用聲音傳遞身份識別碼，用以在手機間傳遞

18、文件；此外，隨著移動智能終端設(shè)備的發(fā)展，人機交互的方式也日益多元化。Mirage Table：真人與虛擬影像的互動由微軟推出的Mirage Table（幻影桌面）是一項頗為神奇的技術(shù)，它將兩臺3D投影儀、Kinect體感監(jiān)測儀、3D眼鏡以及人的動作結(jié)合在一起，打造出一個真人和影像互動的效果。通過MirageTable，人們的所有動作都會被Kinect捕捉并轉(zhuǎn)化稱3D影像，然后和已有的3D物品進行交互，比如用手移動影像中的多米諾骨牌、皮球等。同時一個實體物品可以通過虛擬影像復(fù)制出多個，也可以將移動虛擬物品到任何位置。用戶只需要佩戴3D眼鏡就可以看到MirageTable上3D投影的圖像。曲面設(shè)計

19、可以讓操作者通過投影儀來與虛擬畫面實現(xiàn)互動交流，就像打保齡球一樣?！癕irageTable”還可以實現(xiàn)人與人之間的雙向?qū)懽?，通過Miragetable，兩個操作者不僅可以看到對方并談話，而且一個人可以與視頻中另一個人的虛擬對象進行互動交流，甚至可以“觸摸”虛擬對象。還可以一起下象棋、搭積木，甚至研究一些比較復(fù)雜的項目方案等。如果說AR（增強現(xiàn)實）技術(shù)可以在現(xiàn)實的基礎(chǔ)上模擬出虛擬場景，讓人進入虛擬版的現(xiàn)實世界，那么Mirage Table則可以將用戶帶入一個虛擬的世界，想象一下，如果未來所有的網(wǎng)絡(luò)游戲都可以將用戶融入其中，在虛擬環(huán)境下直接操作，使用新奇的裝備，實現(xiàn)驚艷的特效，世界將會變得多么神奇

20、！基于Kinect的操控創(chuàng)新微軟推出的Xbox 360體感外設(shè)Kinect很受用戶歡迎，但是它的意義并不僅僅是游戲外設(shè)，而在于對人機交互方式的探索和創(chuàng)新。正因為如此，Kinect技術(shù)才能被廣泛應(yīng)用到其他創(chuàng)新產(chǎn)品之中，成為智能人機交互的經(jīng)典產(chǎn)品。國外一家專注于人機交互技術(shù)的創(chuàng)業(yè)公司3Gear Systems利用微軟Kinect技術(shù)，推出了SDK包，能夠幫助開發(fā)者將手勢動作反饋到應(yīng)用軟件之中。這套系統(tǒng)可以幫助3D建模人員更方便快捷地對模型進行拼裝操作，操作過程可以在普通顯示器之上呈現(xiàn)。開發(fā)者只需要購買Kinect傳感器和固定裝置就可以在這款SDK包的基礎(chǔ)上，設(shè)計新的APP產(chǎn)品。Kinect的作用還

21、不止于此。Oblong實驗室近期公布了一項科研成果，它將Kinect與Xbox上的IE瀏覽器結(jié)合起來，脫離鼠標來操作電腦屏幕，能夠?qū)崿F(xiàn)一系列復(fù)雜的操作，例如拖動、擺放屏幕上的個體，對三維模型進行旋轉(zhuǎn)、縮放，進行復(fù)雜的命令操作，或者用手機、平板或遙控器來控制大屏幕，甚至可以多人玩游戲、通過手勢控制飛行器，在多個屏幕之間進行無縫切換等。微軟研究院聯(lián)合華盛頓大學(xué)也研發(fā)出了一種名為SoundWave的系統(tǒng)，該系統(tǒng)可利用計算機內(nèi)置的麥克風(fēng)和揚聲器，提供與Kinect類似的對象識別及手勢識別功能。SoundWave將計算機的內(nèi)置揚聲器用做超聲波（18-22KHz）發(fā)射源，其頻率會隨著你的手或身體的位置的變

22、化而變化。然后，計算機的內(nèi)置麥克風(fēng)會測量這一頻率變化，并把參數(shù)告訴一套相當復(fù)雜的軟件，由該軟件計算出手勢和動作。語音交互的行業(yè)應(yīng)用蘋果于2010年花2億美金親自將Siri收購，并將其深度融入到iPhone 4S中。Siri 和手機緊密結(jié)合，可以極大提升設(shè)備的操作簡易性、環(huán)境適應(yīng)性和真正意義上的智能性。實際上，不僅僅是Apple自己的iPad、 iTV和車載設(shè)備，所有未來所謂的智能設(shè)備都將會使用Siri的模式。但是智能人機交互技術(shù)在行業(yè)的應(yīng)用中，還存在一些不足。以語音交互為例，傳統(tǒng)語音交互涉及的主要技術(shù)包括語音識別和語音合成等都已經(jīng)比較成熟。在多年以前，IBM 的語音識別軟件在 PC 上就有不錯

23、的識別率了，而微軟名為Tellme的項目也持續(xù)了多年。然而，即使達到100%的準確率，僅限于輸入識別功用的語音識別不能代表智能人機交互的真正意義，它并不是革命性的。要實現(xiàn)完美的人機交互，語音技術(shù)就必須跟人工智能技術(shù)結(jié)合起來?，F(xiàn)在以語音方式為主的人機交互系統(tǒng)目前主要應(yīng)用在如呼叫中心的IVR系統(tǒng)、智能手機等終端中的語音撥號，短信朗讀、車載語音導(dǎo)航系統(tǒng)等。但普遍存在交互模式比較機械固定（以聲控命令為主）、用戶體驗一般、交互過程繁瑣等問題。2.2 智能手機的市場現(xiàn)狀當前市場上主流的移動操作系統(tǒng)平臺有Andorid、iOS、Windows Phone。互聯(lián)網(wǎng)數(shù)據(jù)中心（International Data

24、 Corporation，IDC）近日公布了全球最新的智能手機市場份額數(shù)據(jù)，從數(shù)據(jù)表格中我們可以看到Android開始占據(jù)超過大半的江山。并且根據(jù)IDC對未來5年智能手機市場的預(yù)測，到2016年Android的市場份額仍將占到一半以上，到時候Microsoft的市場份額（Windows Phone and Windows Mobile）將會有一個大幅度的提升，將占到19.2%。智能手機操作系統(tǒng)（Smartphone Operating System）2012年市場份額2016年市場份額20122016 復(fù)合年增長率Android61.0%52.9%9.5%Windows Phone 7/Win

25、dows Mobile5.2%19.2%46.2%iOS20.5%19.0%10.9%BlackBerry OS6.0%5.9%12.1%Others7.2%3.0%-5.4%Total100.0%100.0%12.7%表1 智能手機操作系統(tǒng)2012年2016年市場份額變化情況2.2.1 iOS蘋果iOS是由蘋果公司開發(fā)的手持設(shè)備操作系統(tǒng)，2007年1月10正式發(fā)布，最初是設(shè)計給iPhone使用的，后來陸續(xù)套用到iPod touch、iPad、以及Apple TV等蘋果產(chǎn)品上。它是以Darwin為基礎(chǔ)的，因此同樣屬于類Unix的商業(yè)操作系統(tǒng)。iOS的系統(tǒng)結(jié)構(gòu)分為以下四個層次：核心操作系統(tǒng)（th

26、e Core OS layer），核心服務(wù)層（the Core Services layer），媒體層（the Media layer），Cocoa觸摸框架層（the Cocoa Touch layer）。但iOS是一套封閉性很強的系統(tǒng)，不開源，其他公司無法使用它的系統(tǒng)，并且在可以預(yù)見的將來，其也將始終保持封閉的狀態(tài)，不支持第三方軟件的運行，在很大程度上限制了各類軟件在iOS上的開發(fā)、安裝和使用，給用戶帶來極大的不便。優(yōu)點：（1）具有極高的穩(wěn)定性和安全性；（2）Apple Store中應(yīng)用程序數(shù)量多；（3）操控性極高的點觸式用戶界面，可以給帶來很好的用戶體驗；（4）具有與其它操作系統(tǒng)的高度協(xié)作

27、性，支持多種磁盤卷格式，符合各種現(xiàn)有和發(fā)展中的標準。缺點：（1）不支持第三方軟件的運行；（2）不支持Flash，支持多媒體格式較少；2.2.2 Windows Phone2010年10月12日，微軟正式發(fā)布Windows Phone 7智能操作系統(tǒng)。2012年6月21日，微軟正式發(fā)布最新手機操作系統(tǒng)Windows Phone 8 , Windows Phone 8將采用和Windows 8相同的內(nèi)核。作為微軟重新打造的新一代智能終端平臺，Windows Phone采用了與過去Windows Mobile完全不同的屏幕主頁和用戶界面，為用戶帶來全新的操作體驗。Windows Phone的用戶界面

28、以及交互模式均是以廣受好評的Zune HD高清播放器為基礎(chǔ)而設(shè)計的。在操作性能方面，Windows Phone操作系統(tǒng)重視用戶的實際使用效率。它的整個界面簡潔實用，使用了較大的、圖形化的字體，短信數(shù)量和未接來電數(shù)量都直接顯示在主屏上。在產(chǎn)品方面，Windows Phone與微軟其他產(chǎn)品聯(lián)系緊密，通過與各類面向企業(yè)及消費者的產(chǎn)品進行整合，豐富了自身的產(chǎn)品資源，同時極大地拓展了業(yè)務(wù)范圍。在個人電腦世界，微軟的Windows是獨一無二的王者，在移動世界，微軟也一直有著稱王的野心。從Windows CE到Windows Mobile，再到今天的Windows Phone，微軟一直在努力，效果卻不理想。

29、非但沒用超越智能操作系統(tǒng)的老牌王者Symbian，反而被Android、iOS這些新星擠在身后。Windows Phone相對于微軟以前的系統(tǒng)如Windows CE和Moblie，可謂是做了徹底性的改變，摒棄了以前系統(tǒng)臃腫和多層菜單操作的方式，采用了桌面定制、圖標拖拽、滑動控制等方式。雖然上市較晚，市場占有率很低，但是憑借微軟強大的技術(shù)開發(fā)實力、個人電腦世界龐大的用戶群、以及和老牌手機王者諾基亞的合作，讓人對它的前景不敢小視。最近，諾基亞、三星、HTC等主流手機廠商也推出了一些基于Windows Phone的智能手機。說明各大手機制造商還是對微軟的技術(shù)實力看好，Windows Phone系統(tǒng)在

30、未來的移動市場中大有潛力。優(yōu)點：（1）應(yīng)用開發(fā)難度低，UI界面友好；（2）預(yù)裝軟件豐富，便于熟悉個人電腦的用戶操作；（3）云計算技術(shù)優(yōu)勢；缺點：（1）對硬件平臺要求較高；（2）目前應(yīng)用程序較少。2.2.3 AndroidAndroid是由Google公司牽手30多家公司成立的“開放手機聯(lián)盟”共同研發(fā)的，基于Linux平臺的開源移動操作系統(tǒng)，由操作系統(tǒng)、中間件、用戶界面和應(yīng)用軟件組成，號稱是首個為移動終端打造的真正開放和完整的移動軟件。優(yōu)點：（1）開放性。Android是由Google公司牽手30多家公司成立的“開放手機聯(lián)盟”共同研發(fā)的，這些全球各地的手機制造商和移動運營商都將基于該平臺開發(fā)手機

31、的新型業(yè)務(wù)，應(yīng)用之間的通用性和互聯(lián)性將在最大程度上得到保證，而且開發(fā)商也會得到新的開放級別，更方便的進行協(xié)同合作。（2）應(yīng)用程序無界限。Android上的應(yīng)用程序可以通過標準API訪問核心移動設(shè)備功能，通過互聯(lián)網(wǎng)，應(yīng)用程序可以聲明它們的功能可供其它應(yīng)用程序使用。（3）應(yīng)用程序是在平等的條件下創(chuàng)建的。移動設(shè)備上的應(yīng)用程序可以被替換或者擴展，即使是撥號程序這樣的核心組件。（4）應(yīng)用程序可以輕松的嵌入網(wǎng)絡(luò)。應(yīng)用程序可以輕松的嵌入HTML、JavaScript和樣式表，還可以通過WebView顯示HTML文件或是網(wǎng)絡(luò)內(nèi)容。（5）Google網(wǎng)絡(luò)服務(wù)的支持。擁有強大的Google的網(wǎng)絡(luò)服務(wù)支持，如Goo

32、gleTalk、Gmail、Google Map等，基于這些服務(wù)和龐大客戶群的支持，大大擴展了開發(fā)者的設(shè)計空間。缺點：（1）Dalvik VM對于硬件的配置要求較高，在進行應(yīng)用程序開發(fā)時硬件成本同其它開發(fā)環(huán)境相比還是比較高的。（2）Google為了平臺的安全性設(shè)置了較多的權(quán)限控制，導(dǎo)致任務(wù)管理器、模擬按鍵、屏幕截圖、短信防火墻等類似功能的實現(xiàn)都較為困難、步驟繁瑣。移動操作系統(tǒng)iOSWindows PhoneAndroid發(fā)行商AppleMicrosoftGoogle應(yīng)用商店App storeWindows Phone MarketplaceGoogle Play應(yīng)用程序數(shù)量500000+100

33、000+450000+全球市場占有率2012 Q123%2.2%59%目前最新版本iOS 6Windows Phone 8Android 4.1最初發(fā)布時間2007年6月2010年10月2008年9月內(nèi)核類型DarwinWindows CE6.0R3/7.0Linux源碼模式封閉式封閉式開放式開放者權(quán)限開放度低需要證書支持高度開發(fā)開發(fā)語言O(shè)bject-CC#JavaNative開發(fā)支持不支持支持地圖支持第三方第三方Google Map表2 移動操作系統(tǒng)的比較2.3 移動平臺開發(fā)技術(shù)-以Android為例2.3.1 Android體系結(jié)構(gòu)Android體系結(jié)構(gòu)分為四層，從高到低分別是應(yīng)用層、應(yīng)用

34、程序框架層、函數(shù)庫和運行時環(huán)境層、Linux內(nèi)核層。如下圖所示:圖3.1 Android體系結(jié)構(gòu)31（1）Linux內(nèi)核層Android基于Linux核心提供安全、內(nèi)存管理、進程管理、網(wǎng)絡(luò)協(xié)議棧、驅(qū)動模型等核心系統(tǒng)服務(wù)。Linux Kernel也是系統(tǒng)硬件和軟件疊層之間的抽象層，隱藏了具體硬件細節(jié)，并為上層提供統(tǒng)一的服務(wù)。（2）函數(shù)庫和運行時環(huán)境層函數(shù)庫包含了一個運行于Kernel之上的C/C+庫的集合，供Android系統(tǒng)的各個組件使用，這些功能通過應(yīng)用程序框架暴露給開發(fā)者，這些函數(shù)庫包括：系統(tǒng)C庫：C語言的標準庫，也是系統(tǒng)中一個最為底層的庫，是通過Linux的系統(tǒng)調(diào)用來實現(xiàn)的。多媒體框架：

35、是Android多媒體的核心部分。SGL：2D圖像引擎。SSL：即Secure Socket Layer位于TCP/IP協(xié)議與各種應(yīng)用層協(xié)議之間，為數(shù)據(jù)通訊提供安全支持。OpenGL ES1.0：提供對3D的支持。界面管理工具（Surface Management）：提供對管理顯示子系統(tǒng)等功能。SQlite：一個通用的嵌入式數(shù)據(jù)庫。WebKit：網(wǎng)絡(luò)瀏覽器的核心。FreeType：位圖和矢量字體的功能。Android運行時由兩部分組成：Android核心庫和Dalvik虛擬機。其中核心庫提供了Java語言核心庫所能使用的絕大部分功能，而虛擬機則負責運行Android應(yīng)用程序。Dalvik是基于

36、寄存器的虛擬機，它經(jīng)過了優(yōu)化，使得一個設(shè)備可以高效地運行多個實例，因此Android系統(tǒng)可以方便地實現(xiàn)對應(yīng)用程序進行隔離。（3）應(yīng)用程序框架層應(yīng)用程序框架提供用于創(chuàng)建Android應(yīng)用的類。它還提供了一個訪問硬件的通用抽象接口，并能管理用戶界面和應(yīng)用程序資源。通過開放平臺，Android開發(fā)者能夠編寫極其豐富的應(yīng)用程序。開發(fā)者可以自由地利用設(shè)備硬件優(yōu)勢，訪問位置信息、運行后臺服務(wù)、設(shè)置鬧鐘、向狀態(tài)欄添加通知等。（4）應(yīng)用層應(yīng)用層是和用戶交互的一個層次，用戶可以看得見的一些應(yīng)用，用戶可以操作。這類應(yīng)用基本都是通過Java語言編寫的獨立的能夠完成某些功能的應(yīng)用程序。Android本身提供了桌面、聯(lián)

37、系人、撥打電話、瀏覽器等很多基本的應(yīng)用程序。軟件運行時應(yīng)用層向下調(diào)用應(yīng)用程序框架層，應(yīng)用程序框架層又要調(diào)用之下的庫以及核心包和虛擬機，最后要交給底層操作系統(tǒng)Linux Kernel來和硬件進行交互。2.3.2 Android應(yīng)用程序組件要進行Android應(yīng)用程序開發(fā)，我們必不可少的就是要了解Android平臺的應(yīng)用程序框架。Android應(yīng)用程序主要是由Activity、BroadcastReceiver、Service、ContentProvider以及Intent五大組件構(gòu)成的。在Android應(yīng)用程序中，開發(fā)人員可以根據(jù)實際項目需要對這5個組件進行選擇性的使用。（1）活動（Activi

38、ty）活動是Android應(yīng)用程序中最基本的組件，通常每個用戶界面都是一個活動。每個活動作為一個獨立類都要從活動的基類Activity繼承而來，它顯示由視圖空間組成的用戶接口，并對相應(yīng)的事件做出響應(yīng)。大部分程序會有多個應(yīng)用程序界面，多個對應(yīng)的活動。（2）廣播接收器（BroadcastReceiver）BroadcastReceiver組件主要是讓應(yīng)用程序響應(yīng)來自外部的事件，可能是系統(tǒng)發(fā)出的廣播，也可能是其他應(yīng)用程序發(fā)出的。在使用Android系統(tǒng)的時候經(jīng)常會遇到許多各式各樣的廣播，比如我們在玩游戲時，這時突然發(fā)現(xiàn)顯示沒電了或者顯示有其他人打電話進來，此時系統(tǒng)就必須對當前應(yīng)用程序進行中斷并響應(yīng)。

39、應(yīng)用程序需要對某些廣播事件進行響應(yīng)，則需要注冊對應(yīng)的BroadcastReceiver對象。（3）服務(wù)（Service）服務(wù)通常位于后臺運行，它一般不需要與用戶交互，因此Service組件沒有圖形用戶界面。Service組件需要繼承Service基類，一個Service組件被運行起來之后，它將擁有自己獨立的生命周期，Service組件通常用于為其他組件提供后臺服務(wù)或監(jiān)控其他組件的運行狀態(tài)。（4）內(nèi)容提供者（ContentProvider）ContentProvider的主要功能是在不同的應(yīng)用程序之間實現(xiàn)數(shù)據(jù)共享。Android每個應(yīng)用程序都擁有自己獨立的存儲空間，可以將運行過程中的數(shù)據(jù)保存到數(shù)

40、據(jù)庫或者文件中。當一個程序要訪問其他程序的數(shù)據(jù)或者向外部程序提供數(shù)據(jù)時，Content Provider就發(fā)揮作用了，它為應(yīng)用程序提供了一組標準的訪問方式，用于在程序需要時能夠訪問這些數(shù)據(jù)，實現(xiàn)數(shù)據(jù)共享。（5）意圖（Intent）嚴格的說Intent并不是Android應(yīng)用的組件，但它對于Android應(yīng)用的作用非常大，它是Android應(yīng)用內(nèi)不同組件之間通信的載體。當Android運行時需要連接不同的組件時，通常就需要借助于Intent來實現(xiàn)。Intent可以啟動應(yīng)用中另一個Activity，也可以啟動一個Service，還可以發(fā)送一條廣播消息來觸發(fā)系統(tǒng)中的Broadcast Receive

41、r。Intent分為顯示Intent和隱式Intent，其中封裝了需要啟動或觸發(fā)的目標組件的大量信息。從Android應(yīng)用程序的角度，各個組件對外的聯(lián)系是程序處理的一個關(guān)鍵性問題，組件接口包括對用戶的接口和對其他包的接口兩部分內(nèi)容。在對用戶的接口的角度，包括呈現(xiàn)給用戶的界面和接受用戶的控制，主要由Activity及其中的View對外提供，其他組件可以使用通知的方式和用戶簡單交互。Android應(yīng)用程序包的組件接口關(guān)系如圖5所示。2.3 智能手機的接入方案3 智能電視隨著智能電視功能的日漸豐富和強大，人們需要、也必須對電視機的操控方式進行一點改變，很顯然，僅依靠一個簡單的電視遙控器已經(jīng)滿足不了智

42、能電視的操控需求。人們需要更加自然、更加方便的人機交互方式，諸如語音控制、動作識別、觸摸控制、多屏互動等智能化操控。3.1、語音控制語音識別技術(shù)就是讓機器通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準則及模型訓(xùn)練技術(shù)三個方面。語音控制可以較好的解決功能控制復(fù)雜、記憶頻率數(shù)量大的難題，相對于手動控制來說更加快捷、方便。比如，我們需要打開電視時，不需要滿世界尋找遙控器，通過聲音就能控制開機;再如，當我們忘記想看的頻道是幾號時，也不需要將十幾個節(jié)目挨個搜索一遍，直接說出想看的頻道，就能直接切換。早在2001年，海爾就推出了采用語音識別、漢語語

43、音分析、數(shù)字聲音信號處理、語音編碼、說話人自適應(yīng)、回聲消除、抗干擾及消噪聲等七大高新技術(shù)的智能聲控電視。海爾智能聲控電視，不但可以在擠滿客人的大廳中，辨認出“主人”的聲音執(zhí)行指令，還可以尋找你所喜歡的節(jié)目頻道。用戶只需把自己的聲音及指令預(yù)先輸入系統(tǒng)，聲控電視就會對他們“言聽計從”。2011年3月，TCL推出了“能聽能說”的超級智能電視，“能聽能說”就是指引入基于云端的語音識別和語音合成技術(shù)，電視不僅能聽懂用戶說話做出反應(yīng)，而且還能說，比如打開WEB瀏覽器，對著電視喊聲“新浪”，通過云搜索，瀏覽器頁面立刻呈現(xiàn)出新浪網(wǎng)站，比如朗讀時事新聞、讀報、讀雜志等。TCL還推出了“小智語音管家”， 據(jù)悉，小

44、智語音管家是應(yīng)用于云電視上的新一代語音識別工具，與之前的智能識別不同，它首次應(yīng)用了云計算技術(shù)，帶來更強大的智能語音識別、更便捷的操控體驗與更人性化的人機交互。通過它，云電視將成為一臺一呼即應(yīng)的智能機器人，為電視的人工智能語音交互時代拉開序幕。在2012年國際消費電子展上三星發(fā)布了擁有語音控制功能的電視產(chǎn)品。該款電視內(nèi)置高清相機和麥克風(fēng)，用戶只需對其喊一聲“Hi，TV”，就可以開啟語音控制系統(tǒng)，比如你可以說“Web Browser”，然后你就可以上網(wǎng)沖浪，動動手就可以瀏覽網(wǎng)頁、選擇搜索結(jié)果或者提高音量。除此之外，在CES2012上，聯(lián)想、LG等智能電視都搭載了語音識別功能，用戶可直接用遙控器說出

45、電影片名進行查詢。蘋果電視機也將內(nèi)置Siri功能，允許用戶對電視進行語音控制。2012年2月，長虹中文版語音電視在國內(nèi)首發(fā)。僅憑語音指令完成換臺、電視節(jié)目查詢、網(wǎng)絡(luò)瀏覽/搜索、文字輸入等操作，甚至能與人對話交流。語音控制與消費者實現(xiàn)了生動有趣的、有情感的交談，并能針對性的提供服務(wù)和幫助，真正意義上拉近了電器與消費者的距離，實現(xiàn)電器智能化的歷史性跨越。但是就目前來說，語音控制還只是限于一些基本的操作，還不能完全取代按鍵操作，語音控制技術(shù)還需要向更高層次發(fā)展。3.2動作識別動作識別技術(shù)是由手型、身體動作輔以表情姿勢為符號構(gòu)成的動作識別的一種技術(shù)，是人機交互模式識別領(lǐng)域的一項重要研究內(nèi)容。動作識別系

46、統(tǒng)可以消除健全人與聾啞人之間交流的障礙，作為人體語言理解的一部分，動作識別還可以更高效的實現(xiàn)人機交流。這項技術(shù)實際上也可以說是XBOX360的Kinect上面的技術(shù)的引用。Kinect可以通過外置的攝像頭捕捉RGB與紅外圖像，來偵測出人體的動作，進而借助一系列的算法來識別出具體的手勢操作。在2011年，海信智能電視推出了智能感應(yīng)觸控電視Hi-Touch，可以通過動作識別系統(tǒng)，實現(xiàn)人與電視的互動和體感游戲等功能。通過動作識別技術(shù)，電視可以完全擺脫遙控器，帶來了智能互感虛擬觸摸的全新體驗。TCL推出的超級智能電視也具備了動作識別功能，體現(xiàn)在智能手勢和姿態(tài)的識別與控制、體感游戲及視頻通訊功能上。通過

47、一個外接的攝像頭，消費者可以用手勢控制電視，通過手勢和身體姿態(tài)就可玩轉(zhuǎn)3D體感游戲。在CES2012上，三星展出了采用了CMOS圖像傳感器的動作偵測系統(tǒng)，可以通過攝像頭來偵測操作者的手部動作，可以進行多種簡單的動作操作;LG的魔術(shù)運動遙控器(Magic Motion remote control)采用了紅外感應(yīng)的操作方式，也可以進行手勢偵測。由于人體結(jié)構(gòu)較為復(fù)雜，動作識別技術(shù)要實現(xiàn)對對人體三維運動的精確跟蹤還有一定難度。動作識別技術(shù)在電視領(lǐng)域應(yīng)用前景十分廣闊，如果結(jié)合語音控制系統(tǒng)，基本可以完成所有的電視機操作，在進行電視游戲時也會比傳統(tǒng)意義上的體感游戲更有意思，像水果忍者等常見的游戲形式也可以不借助游戲主機直接游玩。可以想象，這種技術(shù)對于酷愛游戲的用戶來說，是一個不錯的選擇。3.3智能觸控自蘋果公司推出智能手機iPhone后，觸控技術(shù)就成為了市場關(guān)注的焦點，目前觸控技術(shù)已經(jīng)廣泛應(yīng)用于中、小尺寸電子產(chǎn)品，例如，智能手機、數(shù)碼相機、平板電腦等個人隨身設(shè)備，技術(shù)方面，電容式技術(shù)和電阻式技術(shù)是目前應(yīng)用最廣泛的兩種技術(shù)。早在2009年，海爾就推出了全球首款超大LED屏之內(nèi)觸控?？娨?，該產(chǎn)品采用了先進的多點觸控功能，使用者可直接在屏幕上進行書寫以及繪畫。可