智能家居人機(jī)交互方案

1、智能家居人機(jī)交互方案在智能家居實驗室建設(shè)方案中，人機(jī)交互系統(tǒng)是一個相對比 較獨立的系統(tǒng)。但它的運行即需要其它子系統(tǒng)的支持，同時也想 高級服務(wù)提供依據(jù)。其中的主要交互設(shè)備有家居機(jī)器人、智能手 機(jī)、移動平板、智能視機(jī)、健康設(shè)備、遙控器、計算機(jī)等。1家居機(jī)器人1.1人機(jī)交互技術(shù)在終端機(jī)器人中主要提供觸摸顯示和語音交互方式，并提供攝 像頭擴(kuò)展接口，利于更高層次的開發(fā)。觸摸顯示交互是多媒體技術(shù)交互方式的一種，其依托于7寸觸 摸顯示屏進(jìn)行操作界面的實現(xiàn)和用戶觸摸輸入。當(dāng)前，在手機(jī)、 平板等電子消費領(lǐng)域得到了非常廣泛的應(yīng)用。其有一個缺陷是， 觸摸顯示屏安放在機(jī)器人的機(jī)體結(jié)構(gòu)中，屬于機(jī)器人的一部分， 具體的使

2、用過程不是特別方便。語音交互是本設(shè)計中的重要部分，是終端機(jī)器人與其它家電設(shè) 備最大的卻別。經(jīng)過自然語言交流，一方面用戶能夠非常方便的 使用機(jī)器人進(jìn)行家庭中各種設(shè)備的控制，另一方面其還能與老人 對話，提供心理慰藉，或者用于幼齡兒童的教學(xué)。終端機(jī)器人中 語音交互的方案采用科大訊飛語音云平臺進(jìn)行高效開發(fā)。語音識 別的過程為：在本地進(jìn)行語音采集，將采集的信息發(fā)送到語音云 端，本地接受來自云端的識別結(jié)果在，然后進(jìn)行智能處理；語音 合成的過程為：將要合成的文本發(fā)送到語音云端，云端將語音信 息返回到本地進(jìn)行播放?？拼笥嶏w云平臺只是提供具體的識別和合成，而怎么讓語音識別更智能化則需要進(jìn)一步的研究。1.2系統(tǒng)硬

3、件1.2.1整體架構(gòu)電子芯片技術(shù)的飛越發(fā)展，CPU處理核心的處理和運算性能越 來越強(qiáng)?；谧畲蠡肅PU能力、減少成本和降低系統(tǒng)能耗的 思想，本設(shè)計采用單處理核心，由Cortex-A8（S5PV210）統(tǒng)籌系 統(tǒng)的所有外設(shè)，進(jìn)行設(shè)備控制和信息采集。對于外部設(shè)備，設(shè)備 本身復(fù)雜程度以及傳輸方式、傳輸速率上均有不同，因此在對系 統(tǒng)設(shè)備進(jìn)行選型時盡量減少設(shè)備種類的復(fù)雜程度。系統(tǒng)框架中定 義了 2種設(shè)備總線：USB總線和IO數(shù)據(jù)總線。A href=手持終 端/AUSB總線用于數(shù)據(jù)傳輸量大、傳輸速率高的復(fù)雜設(shè)備，IO 數(shù)據(jù)總線則對應(yīng)傳輸速率低的簡單設(shè)備。USB總線采用Hub的形 式進(jìn)行多設(shè)備擴(kuò)展。IO

4、數(shù)據(jù)總線則采用抽象化和模塊化思想設(shè) 計，建立單獨的底層擴(kuò)展系統(tǒng)，規(guī)范相應(yīng)設(shè)備接口。系統(tǒng)從總線 的角度出發(fā)，將硬件分為2部分：底層擴(kuò)展系統(tǒng)和上層Cortex-A8 平臺。底層擴(kuò)展系統(tǒng)主要用于傳感器數(shù)據(jù)采集、機(jī)器人動力系統(tǒng)控制 以及情感控制，設(shè)備的類型和控制較為簡單。而上層Cortex-A8平 臺則是在核心控制器的基礎(chǔ)上搭載觸摸顯示屏、用戶按鍵接口、 音頻輸出以及USB類的攝像頭、Wi-Fi適配器、藍(lán)牙適配器。整體的硬件架構(gòu)如圖1圖1Wi-Fi!音頻接口 底層擴(kuò)展系統(tǒng)f壁障傳感頭部傳感安防模塊觸模傳感頭部轉(zhuǎn)向電機(jī)控制運劫電機(jī) 控制S5P21Q控制核 心|藍(lán)牙圖1Wi-Fi!音頻接口 底層擴(kuò)展系統(tǒng)f

5、壁障傳感頭部傳感安防模塊觸模傳感頭部轉(zhuǎn)向電機(jī)控制運劫電機(jī) 控制S5P21Q控制核 心|藍(lán)牙觸揆顯示 器LED情感 表達(dá)攝像頭:1 5V/S.SV5V/S3V輸入按鍵1.2.1 Cortex-A8 與 S5PV210ARM Cortex-A8處理器是基于ARMv7-A體系結(jié)構(gòu)，其設(shè)計主 要面向高性能和低功耗。當(dāng)前，其突出的優(yōu)勢已經(jīng)得到了市場的 認(rèn)可，在智能手機(jī)、機(jī)頂盒、數(shù)字電視、打印機(jī)等終端設(shè)備中具 有廣泛的應(yīng)用。Cortex-A8處理器的主要特點如下：1）128位SIMD引擎支持高性能媒體處理（NEON）；2）優(yōu)化的1級高速緩存和集成的2級高速緩存；4）Thumb-2技術(shù)，提高性能并節(jié)省指令存

6、儲空間；5）動態(tài)分支預(yù)測，降低分支錯誤預(yù)測的危害；6）完整的內(nèi)存管理單元（MMU）；7）Jazelle-RCT技術(shù)優(yōu)化即時生產(chǎn)（JIT）和動態(tài)自適應(yīng)編譯（DAC）；8）高功效和高性能的內(nèi)存系統(tǒng)；Mini210s開發(fā)板以Cortex-A8的S5PV210為核心控制器。S5VP210是一款高效率、高性能、低功耗的32為RISC處理器，其適 用于智能手機(jī)和平板電腦等智能終端。S5PV210在Cortex-A8的基礎(chǔ)上拓展了多媒體方面的性能，其包 含很多強(qiáng)大的硬件編解碼功能，內(nèi)置MFC(Multi FormatCodec)、高性能PowerVR SGX540 3D圖形引擎和2D圖形引擎、IVA3硬件加

7、速器、HDMIV1.3等多媒體相關(guān)的處理模塊。S5PV210采用584引腳的FCFBGA封裝，具有豐富的外圍接口如TFT LCD控制器、攝像頭接口、MIPI DSI、ATA接口、UART、24通道 DMA、定時器、A href=手持機(jī)/A GPIO、USB Host 2.0、USB 2.0 OTG等。S5PV210同時具有豐富的高質(zhì)量的外部存儲接口，其DRAM支持1 PDDR1、DDR2、LPDDR2，F(xiàn)lash/ROM支持NAND Flash、 NOR-Flash、SRAM等。S5PV210芯片結(jié)構(gòu)圖如圖2所示。System PeripheralRTCPLLx4Timer with PWM

8、(5ch)Watchdog TimerDMA (24ch)Keypad (14x8)T咨ADC (12bif/1Och)CPU CorefCortexA832KIBG3B l/D cache 800MHe/1GHz512KBSystem PeripheralRTCPLLx4Timer with PWM (5ch)Watchdog TimerDMA (24ch)Keypad (14x8)T咨ADC (12bif/1Och)CPU CorefCortexA832KIBG3B l/D cache 800MHe/1GHz512KBL2 cacheNEON_JConnectivityAudio IF|必

9、，PCMx3&PDIF/AC97Storage IF|HSMMDSDX4ATAConnectivityUSB Host2 0/OTG 2 0UARTx4IICx3HS-SPIx2Modem IF64KB ROMMulti layer AHB/AXI BusCryptoEnginesPowerManagementMultimedia12MP Camera IF/MIPll CSk2108Dp30fpsMFCCodec - H.2634H.264/MIPEG4 Decoder-MPEG2A/O12D VG/3D Graphics engineNTSC/PAL TV out &HDL1IJPEG C

10、odecTFT LCD controller XGA resolutionJMemory InterfaceSRAM/ROM(Fle)OneNANDSLC/MLC NANDwith 16bit ECCLPDDRVOneDRAMlLPDDR2/DDR2圖2 S5PV210芯片結(jié)構(gòu)圖1.2.2 Mini210s 開發(fā)平臺Mini210s是一款高性能高性價比的Cortex-A8開發(fā)板，搭載三 星S5PV210處理器，運行主頻可高達(dá)1GHz，同時集成PowerVR SGX540高性能圖形引擎。工業(yè)PDA Mini210s開發(fā) 板配備了512M DDR2內(nèi)存和4G MLC NAND Flash，其外部應(yīng)

11、用接口 非常豐富如WM8960音頻芯片、miniHDMI高清輸出、USB2.0、 CMOS攝像頭、SDIO、矩陣鍵盤等接口（詳見圖4-15），其電源電 路也支持低功耗待機(jī)省電模式。該款開發(fā)板提供開源的Android2.3.1系統(tǒng)源碼以及Linux kerne l源碼，方便用戶進(jìn)行二次開 發(fā)。同時其還提供方便易使用的開發(fā)板燒寫工具Superboot，縮短 了系統(tǒng)開發(fā)周期。根據(jù)終端系統(tǒng)功能設(shè)定要求，Mini210s開發(fā)板的板載資源主 要使用電阻觸摸顯示、USB OTG接口、音頻接口三個部分。電阻 觸摸顯示接口與7寸一線精準(zhǔn)電阻觸摸顯示屏連接，實現(xiàn)Android 系統(tǒng)操作界面的顯示和觸控操作的檢測。WiFi、藍(lán)牙、USB攝像 頭等設(shè)備經(jīng)過與USB HOST接口連接的USB Hub完成基于USB設(shè) 備的設(shè)備擴(kuò)展。音頻部分采用I2S0接口，外接WM8960 CODEC解 碼芯片，提供聲音輸入和speaker輸出(內(nèi)置D類功放，能直接 連接8Q1W揚聲器)功能。USB Host Power LED Micro SD CON6 (GPIO)JTAGCMOS CameraRTC