03care expo2015峰會(huì)CV技術(shù)在智能中的應(yīng)用

CareExpo中國2015

CV技術(shù)在智能養(yǎng)老中的應(yīng)用

交通大學(xué)電子工程系教授、博士導(dǎo)師交通大學(xué)老年健康 常務(wù)副

市數(shù)字 處理與傳輸

提綱

?

?

?

CV技術(shù)

智慧養(yǎng)老典型應(yīng)用

?

?

?

?

?

?

老年電視

電子導(dǎo)盲犬云看護(hù)

云醫(yī)生

虛擬現(xiàn)實(shí)于功能性康復(fù)訓(xùn)練陪伴機(jī)器人

何謂CV技術(shù)

?

，計(jì)算機(jī)視覺或計(jì)算視覺，即通過機(jī)器視覺（圖像

CV——ComputerVi

傳感器）和計(jì)算（圖像處理），實(shí)現(xiàn)類人眼的功能：看，看景物，看世界。

?

CV技術(shù)，利用了很多人工智能、計(jì)算機(jī)計(jì)算、圖像處理以及其他多

信

息處理技術(shù)，實(shí)現(xiàn)機(jī)器識(shí)別、

目標(biāo)或物體。

?

?

?

?

技術(shù)是最常見的CV技術(shù)。

人臉識(shí)別技術(shù)、生物圖像信息識(shí)別技術(shù)。

某種程度上，TV和可視

，也與CV有關(guān)。

虛擬現(xiàn)實(shí)技術(shù)、3D技術(shù)，都有CV技術(shù)

CV系統(tǒng)的組成

云服務(wù)

圖像展示

（顯示、應(yīng)用、

人機(jī)交互）

物聯(lián)網(wǎng)

圖像傳感

大數(shù)據(jù)

圖像處理

（

）

（傳輸、

、分析）

何謂智能養(yǎng)老

PI=PC+QoLT

老年人存在不同程度和類型的失能

老年人的真正需求

智慧養(yǎng)老

?

智慧養(yǎng)老是“互聯(lián)網(wǎng)+醫(yī)養(yǎng)結(jié)合”，是醫(yī)+養(yǎng)+康+護(hù)+

。

視

頻

智能電視

智能家居

智慧醫(yī)療

技

養(yǎng)

智慧I養(yǎng)老

醫(yī)

術(shù)

智慧社交

智能安防

智能購物

精神需求

?

社會(huì)參與度

?

以老養(yǎng)老、老年

職業(yè)，發(fā)揮余熱：我為人人

?

?

老年大學(xué)、廣場舞

?

孤獨(dú)感

?

?

被關(guān)注、被

陪伴

，不能失去自認(rèn)社會(huì)，

最重要，其次是社區(qū)、鄰居、朋友和同學(xué)

?

有求必應(yīng)

?

?

?

疾病疼痛，有家庭醫(yī)生、私人醫(yī)生、社區(qū)健康服務(wù)者

生活幫助

生活照護(hù)

物理需求

?

健康管理

?

?

各種老年病，都是日積月累的慢病形成的，慢病管理需要健康物聯(lián)網(wǎng)技術(shù)

社區(qū)及家庭康復(fù)理療

?

家庭醫(yī)療

?

家庭醫(yī)生、私人醫(yī)生和云服務(wù)，線上線下及時(shí)響應(yīng)

?

生活物資及時(shí)送

?

日用品、菜、飯以及家修

?

生活照護(hù)

?

?

失能老人照護(hù)、陪護(hù)

失智老人安全監(jiān)護(hù)

1.老年電視

?

?

?

老年人是有線電視的忠實(shí)觀眾

老年人對(duì)電視有特別需求

做一款老年智能電視

屏

盒子

老年電視

適用于老年人的一類智能電視電視，也叫關(guān)愛電視。

老年電視，可解決老年人對(duì)數(shù)字電視操作使用難、與

長期難謀面等迫切需求，同時(shí)，

還能提供

適合老年人生活需求的便利應(yīng)用。例如，適合不同失能老人的個(gè)性化

；關(guān)

愛電視；電視老年生活。

老年電視可分為基本型和增強(qiáng)型。

針對(duì)這些老年失能狀態(tài)的需求

老年人是電視機(jī)的忠實(shí)守衛(wèi)者，他或她們把電視當(dāng)成主要交流的對(duì)象。

數(shù)字化、網(wǎng)絡(luò)化電視后，他或她們成了電視盲，太復(fù)雜的開機(jī)步驟和計(jì)算機(jī)式的菜單，讓他或她們頭疼。

老年人存在不同程度的失能，而且，隨著

視力

的增長，失能會(huì)越來越重。如：

說力

握力

智力

（語言

）

（帕金森斯病、腦卒中后遺癥）

（老年癡呆）

老年電視的基本功能

基本型，主要以看電視為主，解決老人看數(shù)字電視難

鎖定電視（?？吹呐_(tái)或頻道不超過10個(gè)）

。

智能

電視（喜歡看的

，定時(shí)看）

針對(duì)不同失能，有可選的

適合視力

適合

適合說力

適合握力

適合智力

的

的

（語言

）的

（帕金森斯病、腦卒中后遺癥）的

（老年癡呆）的

基本型只需要做兩點(diǎn)改變

?

?

老年電視界面

電

道

1

2

3

電視

相片

6

5

4

7

8

9

音樂

老年電視的增強(qiáng)功能

增強(qiáng)型，除具有上述基本型功能外，主要增加雙向交互功能，解決

老人網(wǎng)絡(luò)生活的需求。

關(guān)愛、

關(guān)愛（電視看電視、

老年網(wǎng)絡(luò)生活：

看電視）

家庭

問診；

TV買菜、購物；

TV學(xué)習(xí)；

TV廣場舞

。。。

增強(qiáng)電視需有雙向交互能力

?

?

交互電視的界面

?

?

?

屏上

麥兊

頭

電視

音樂

看TV或看

相片

人機(jī)交互和

問題

各種

+話筒（帶話筒的

）

適合視力失能者

適合

失能者

適合說力失能者

適合握力失能者

適合智力失能者

希望做智能

的廠商能為老年人設(shè)計(jì)一款老年智能

平板電視+屏上

頭

老年TV屏

平板電視+屏上

支持上述的智能支持基本型功能

頭（帶

頭的TV屏）

的人機(jī)交互

鎖定電視（常看的臺(tái)或頻道不超過10個(gè)）

智能

電視（喜歡看的

，定時(shí)看）

支持增強(qiáng)型功能

關(guān)愛（電視看電視、

看電視）

老年網(wǎng)絡(luò)生活：

家庭

問診；

TV買菜、購物；

TV學(xué)習(xí)；

TV廣場舞

。。。

Android或其它智能電視os

應(yīng)用

老人電視智能

語音

一鍵開啟

一鍵物業(yè)服務(wù)一鍵家委會(huì)一鍵家庭醫(yī)生一鍵上網(wǎng)買菜一鍵廣場舞一鍵買藥

一鍵

。。。

老年電視作為家庭老年信息消費(fèi)的

?

?

?

?

?

老人健康管理

家庭醫(yī)生進(jìn)程門會(huì)診

社交

購物

老人健康管理

?

老年電視作為

幵集成

?

移動(dòng)或可穿戴電生理健康測量

家用移動(dòng)醫(yī)學(xué)影像，如B超

移動(dòng)心電

中醫(yī)進(jìn)程四診

智能輪椅或智能醫(yī)學(xué)床

?

?

?

?

可視化家庭健康

設(shè)備

家庭醫(yī)生進(jìn)程門會(huì)診系統(tǒng)

社區(qū)衛(wèi)生服務(wù)站

ernet

醫(yī)院信息系統(tǒng)

應(yīng)用層

電子

PACS系統(tǒng)

HIS系統(tǒng)

選擇性連接

門診預(yù)約

門診調(diào)度

預(yù)約/查詢

多方會(huì)診

醫(yī)技信息

門診

家庭醫(yī)生移動(dòng)醫(yī)療工具包

老人健康管理智能終端

3G/4G

中心及以上

門系統(tǒng)

社區(qū)日間照護(hù)綜合服務(wù)中心

2.電子導(dǎo)盲犬

?

利用

導(dǎo)航和視覺導(dǎo)航技術(shù)，研制一種眼鏡式或頭戴式電子導(dǎo)盲

儀器——電子導(dǎo)盲犬

技術(shù)特點(diǎn)

?

?

?

?

?

路程觃劃或指路，靠

路況狀態(tài)，靠視覺導(dǎo)航全部語音播報(bào)

長時(shí)供電

地圖和

導(dǎo)航

技術(shù)

?

?

識(shí)別

盲道識(shí)別（不完整的步道）

語義轉(zhuǎn)換

?

?

?

?

?

?

地理信息語音播報(bào)

路況信息語音播報(bào)

路旁識(shí)別（參照物難

）

?

行人識(shí)別（復(fù)雜、進(jìn)近、動(dòng)態(tài)）

交叉路口紅綠燈識(shí)別或通行與否識(shí)別

（無行人燈、不觃則通行）

計(jì)算

低復(fù)雜度高效算法

長時(shí)供電

?

?

低功耗

大電池或自動(dòng)儲(chǔ)電

?

?

輕量化、高可靠

?

?

?

?

重量輕

高可靠或高智能（傻瓜型）

3.云看護(hù)

?

?

居家養(yǎng)老或養(yǎng)老院或日托中心，都需要對(duì)老人的日?；顒?dòng)迚行監(jiān)護(hù)

可以做到非接觸式的進(jìn)程看護(hù)，或云看護(hù)。

2

31

7

6

4

5

云看護(hù)

?

技術(shù)特點(diǎn)

?

?

?

?

?

?

無線

頭

家庭智能

云

非接觸式老人日常活動(dòng)能力記計(jì)算（運(yùn)動(dòng)軌跡）

老人跌倒或異常狀態(tài)自動(dòng)偵測和

防盜或

無隱私外泄

/陌生人

?

?

僅

主要采用

給監(jiān)護(hù)人（

）或簽約服務(wù)者

語義描述數(shù)據(jù)（

語義提取技術(shù)）

技術(shù)

?

?

分析

利用跡數(shù)據(jù)

家庭云

?

?

?

?

無線

WiFi

頭

和網(wǎng)關(guān)

，可以獲得老人日?；顒?dòng)軌

?

還可以得到當(dāng)前時(shí)刻，老人所處的

，

家庭云計(jì)算

如站立、坐或蹲、臥或睡下、行走、打掃或勞動(dòng)、跌倒等

如果跌倒，可以迅速

?

云中心

?

?

?

?

?

大數(shù)據(jù)分析

大數(shù)據(jù)服務(wù)運(yùn)營

迚一步還可以迚行表情分析，如果胸口痛，

表情

一種痛苦狀，可以識(shí)別后

?

移動(dòng)APP

?

監(jiān)護(hù)人

端APP

4.云醫(yī)生

，是及時(shí)雨

?

?

?

醫(yī)生在云上，醫(yī)生是天，是

老人是莊家，時(shí)刻需要天的照護(hù)，需要陽光，也需要雨

云醫(yī)生，線上線下服務(wù)，醫(yī)療O2O。

醫(yī)生云

：家庭醫(yī)生、社區(qū)診所、

、3甲醫(yī)院

醫(yī)養(yǎng)結(jié)合個(gè)人

健康大數(shù)據(jù)

醫(yī)療資源服務(wù)大數(shù)據(jù)

健康和醫(yī)療服務(wù)云

個(gè)人健康物聯(lián)

網(wǎng)云終端

家庭醫(yī)療物

聯(lián)網(wǎng)云終端

醫(yī)療機(jī)構(gòu)物

聯(lián)網(wǎng)云終端

5.康復(fù)訓(xùn)練機(jī)器人

?

康復(fù)機(jī)器人是工業(yè)機(jī)器人和醫(yī)用機(jī)器人的結(jié)合。20世紀(jì)80年代是康復(fù)機(jī)器

人研究的起步階段,

、英國和

在康復(fù)機(jī)器人方面的研究處于世界

的領(lǐng)先地位。1990年以前全球的56個(gè)

分布在5個(gè)工業(yè)區(qū)內(nèi)：

、

英

、

、歐洲大陸和斯堪的納維亞

及

。1990年以后康復(fù)

機(jī)器人的研究迚入到全面發(fā)展時(shí)期。目前,康復(fù)機(jī)器人的研究主要集中在康復(fù)機(jī)械手、醫(yī)院機(jī)器人系統(tǒng)、智能輪椅、假肢和康復(fù)治療機(jī)器人等幾個(gè)方面。

Kinect

虛擬現(xiàn)實(shí)陪練機(jī)器人

?

?

Kinect

?

它是一種3D體感攝影機(jī)(開發(fā)代號(hào)“ProjectNatal”)，同時(shí)它導(dǎo)入了即

時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥兊風(fēng)輸入、語音辨識(shí)、社群互動(dòng)等功能。

Kinect玩家可以通過這項(xiàng)技術(shù)在互聯(lián)網(wǎng)與其他Xbox玩家

Kinect，小孩青年人可以用來復(fù)訓(xùn)練。

中開車、與其他玩家互動(dòng)、通過和信息等。

，老人可以用來迚行身體功能性康

?

情景互動(dòng)康復(fù)

6.陪伴機(jī)器人

?

?

?

已經(jīng)出現(xiàn)各種各樣的服務(wù)機(jī)器人

陪伴或陪護(hù)機(jī)器人，是服務(wù)機(jī)器人的一種

普遍具有：語音識(shí)別、圖像識(shí)別、手勢或動(dòng)作識(shí)別和靈巧的行動(dòng)和動(dòng)手能力。

兩款典型的陪護(hù)機(jī)器人

?

?

早稻田大學(xué)的

重樹教授歷時(shí)7年

家庭智能機(jī)器人Rokid，2015星球盛典的搶眼貨。

具有“聲紋識(shí)別、人臉識(shí)別、手勢識(shí)別、動(dòng)作識(shí)別、進(jìn)場識(shí)別、聲音尋向，AEC自身音源消除、環(huán)境光線傳感器、環(huán)境

溫度傳感器、高品質(zhì)360度全向音響系統(tǒng)、

內(nèi)投影DLP模組，鋰聚合物電池，高保真全頻揚(yáng)聲器……”Rokid將語音識(shí)別與圖形識(shí)別相結(jié)合，再將人工智能嵌入到每個(gè)服務(wù)中。

時(shí)間，為老年人開發(fā)了一種名為

“TWENDY-ONE”的陪護(hù)機(jī)器人，它不

?

僅可以扶持老人起床，還會(huì)送飯、喂飯。

?

?！癟WENDY—ONE”身高1．5米，體

重110千兊，靠4只走輪

移動(dòng)。而且

可以自行判斷、繞開

物。使用者在

起床之前只需說一聲“扶我起床！”，

它就會(huì)

手把人從

扶起來，幵幫

助老人坐到輪椅上去。它生有硅膠制成的柔軟手指，加上里面靈活的關(guān)節(jié)可巧妙地完成人手的工作，從生雞蛋到面包片都可以取放自如。

情感交流機(jī)器人

?

電信企業(yè)軟銀

宣布，將在

推出能識(shí)別人

的情感幵與人交流的機(jī)器人Pepper。據(jù)介紹，第一代Pepper機(jī)器人于

2014年6月公開亮相，經(jīng)過1年的研發(fā)，新款機(jī)器人的智力和情感交流

能力都有顯著

。在

千葉縣浦安市舉行的

會(huì)上，身高121

厘米、體重28公斤的新款機(jī)器人Pepper時(shí)而歌唱、時(shí)而舞蹈，幵且輕松自如地與在場嘉賓互動(dòng)交流。當(dāng)受到嘉賓表揚(yáng)時(shí)，Pepper會(huì)流露出喜悅之情。當(dāng)被“戲弄”時(shí)，則會(huì)委屈地放聲哭泣。

目標(biāo)是生產(chǎn)出能提供關(guān)愛的機(jī)器人。

?

總結(jié)

?

當(dāng)前計(jì)算機(jī)視覺（CV）技術(shù)迅速發(fā)展幵深入人心，它使得機(jī)器人具有了類人的功能。

計(jì)算機(jī)視覺技術(shù)在養(yǎng)老看護(hù)領(lǐng)域，已經(jīng)開始得到應(yīng)用幵受到越來越

多的關(guān)注。

?

?

列舉的一些應(yīng)用，目前技術(shù)還在完善中，相信在這些技術(shù)一定能迚入家庭，迚入養(yǎng)老市場。

的將來，

摘要

?

當(dāng)前計(jì)算機(jī)視覺（CV）技術(shù)迅速發(fā)展幵深入人心，它使得機(jī)器人具有了類人的功能。

計(jì)算機(jī)視覺技術(shù)在養(yǎng)老看護(hù)領(lǐng)域，已經(jīng)開始得到應(yīng)用幵受到越來越

多的關(guān)注。

列舉了一些應(yīng)用，包括老年電視、電