基于Kinect與虛擬現(xiàn)實的社區(qū)家庭康復(fù)系統(tǒng)的研制

劉燕楊藝?yán)钪谢贙inect與虛擬現(xiàn)實的社區(qū)家庭康復(fù)前端系統(tǒng)的研制中山大學(xué)中山醫(yī)學(xué)院生物醫(yī)學(xué)工程系2014年中華醫(yī)院信息網(wǎng)絡(luò)大會目錄1.康復(fù)醫(yī)療相關(guān)現(xiàn)狀及醫(yī)療健康服務(wù)的需求2.系統(tǒng)目標(biāo)規(guī)劃3.前端機(jī)系統(tǒng)基本架構(gòu)與實施4.前端系統(tǒng)的實驗測試5.未來社區(qū)醫(yī)療康復(fù)服務(wù)的設(shè)想2現(xiàn)狀及需求_

社會、工作、環(huán)境社會工作節(jié)奏加快，科技、環(huán)境、生活壓力等原因?qū)е赂鞣N疾病患病率上升，尤其城市各類人群中有相當(dāng)大的一部分人處于亞健康狀態(tài)?；疾÷省?現(xiàn)狀及需求_1

人口現(xiàn)狀人口老齡化，老年人群增長，慢性病和老年病（高血壓、腦卒中、老年癡呆等）成為醫(yī)療服務(wù)的重要關(guān)注點(diǎn)年齡（歲）2040年占人口總比例或人數(shù)（預(yù)計）≥65>20％≥807400多萬（增長速度：每年5％）人口高齡化20世紀(jì)90年代以來中國的老齡化進(jìn)程加快。65歲及以上老年人口占總?cè)丝诘谋壤?.57%上升為6.96%。據(jù)統(tǒng)計：2012年，老年人1.94億，達(dá)14.3%；2013年，老年人2.02億，達(dá)14.8%；目前中國人口已進(jìn)入老年型。如何獲得更好的醫(yī)療服務(wù)，提高生活生存質(zhì)量？4現(xiàn)狀及需求_2

醫(yī)院和醫(yī)療衛(wèi)生信息化的現(xiàn)況醫(yī)院醫(yī)療業(yè)務(wù)流程在數(shù)字化醫(yī)療平臺上以一種及時、全面匯總和高效利用信息的方式展現(xiàn)和實施，向病患者提供全方位的治療服務(wù)?，F(xiàn)代的醫(yī)療模式預(yù)防+治療+康復(fù)5現(xiàn)狀及需求_2

醫(yī)院和醫(yī)療衛(wèi)生信息化的現(xiàn)況遠(yuǎn)程預(yù)約、遠(yuǎn)程醫(yī)療、慢病監(jiān)控、移動醫(yī)療、醫(yī)療云等大數(shù)據(jù)綜合解決方案改變了現(xiàn)有的醫(yī)療健康服務(wù)模式。現(xiàn)代的醫(yī)療模式預(yù)防+治療+康復(fù)醫(yī)院的資源有限，高齡、慢病人群日趨增多，如何提供醫(yī)療保健服務(wù)？院外的醫(yī)療服務(wù)？養(yǎng)老院、家庭迫切需要社區(qū)醫(yī)療提供近身跟蹤和健康保健服務(wù)。6康復(fù)醫(yī)療相關(guān)現(xiàn)狀及需求---3醫(yī)院和康復(fù)中心內(nèi)的康復(fù)資源與病人面臨“僧多粥少”的局面。

某些疾病患者在經(jīng)過醫(yī)院的治療后希望進(jìn)行一些社區(qū)和家庭式的康復(fù)訓(xùn)練來提高康復(fù)效果腦卒中患者在進(jìn)行前期基本康復(fù)治療后特別需要后期康復(fù)訓(xùn)練荷蘭可視化虛擬康復(fù)系統(tǒng)（瑞安市任命醫(yī)院康復(fù)醫(yī)學(xué)中心已使用）7解決小型輕便的傳感器+電腦（虛擬現(xiàn)實）康復(fù)訓(xùn)練（一定范圍的空間內(nèi)，趣味性的）。遠(yuǎn)程網(wǎng)絡(luò)技術(shù)（信息交互與進(jìn)度更新）系統(tǒng)目標(biāo)1.將訓(xùn)練適量“搬運(yùn)”到患者家中并把結(jié)果定期反饋回醫(yī)院以制定下一步治療計劃，不僅能減輕康復(fù)醫(yī)師的工作，也可為患者提供更輕松自在的訓(xùn)練環(huán)境和完善的后期治療。2.“讓有限數(shù)量的治療師面對更多數(shù)量的患者”。將Kinect與計算機(jī)技術(shù)結(jié)合運(yùn)用于康復(fù)領(lǐng)域所研制的社區(qū)家庭康復(fù)系統(tǒng)，可以有效從“質(zhì)”（康復(fù)效果）和“量”（患者數(shù)量）上提高我國的康復(fù)水平，它具有非常廣闊的前景。8小型輕便的Kinect傳感器Kinect是一種“姿態(tài)檢測”設(shè)備，它的三維攝像頭可以自動捕捉鏡頭前的人，并將人體等效成一個“由20個點(diǎn)組成的三維點(diǎn)空間模型”，從而準(zhǔn)確地實現(xiàn)姿態(tài)檢測。用戶不需要再佩戴任何其他的裝備利用KinectForXBOX傳感器捕捉用戶運(yùn)動軌跡，空間識別精確率達(dá)到了4mm，其關(guān)鍵技術(shù)特性歸納為四點(diǎn)：骨骼跟蹤、動作識別、人臉識別、語音識別。本系統(tǒng)主要利用的技術(shù)特性即為Kinect的“骨骼跟蹤”。9已有的應(yīng)用目前關(guān)于Kinect的應(yīng)用多在教育與娛樂方面。目前，雖國內(nèi)外的科技人員已開發(fā)了一些康復(fù)訓(xùn)練系統(tǒng)，但大部分都需在專門的實驗室環(huán)境內(nèi)進(jìn)行康復(fù)訓(xùn)練。臺灣中央大學(xué)用Kinect開發(fā)出針對醫(yī)學(xué)場景應(yīng)用程序的單位，其應(yīng)用程序旨在幫助有肢體功能障礙的病人進(jìn)行運(yùn)動康復(fù)。美國公司開發(fā)的用于心血管病人的術(shù)后運(yùn)動回復(fù)程序。中興公司開發(fā)的康復(fù)游戲訓(xùn)練軟件姿態(tài)檢測+生理參數(shù)采集+語音與視頻通訊Kinect全新的交互傳感方式正逐漸滲透到生活的各個領(lǐng)域10家庭康復(fù)系統(tǒng)前端機(jī)基本結(jié)構(gòu)前端機(jī)硬件組成Kinect傳感器+計算機(jī)（+電視機(jī)）軟件模塊傳感器數(shù)據(jù)采集處理模塊：數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換；后臺實時數(shù)據(jù)處理模塊：數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)輸出；虛擬老師標(biāo)準(zhǔn)動作模塊：提供患者訓(xùn)練模式及動作選擇功能和動作指導(dǎo)功能服務(wù)；患者動態(tài)形象虛擬化模塊：患者虛擬化服務(wù)與實現(xiàn)；網(wǎng)絡(luò)交流模塊：患者數(shù)據(jù)上傳、醫(yī)師數(shù)據(jù)下載；11前端機(jī)系統(tǒng)基本邏輯架構(gòu)康復(fù)前端網(wǎng)絡(luò)部分1）患者訓(xùn)練客戶端：提供康復(fù)訓(xùn)練服務(wù)及數(shù)據(jù)維護(hù)；2）患者網(wǎng)絡(luò)服務(wù)客戶端：數(shù)據(jù)上傳與醫(yī)師建議下載；3）醫(yī)師網(wǎng)絡(luò)服務(wù)客戶端：數(shù)據(jù)查看及個人建議上傳；12WINFORM系統(tǒng)規(guī)劃與部署外網(wǎng)服務(wù)網(wǎng)站外網(wǎng)服務(wù)網(wǎng)站W(wǎng)PFASP.NET康復(fù)服務(wù)端文檔保存更新評分康復(fù)訓(xùn)練網(wǎng)絡(luò)服務(wù)端信息交互量表統(tǒng)計數(shù)據(jù)更新自動分析后期在VisualStudio2010集成開發(fā)環(huán)境,使用C#編寫患者訓(xùn)練客戶端的Windows窗體應(yīng)用程序與WPF應(yīng)用程序；調(diào)用KinectforWindowsSDKv1.6的API函數(shù)庫進(jìn)行傳感器操作。采用ASP.NET設(shè)計網(wǎng)絡(luò)服務(wù)客戶端的WEB應(yīng)用程序。13前端機(jī)系統(tǒng)中的一些關(guān)鍵技術(shù)用戶運(yùn)動軌跡采集Kinect由紅外投影機(jī)、彩色攝像頭、紅外深度投影頭和PrimeSense的PS1080SoC芯片組成，空間判斷精確度為4mm。

Kinect傳感器將數(shù)據(jù)采集和處理結(jié)合一體，提供三大類原始數(shù)據(jù)信息：深度數(shù)據(jù)流、彩色視頻流和原始音頻流，如圖2所示，其獨(dú)特骨骼追蹤技術(shù)將用戶全身虛擬化為20個關(guān)節(jié)點(diǎn)，如圖3所示。通過WindowLoaded()函數(shù)實現(xiàn)傳感器的初始化，數(shù)據(jù)流操作，釋放資源并關(guān)閉。設(shè)置Kinect采集數(shù)據(jù)幀率為每秒30幀。圖2Kinect傳感器數(shù)據(jù)流圖3Kinect維特魯威人20關(guān)節(jié)點(diǎn)圖14前端機(jī)系統(tǒng)中的一些關(guān)鍵技術(shù)患者動態(tài)形象虛擬利用SensorSkeletonFrameReady()函數(shù)對骨骼數(shù)據(jù)進(jìn)行處理和繪圖，過程如圖4所示。①獲取數(shù)據(jù)流，重新分配存放緩沖區(qū)；②獲得數(shù)據(jù)流中每一幀的新數(shù)據(jù)，并釋放緩沖區(qū)；③判斷骨骼追蹤狀態(tài)之后選擇相應(yīng)的執(zhí)行方式。構(gòu)造DrawBone()函數(shù)，對應(yīng)連接20個關(guān)節(jié)點(diǎn)，完成火柴人的繪制。代碼如下：drawingContext.DrawLine(drawPen,this.SkeletonPointToScreen(joint0.Position),this.SkeletonPointToScreen(joint1.Position));圖4患者動態(tài)形象虛擬流程15前端機(jī)系統(tǒng)中的一些關(guān)鍵技術(shù)后臺評分?jǐn)?shù)據(jù)處理模塊訓(xùn)練評分：對每幀數(shù)據(jù)都實施每個動作對應(yīng)算法的計算。計算出相應(yīng)關(guān)節(jié)連線的夾角，根據(jù)關(guān)節(jié)點(diǎn)的具體位置進(jìn)行相關(guān)動作得分的評判。提取患者關(guān)節(jié)點(diǎn)數(shù)據(jù)的語句為：wex=skeleton.Joints[JointType.WristRight].Position.X-skeleton.Joints[JointType.ElbowRight].Position.X;自動生成評判結(jié)果的TXT文檔。顯示評價和患者動作細(xì)節(jié)記錄。數(shù)據(jù)上傳網(wǎng)絡(luò)。網(wǎng)絡(luò)部分（初期）利用康復(fù)部分生成的訓(xùn)練信息txt；兩部分WEB應(yīng)用，患者登陸頁與醫(yī)生登