腦－機接口鼠標(biāo)控制方法

(19)中華人民共和國國家知識產(chǎn)權(quán)局(12)發(fā)明專利說明書(10)申請公布號CN1949140A

(43)申請公布日2007.04.18(21)申請?zhí)朇N200610129255.3(22)申請日2006.11.08(71)申請人天津大學(xué)地址300072天津市南開區(qū)衛(wèi)津路92號天津大學(xué)(72)發(fā)明人萬柏坤程龍龍明東(74)專利代理機構(gòu)天津市北洋有限責(zé)任專利代理事務(wù)所代理人江鎮(zhèn)華(51)Int.CI G06F3/01

G06F3/033

G06F9/44權(quán)利要求說明書說明書幅圖(54)發(fā)明名稱 腦－機接口鼠標(biāo)控制方法(57)摘要 本發(fā)明涉及利用腦電信號實現(xiàn)鼠標(biāo)控制的方法，屬于生物醫(yī)學(xué)工程及計算機技術(shù)領(lǐng)域。其中一種腦―機接口鼠標(biāo)控制方法，包括下列步驟：設(shè)置一個屏幕光標(biāo)循環(huán)控制顯示面板，在其各個方位上分別設(shè)置指示燈；利用程序控制指示燈循環(huán)點亮，向鼠標(biāo)操作者提示當(dāng)前所能控制的鼠標(biāo)移動方向；將頭皮導(dǎo)聯(lián)電極連接在鼠標(biāo)操作者的頭部；鼠標(biāo)操作者在確定希望光標(biāo)的移動方向后，根據(jù)所述指示燈的提示，選擇產(chǎn)生含有鼠標(biāo)光標(biāo)控制信息的腦電信號；利用頭皮導(dǎo)聯(lián)電極實時采集鼠標(biāo)操作者腦電中α波的電信號；對該腦電信號進行前置放大低通濾波處理，再經(jīng)模數(shù)轉(zhuǎn)換生成數(shù)字信號后輸入計算機主機。另一種方法利用一個屏幕顯示控件代替屏幕光標(biāo)循環(huán)控制顯示面板。本發(fā)明為癱瘓病人提供了兩種簡單易用的計算機鼠標(biāo)光標(biāo)的控制方法，具有顯著的社會效益和經(jīng)濟效益。法律狀態(tài)法律狀態(tài)公告日法律狀態(tài)信息法律狀態(tài)

權(quán)利要求說明書

1.一種腦—機接口鼠標(biāo)控制方法,包括下列步驟:

(1)設(shè)置一個屏幕光標(biāo)循環(huán)控制顯示面板,在其各個方位上分別設(shè)置指示燈;

(2)利用循環(huán)程序控制指示燈循環(huán)點亮,向鼠標(biāo)操作者提示當(dāng)前所能控制的鼠標(biāo)移動方向;

(3)將頭皮導(dǎo)聯(lián)電極連接在鼠標(biāo)操作者的頭部;

(4)鼠標(biāo)操作者在確定希望光標(biāo)的移動方向后,根據(jù)所述指示燈的提示,選擇產(chǎn)生含有鼠標(biāo)光標(biāo)控制信息的腦電信號;

(5)利用頭皮導(dǎo)聯(lián)電極實時采集鼠標(biāo)操作者腦電中α波的電信號;

(6)對該腦電信號進行前置放大低通濾波處理,再經(jīng)模數(shù)轉(zhuǎn)換生成數(shù)字信號后輸入計算機主機;

(7)由計算機主機進行信號處理與特征提取的運算處理,生成腦—機接口控制信號,并根據(jù)腦—機接口控制信號和對指示燈循環(huán)點亮的控制信號做出判斷,調(diào)用鼠標(biāo)控制程序,控制計算機屏幕上的鼠標(biāo)光標(biāo)的移動。

2.根據(jù)權(quán)利要求1所述腦—機接口鼠標(biāo)控制方法,其特征在于,步驟(7)包括下列步驟:

(1)對模數(shù)轉(zhuǎn)換電路輸入的數(shù)據(jù)信號,進行濾波、RMS平滑處理;

(2)將RMS平滑處理的結(jié)果與預(yù)設(shè)的閾值相比較,輸出腦機接口控制信號;

(3)由計算機主機根據(jù)輸出的腦—機接口控制信號與循環(huán)指示燈的控制信號,調(diào)用WindowsAPI函數(shù)庫中的mouse_event函數(shù),控制鼠標(biāo)在當(dāng)前位置的基礎(chǔ)上的移動方向和移動像素點數(shù)。

3.一種腦—機接口鼠標(biāo)控制方法,包括下列步驟:

(1)運行預(yù)先編制的屏幕顯示控件程序,在計算機屏幕上輸出屏幕顯示控件,該控件的各個方位上分別設(shè)置方向標(biāo)識,由循環(huán)程序控制方向標(biāo)識循環(huán)顯亮或變色,用來向鼠標(biāo)操作者提示當(dāng)前所能控制的鼠標(biāo)移動方向;

(2)將頭皮導(dǎo)聯(lián)電極連接在鼠標(biāo)操作者的頭部;

(3)鼠標(biāo)操作者在確定希望光標(biāo)的移動方向后,根據(jù)所述方向標(biāo)識的提示,選擇產(chǎn)生含有鼠標(biāo)光標(biāo)控制信息的腦電信號;

(4)利用頭皮導(dǎo)聯(lián)電極實時采集鼠標(biāo)操作者腦電中α波的電信號;

(5)對該腦電信號進行前置放大低通濾波處理,再經(jīng)模數(shù)轉(zhuǎn)換生成數(shù)字信號后輸入計算機主機;

(6)由計算機主機進行信號處理與特征提取的運算處理,生成腦—機接口控制信號,并根據(jù)腦—機接口控制信號和對屏幕顯示控件的控制信號做出判斷,調(diào)用鼠標(biāo)控制程序,控制計算機屏幕上的鼠標(biāo)光標(biāo)的移動。

4.根據(jù)權(quán)利要求3所述的腦—機接口鼠標(biāo)控制方法,其特征在于,步驟(6)包括下列步驟:

(1)對模數(shù)轉(zhuǎn)換電路輸入的數(shù)據(jù)信號,進行濾波、RMS平滑處理;

(2)將RMS平滑處理的結(jié)果與預(yù)設(shè)的閾值相比較,輸出腦—機接口控制信號;

(3)由計算機主機根據(jù)輸出的腦—機接口控制信號與對屏幕顯示控件的控制信號,調(diào)用WindowsAPI函數(shù)庫中的mouse_event函數(shù),控制鼠標(biāo)在當(dāng)前位置的基礎(chǔ)上的移動方向和移動像素點數(shù)。

說明書<p>技術(shù)領(lǐng)域

本發(fā)明涉及利用腦電信號實現(xiàn)鼠標(biāo)控制的方法,屬于生物醫(yī)學(xué)工程及計算機技術(shù)領(lǐng)域。

背景技術(shù)

腦—機接口(Brain-ComputerInterface,BCI)是在人腦和計算機或其他電子設(shè)備之間建立一種不依賴于常規(guī)大腦輸出通路(外周神經(jīng)和肌肉組織)的直接信息交流和控制通道,是一種全新的人-機交互系統(tǒng)。

基本BCI系統(tǒng)的原理如下:含有操作控制意圖的腦電信號通過電極從頭皮或顱內(nèi)獲得,經(jīng)過信號處理提取反映使用者意圖的腦電信號特征,并將之轉(zhuǎn)化為控制外部設(shè)備的操作命令(如按下遙控器鍵、敲擊打字機鍵盤、移動屏上光標(biāo)等)。目前BCI研究的主要應(yīng)用目標(biāo)是幫助肢體嚴重癱瘓的殘疾人操縱和使用周邊日常生活工具,以實現(xiàn)對外界的信息交流和設(shè)備控制。

腦—機接口作為一種全新的信息交換和控制技術(shù),將為癱瘓病人,特別是那些喪失了基本肢體運動功能但思維正常的患者,提供一種與外界進行信息交流和控制的新途徑,正受到越來越多的重視。

發(fā)明內(nèi)容

本發(fā)明的主旨是提供計算機屏幕鼠標(biāo)光標(biāo)運動的控制方法,以實現(xiàn)計算機鼠標(biāo)控制的無肢體動作遙控。該項發(fā)明可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的遙控操作。

提出兩種具有相同創(chuàng)新思想的技術(shù)方案,第一種技術(shù)方案如下:

(1)設(shè)置一個屏幕光標(biāo)循環(huán)控制顯示面板,在其各個方位上分別設(shè)置指示燈;

(2)利用循環(huán)程序控制指示燈循環(huán)點亮,向鼠標(biāo)操作者提示當(dāng)前所能控制的鼠標(biāo)移動方向;

(3)將頭皮導(dǎo)聯(lián)電極連接在鼠標(biāo)操作者的頭部;

(4)鼠標(biāo)操作者在確定希望光標(biāo)的移動方向后,根據(jù)所述指示燈的提示,選擇產(chǎn)生含有鼠標(biāo)光標(biāo)控制信息的腦電信號;

(5)利用頭皮導(dǎo)聯(lián)電極實時采集鼠標(biāo)操作者腦電中α波的電信號;

(6)對該腦電信號進行前置放大低通濾波處理,再經(jīng)模數(shù)轉(zhuǎn)換生成數(shù)字信號后輸入計算機主機;

(7)由計算機主機進行信號處理與特征提取的運算處理,生成腦機接口控制信號,并根據(jù)腦機接口控制信號和對指示燈循環(huán)點亮的控制信號做出判斷,調(diào)用鼠標(biāo)控制程序,控制計算機屏幕上的鼠標(biāo)光標(biāo)的移動。

第二種技術(shù)方案與第一種方案相似,所不同的是,不再采用屏幕光標(biāo)循環(huán)控制顯示面板,而是利用一個屏幕顯示控件,在該控件的各個方位上分別設(shè)置方向標(biāo)識,由循環(huán)程序控制方向標(biāo)識循環(huán)顯亮或變色,用來向鼠標(biāo)操作者提示當(dāng)前所能控制的鼠標(biāo)移動方向。

上述兩種腦—機接口鼠標(biāo)控制方法中,最后一步最好包括下列具體步驟:

(1)對模數(shù)轉(zhuǎn)換電路輸入的數(shù)據(jù)信號,進行濾波、RMS平滑處理;

(2)將RMS平滑處理的結(jié)果與預(yù)設(shè)的閾值相比較,輸出腦—機接口控制信號;

(3)由計算機主機根據(jù)輸出的腦—機接口控制信號與對屏幕顯示控件的控制信號,調(diào)用WindowsAPI函數(shù)庫中的mouse_event函數(shù),控制鼠標(biāo)在當(dāng)前位置的基礎(chǔ)上的移動方向和移動像素點數(shù)。

本發(fā)明利用腦—機接口控制信號,為癱瘓病人,特別是那些喪失了基本肢體運動功能但思維正常的患者,提供了一種簡單易用的計算機鼠標(biāo)光標(biāo)的控制方法,具有顯著的社會效益和經(jīng)濟效益。

附圖說明

圖1本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖;

圖2屏幕光標(biāo)循環(huán)控制顯示面板及指示燈循環(huán)點亮示意圖,(a):光標(biāo)向上移動控制;(b):光標(biāo)向下移動控制;(c):光標(biāo)向左移動控制;

圖3本發(fā)明實施例的在Labview平臺上進行信號處理的流程圖。

具體實施方式

本發(fā)明選用腦電中alpha(α)波作為特征控制信號。α波為自發(fā)腦電的主要成分之一,與視覺皮層的閑散節(jié)律相對應(yīng),頻率為8~13Hz,是節(jié)律性腦電波中最具明顯特征的成分。正常人在清醒閉目時α波增強,睜眼、思考問題,或受到其它刺激時,α波減弱或消失的電生理現(xiàn)象稱為α波的阻斷;此后若受試者再度安靜閉目,則α波又重新出現(xiàn)。根據(jù)90%以上腦神經(jīng)功能正常人在短時間閉眼后腦電中α波幅均可明顯增強這一普適特征,本發(fā)明通過提取受試者睜閉眼時腦電α波幅值的變化特征作為控制信號,實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的控制。在操作者頭后部O1-T5導(dǎo)聯(lián)處放置Ag-AgCl頭皮導(dǎo)聯(lián)電極來檢測腦電α波幅值的變化,并根據(jù)受試者α波幅大小設(shè)定適當(dāng)?shù)目刂崎撝怠．?dāng)閉眼α波幅值超過門限值時,則打開相應(yīng)的控制開關(guān)。由于系統(tǒng)操作簡單,一般無需訓(xùn)練就可以控制計算機屏幕鼠標(biāo)光標(biāo)運動。

圖1為本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖。該系統(tǒng)基于虛擬儀器Labview平臺,利用正常人腦電α波阻斷現(xiàn)象的開關(guān)控制作用設(shè)計了相應(yīng)的屏幕光標(biāo)循環(huán)控制顯示面板、頭皮導(dǎo)聯(lián)電極、Labview信號采集卡、Labview信號處理平臺,來實現(xiàn)對計算機屏幕鼠標(biāo)光標(biāo)運動的控制。操作者根據(jù)計算機屏幕光標(biāo)循環(huán)控制指示,選擇產(chǎn)生含有與鼠標(biāo)光標(biāo)控制信息的腦電信號;該信號由頭皮導(dǎo)聯(lián)電極感應(yīng)、經(jīng)前置放大低通濾波電路,再由Lavview信號采集卡進行A/D轉(zhuǎn)換后輸入計算機;然后在計算機內(nèi)Labview平臺上完成去噪、均方根(RMS)平滑—平均、與門限電壓比較、產(chǎn)生控制脈沖等一系列信號處理工作;最后通過調(diào)用WindowsAPI函數(shù)庫中的mouse_event(MOUSEEVENTF_MOVE,10,0,0,0)函數(shù)使得計算機屏幕鼠標(biāo)光標(biāo)在當(dāng)前位置的基礎(chǔ)上向相應(yīng)方向移動適當(dāng)數(shù)目像素以完成對鼠標(biāo)的控制功能。

本發(fā)明設(shè)計了屏幕光標(biāo)循環(huán)控制顯示面板,以實現(xiàn)對光標(biāo)四個移動方向控制功能的選擇(如圖2所示)。圖2中(a)~(c)所示四個箭頭指示分別代表上、下、左、右等四個控制移動方向,由相應(yīng)的循環(huán)程序控制循環(huán)顯示。圖中(a)、(b)、(c)三幅圖依次演示了光標(biāo)向上移動、光標(biāo)向下移動和光標(biāo)向左移動三個功能控制狀態(tài)(相應(yīng)的指示燈點亮)。

本發(fā)明還可以采用屏幕顯示控件,控件的上下左右四個方向上分別設(shè)置方向標(biāo)識,由循環(huán)程序控制方向標(biāo)識循環(huán)顯亮或變色,功能控制狀態(tài)與圖2所示相似。

本發(fā)明利用腦電控制鼠標(biāo)光標(biāo)流程如下:

(1)由labview采集卡通過置放于頭皮上的頭皮導(dǎo)聯(lián)電極,采集腦電信號。

(2)確定希望光標(biāo)的移動方向(向上,向下,向左,向右)。

(3)假定預(yù)想方向是向上,待循環(huán)控制燈向上的指示燈點亮?xí)r,進行α波恢復(fù)。

(4)對采集到的腦電信號進行濾波,我們主要關(guān)心10Hz附近的信號功率譜的變化,所以采用8~13Hz的帶通濾波器。

(5)對濾波以后的腦電信號進行RMS平滑,設(shè)定恰當(dāng)?shù)拈撝?。測得的RMS的值若超過閾值輸出“1”,未超過閾值輸出“0”。

(6)輸出“0”“1”信號與循環(huán)控制燈的控制信號作與運算。若與運算結(jié)果為1,則調(diào)用WindowsAPI函數(shù)庫中的mouse_event(MOUSEEVENTF_MOVE,0,-10,0,0)函數(shù)使得鼠標(biāo)在當(dāng)前位置的基礎(chǔ)上向上移動十個像素(像數(shù)的個數(shù)可調(diào))

(7)同理,可以完成向下,向左,向右的任務(wù)。

也可以用想象動作電位來代替循環(huán)控制燈,進行方向的選擇具體流程如下:

1)計算C3和C4導(dǎo)聯(lián)腦電信號的alpha波段能量譜,并讀取其中頻10Hz處能量值,計算C3減C4導(dǎo)聯(lián)的能量差。

2)根據(jù)相減的能量差來判斷操作者意圖是要光標(biāo)向左(或上)移動還是向右(或下)移動:若二者相減的結(jié)果大于光標(biāo)動作閾值Vrm則可以斷定操作者有使光標(biāo)向右(或下)移動的意圖,若二者相減的結(jié)果小于-Vrm,則可以斷定操作者有使光標(biāo)向左(或上)移動的意圖;若二者相減的結(jié)果在(-Vrm,Vrm)之間,則認為C3與C4導(dǎo)聯(lián)的能量差處于正常范圍,操作者暫無移動光標(biāo)的意圖;光標(biāo)動作閾值Vrm的取值由下面5.2節(jié)所述方法確定。

3)若根據(jù)C3減C4導(dǎo)聯(lián)的能量差可以斷定操作者有使光標(biāo)向右(或下)移動的意圖,則調(diào)用WindowsAPI函數(shù)庫中mouse_event(MOUSEEVENTF_MOVE,10,0,0,0)函數(shù)使得光標(biāo)由當(dāng)前位置向右(或下)移動十個像素;反之,若根據(jù)C3減C4導(dǎo)聯(lián)的能量差可以斷定操作者有使光標(biāo)向左(或上)移動的意圖,則調(diào)用WindowsAPI函數(shù)庫中mouse_event(MOUSEEVENTF_MOVE,-10,0,0,0)函數(shù)使得光標(biāo)由當(dāng)前位置向左(或上)移動十個像素。

4)重復(fù)步驟1)2)3)可使得鼠標(biāo)光標(biāo)移動到操作者所關(guān)心的屏幕位置。

本發(fā)明信號處理可以在Labview平臺上完成。信號處理流程如圖3所示:由頭皮電極拾得原始腦電信號經(jīng)Labview采集卡輸入到計算機后,再經(jīng)8~13Hz的帶通濾波保留其中α波成分;該信號經(jīng)過10ms的均方根(RMS)平滑算法后分為兩路信號:一路經(jīng)過400~500ms的平均處理后成為主控制通道信號,用于輸出控制;另一路經(jīng)過50ms的平均處理后成為輔助控制通道信號,用來判斷主通道信號是由受試者閉眼產(chǎn)生的真實α波增幅信號還是其它干擾所引起的噪聲信號。其判斷方法是將主通道信號與門限電壓進行比較,如果超越門限電壓,再與輔助控制通道信號進行比較以判斷是否真實α波增幅信號。信號處理流程最后將實際α波增幅信號作為控制信號輸出給接口電路并產(chǎn)生提示音給操作者。

對于本發(fā)明整個系統(tǒng)而言需要確定四個關(guān)鍵技術(shù)參數(shù):其一是光標(biāo)動作閾值,其二是開關(guān)閾值電壓,其三是動作時間常數(shù),對應(yīng)于控制面板上指示燈切換前持續(xù)閃爍的時間,其四是各種干擾所引起的最大背景噪聲電壓。上述第一個參數(shù)反映操作者在閉眼想象光標(biāo)左右(或上下)運動狀態(tài)之間α波幅的差別;第二個參數(shù)反映操作者在睜、閉眼狀態(tài)之間α波幅的差別;第三個參數(shù)反映操作者閉眼后α波幅超過閾值電壓所需時間;第四個參數(shù)對判斷主控制通道信號是真實α波控制信號還是干擾噪聲具有重要的參考價值。下面對這四個參數(shù)的確定做一介紹。

光標(biāo)動作閾值:

把操作者閉眼想象光標(biāo)向左(或上)運動時α波幅平均值記為Vleft,閉眼想象光標(biāo)向右(或下)運動時α波幅平均值記為Vright,其差值記為Vm,則操作者的開關(guān)閾值電壓參考值Vrm可按下面經(jīng)驗公式計算:

Vrm=Vright+0.8Vm(1)

式中0.8是操作者兩種想象動作狀態(tài)下α波幅差異的調(diào)整系數(shù)。

開關(guān)閾值電壓:

把操作者睜眼時α波幅平均值記為Vopen,閉眼時α波幅平均值記為Vclose,其差值記為Vd,則操作者的開關(guān)閾值電壓參考值Vref可按下面經(jīng)驗公式計算:

Vref=Vopen+0.8Vd(2)

式中0.8是操作者睜、閉眼狀態(tài)下α波幅差異的增益系數(shù)。本發(fā)明對不同操作者采用相同的閾值電壓,可根據(jù)不同的控制目標(biāo)與任務(wù)來選取相應(yīng)的開關(guān)閾值電壓設(shè)定方案。

動作時間常數(shù):

如前述,動作時間常數(shù)反映了操作者后α波幅超過閾值電壓所需時間,本發(fā)明采用相同增益系數(shù)值,按上述方法確定各操作者的開關(guān)控制閾值電壓,并用該系統(tǒng)測試操作者的動作時間值。為了獲得較穩(wěn)定可靠的數(shù)據(jù),要求每個操作者重復(fù)操作試驗25次,考慮到系統(tǒng)硬件采集、信號處理所需時間和個體差異,本發(fā)明選取動作時間數(shù)據(jù)記錄中的最大值作為BCI系統(tǒng)的動作時間常數(shù)。

最大背景噪聲電壓:

操作過程中會出現(xiàn)很多干擾因素(包括眼電、肌電信號和周圍環(huán)境噪聲干擾)。在上述干擾出現(xiàn)時動作平均數(shù)值會伴隨動作的發(fā)生或環(huán)境的變化而出現(xiàn)相應(yīng)的改變,超出正常范圍很多。為警示大幅度干擾出現(xiàn)情況,本發(fā)明在主通道之外另在副通道上設(shè)定一個干擾警戒值(超過門限電壓,在可能出現(xiàn)的大幅度干擾范圍之內(nèi)),如果是超過這個警戒值就認為主通道的控制信號可能是由干擾引起的而非有意識控制下α波幅度的增加,從而抑制主通道控制信號的輸出。

16位受試者運用本發(fā)明的計算機屏幕鼠標(biāo)光標(biāo)運動控制系統(tǒng)進行基本控制特性實驗。該實驗?zāi)康氖峭ㄟ^對受試者的數(shù)據(jù)分析來考察系統(tǒng)的控制方案可行性和易操作性及控制速度。受試者均為青年學(xué)生(男女各半,平均年齡為25.2歲)。實驗包括四個階段,每個階段要求受試者進行20次連續(xù)選擇控制。受試者均未經(jīng)過先期訓(xùn)練,選擇控制任務(wù)的順序在實驗中隨機給出。從發(fā)出控制任務(wù)命令開始計時,到控制目標(biāo)方向被選中、指示燈被點亮(表示完成一項控制任務(wù)),則計時停止,依次進行20次;如果被點亮的指示燈不是控制任務(wù)命令所要選中的方向,則記為一個錯誤。實驗時間記錄嚴格在相同實驗條件下由同一實驗者負責(zé)進行。

對每個受試者記錄了在四個階段連續(xù)20個目標(biāo)選擇過程中的正確選擇時間(含最大值、最小值、