微美全息科學(xué)院：虛擬現(xiàn)實(shí)中基于眼電的人機(jī)交互技術(shù)

    虛擬現(xiàn)實(shí)技術(shù)作為一種先進(jìn)的計(jì)算機(jī)仿真模擬技術(shù)，目前已經(jīng)在多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。例如，在軍事領(lǐng)域，通過虛擬現(xiàn)實(shí)技術(shù)進(jìn)行軍事仿真演練，能以低廉的成本、逼真的效果最大程度地代替實(shí)戰(zhàn)訓(xùn)練，在讓官兵盡快熟悉武器裝備系統(tǒng)、提升部隊(duì)?wèi)?zhàn)斗力、節(jié)省開支、優(yōu)化資源配置、提高指揮決策水平等。

    在醫(yī)療與康復(fù)領(lǐng)域，對于肢體受傷的殘障患者，基于虛擬現(xiàn)實(shí)的康復(fù)訓(xùn)練可以為其提供有趣味性的綜合性訓(xùn)練、精確的感覺回饋、安全的訓(xùn)練環(huán)境。根據(jù)患者的心理狀態(tài)和病情，虛擬現(xiàn)實(shí)技術(shù)可以選擇相應(yīng)的康復(fù)訓(xùn)練場景和任務(wù)，以多種反饋形式激發(fā)和維持患者康復(fù)訓(xùn)練的主動(dòng)性，提高康復(fù)效果。

    沉浸感、交互性和構(gòu)想性是虛擬現(xiàn)實(shí)系統(tǒng)的三個(gè)基本特征。傳統(tǒng)的虛擬現(xiàn)實(shí)交互方式主要有VR手柄、數(shù)據(jù)手套、動(dòng)作捕捉等。隨著信息技術(shù)的不斷發(fā)展，虛擬現(xiàn)實(shí)的人機(jī)交互技術(shù)出現(xiàn)了一些新的方法，例如，基于腦電、肌電等神經(jīng)電信號的交互方式。這些不斷涌現(xiàn)的人機(jī)交互技術(shù)大大增強(qiáng)了虛擬現(xiàn)實(shí)的沉浸式體驗(yàn)。作為納斯達(dá)克上市企業(yè)“微美全息US.WIMI”旗下研究機(jī)構(gòu)“微美全息科學(xué)院”的科學(xué)家們對一種新型的虛擬現(xiàn)實(shí)交互技術(shù)-基于眼電（EOG）的交互技術(shù)進(jìn)行介紹。

    基于眼電的虛擬現(xiàn)實(shí)交互技術(shù)

    基于EOG信號的虛擬現(xiàn)實(shí)交互系統(tǒng)主要包括三個(gè)部分，分別是信號采集部分、眼電信號處理部分和虛擬現(xiàn)實(shí)場景部分，系統(tǒng)結(jié)構(gòu)圖如圖1所示。系統(tǒng)工作時(shí)，用戶實(shí)時(shí)接收來自虛擬現(xiàn)實(shí)場景的激勵(lì)信號，用戶根據(jù)激勵(lì)信號做出相應(yīng)的眼部動(dòng)作，信號采集設(shè)備實(shí)時(shí)采集用戶的EOG信號，然后通過一系列的信號處理，轉(zhuǎn)換成對虛擬現(xiàn)實(shí)場景的控制指令，使虛擬現(xiàn)實(shí)場景執(zhí)行相對應(yīng)的命令，同時(shí)以視覺的方式向用戶進(jìn)行反饋。

圖1. 基于眼電的虛擬現(xiàn)實(shí)交互系統(tǒng)

    1.1眼電信號采集

    眼電信號是由角膜和視網(wǎng)膜之間的電勢差而引起，可以用于反映眼球的運(yùn)動(dòng)，其幅值一般在0.4到10mV之間。相對于腦電信號來說，對眼電信號的采集較為簡單方便，通常只需要少量的幾個(gè)電極即可完成。如圖2所示，可以使用6個(gè)電極來采集眼電信號。其中，電極A和電極D分布在眼球周圍的上方和下方的位置，用于采集垂直方向上的眼電信號，其主要是由于眼球的上下運(yùn)動(dòng)或者眨眼而產(chǎn)生，電極B和電極C分布在眼球周圍的左側(cè)和右側(cè)的位置，用于采集水平方向上的眼電信號，其主要是由于眼球的左右運(yùn)動(dòng)而產(chǎn)生。人體眼球在進(jìn)行各種不同種類的運(yùn)動(dòng)時(shí)，會(huì)產(chǎn)生不同特征的EOG信號，可以通過設(shè)計(jì)相應(yīng)的算法對EOG信號的特征進(jìn)行識別從而將其轉(zhuǎn)化為外部設(shè)備的控制命令，構(gòu)建出基于EOG的人機(jī)交互系統(tǒng)。EOG信號相對于腦電信號而言，通常具有更高的幅值和更穩(wěn)定的波形形狀，因此，對EOG信號的檢測要更為容易。

圖2. 眼電電極分布示意

    1.2 眼電信號處理

    眼電信號處理主要包含信號預(yù)處理、特征提取、波形檢測和分類識別等幾大大步驟。

    （1）信號預(yù)處理

    對原始眼電信號進(jìn)行預(yù)處理的方法有很多，包括信號放大、基線校準(zhǔn)、偽跡去除、下采樣等方法。眼電信號所處的頻段較低，且原始的眼電信號中一般混雜有人體其它生物電信號和外界電力工頻噪聲的干擾信號，故在預(yù)處理環(huán)節(jié)，一般通過低通濾波、小波變換等方法來減弱或消除基線漂移和高頻噪聲帶來的干擾。

    （2）波形檢測

    波形檢測的基本原理是通過在上述預(yù)處理之后所得到的特征向量F（即差分后的眼電信號波形）的幅度和信號持續(xù)時(shí)間來判斷受試者是否執(zhí)行了有效的單次眨眼動(dòng)作。在圖3中可以觀察到，差分眼電信號波形中存在著非常明顯的峰-谷特性，且波谷出現(xiàn)在波峰之后。

圖3. 單次眨眼動(dòng)作產(chǎn)生的典型眼電信號波形差分前后對比圖

    對每一次激勵(lì)信號后的提取出的特征向量F波形檢測時(shí)，首先需要在F中找到波峰波谷的位置（具體方法為將特征向量F的極值點(diǎn)中數(shù)值最大的視為波峰，波峰對應(yīng)的時(shí)間點(diǎn)設(shè)為tpeak；極值點(diǎn)中數(shù)值最小的視為波谷，波谷對應(yīng)的時(shí)間點(diǎn)設(shè)為tvalley），然后對得到的對應(yīng)于不同激勵(lì)信號的特征向量F，分別計(jì)算每個(gè)特征向量中波峰和波谷之間的間隔時(shí)間tinterval和累積能量e，它們的計(jì)算方法如下式：

    最后，通過如下公式來判斷是否存在眨眼動(dòng)作：

其中，Tmin和Tmax為眨眼時(shí)間的上下閾值，E為眨眼能量閾值。

    （3）特征提取

    在進(jìn)行特征提取之前，一般要先提取出單個(gè)的眼電信號數(shù)據(jù)段，數(shù)據(jù)段的長度根據(jù)實(shí)際情況進(jìn)行設(shè)計(jì)，特征向量一般也針對單個(gè)周期的眼電信號進(jìn)行提取。需要注意的是，所提取的特征向量要能有效地代表眼電信號的特征，具有良好的區(qū)分性和獨(dú)立性，而且要易于計(jì)算。眼電信號特征提取的方法有基于信號波形的形狀特征提取法、小波變換法等等。

    （4）分類識別

    目前最常見的用于對眼電信號的特征進(jìn)行分類的方法莫過于閾值法，此外，像支持向量機(jī)、BP 神經(jīng)網(wǎng)絡(luò)、線性判別分析等方法也可以應(yīng)用到眼電信號的特征分類識別中來。每種方法都有各自的優(yōu)點(diǎn)和局限性，應(yīng)當(dāng)根據(jù)實(shí)際情況選擇最合適的處理方法。

    2. 結(jié)束語

    虛擬現(xiàn)實(shí)技術(shù)至今已有40年左右的發(fā)展歷程，傳統(tǒng)的虛擬現(xiàn)實(shí)交互方式主要有手柄、數(shù)據(jù)手套、動(dòng)作捕捉等。近些年來，一些研究開始把基于生物電信號（包括眼電、腦電等）的人機(jī)交互和虛擬現(xiàn)實(shí)相結(jié)合。結(jié)合的方式通常是設(shè)計(jì)一個(gè)虛擬沉浸式的三維圖形界面和反饋系統(tǒng)，其中用戶可以使用人體生物電信號作為通信媒介與虛擬環(huán)境進(jìn)行實(shí)時(shí)交互。這種基于生物電信號的虛擬現(xiàn)實(shí)交互技術(shù)的潛在發(fā)展前景主要包含兩個(gè)方面。一方面，生物電可以作為虛擬現(xiàn)實(shí)系統(tǒng)的一種新型輸入信號，改變了傳統(tǒng)的與虛擬環(huán)境交互的方式。與傳統(tǒng)設(shè)備相比，基于生物電信號的交互方式不需要依賴任何動(dòng)作和語言，交互過程更為簡單、直接。另一方面，虛擬現(xiàn)實(shí)技術(shù)也可以作為提高人機(jī)交互系統(tǒng)性能的一個(gè)有用工具。傳統(tǒng)的人機(jī)交互系統(tǒng)中，用戶界面通常是顯示在屏幕上的一些簡單的二維圖形，與之相比，虛擬現(xiàn)實(shí)可以為用戶提供更豐富多彩、更具有激勵(lì)性的刺激與反饋信息，有助于提高系統(tǒng)的性能與易用性。此外，虛擬現(xiàn)實(shí)也可以為各種人機(jī)交互技術(shù)的應(yīng)用原型提供一個(gè)安全、靈活的訓(xùn)練和測試平臺。