虛擬現(xiàn)實(shí)(VR)與數(shù)據(jù)手套的研究

虛擬現(xiàn)實(shí)技術(shù)簡(jiǎn)介

    虛擬現(xiàn)實(shí)(Virtual Reality,簡(jiǎn)稱(chēng)VR)技術(shù)是近年來(lái)最熱門(mén)的研究領(lǐng)域之一，有著巨大的發(fā)展?jié)摿蛷V泛的應(yīng)用前景，受到各界、尤其是軍方的青睞。

    虛擬現(xiàn)實(shí)是一種虛擬的沉浸式交互環(huán)境,具體地說(shuō),就是采用以計(jì)算機(jī)技術(shù)為核心的現(xiàn)代高科技生成逼真的視、聽(tīng)、觸覺(jué)一體化的特定范圍的虛擬環(huán)境,用戶(hù)借助必要的設(shè)備以自然的方式與虛擬環(huán)境中的對(duì)象進(jìn)行交互作用、相互影響,從而產(chǎn)生“沉浸”于等同真實(shí)環(huán)境的感受和體驗(yàn)。VR帶來(lái)了人機(jī)交互的新概念、新內(nèi)容、新方式和新方法,使人機(jī)交互的內(nèi)容更加豐富、形象,方式更加自然、和諧。

    手是人與外界進(jìn)行物理接觸及意識(shí)表達(dá)的主要媒介。當(dāng)人與計(jì)算機(jī)控制系統(tǒng)進(jìn)行交互操作時(shí),傳統(tǒng)的輸入輸出接口設(shè)備,如鍵盤(pán)、鼠標(biāo)等只能限制手在桌面上或一個(gè)小區(qū)域內(nèi)進(jìn)行簡(jiǎn)單的運(yùn)動(dòng)控制,而表達(dá)意識(shí)的大多數(shù)手的自然運(yùn)動(dòng)被犧牲了,妨礙了人們對(duì)系統(tǒng)控制意識(shí)表達(dá)的全面性與靈活性。數(shù)據(jù)手套可以跟蹤操作者靈活多變的手勢(shì)及空間方位,使操作者自然而然地將自己的意識(shí)傳送至計(jì)算機(jī)。因此數(shù)據(jù)手套作為一種重要的人機(jī)交互接口,廣泛地應(yīng)用于虛擬現(xiàn)實(shí)的研究領(lǐng)域中。

    本文分析了幾種不同的數(shù)據(jù)手套性能,并進(jìn)一步闡述作者在數(shù)據(jù)手套研制方面所做的工作。

虛擬現(xiàn)實(shí)簡(jiǎn)介

    1. 1　虛擬現(xiàn)實(shí)的基本構(gòu)成及其分類(lèi)

    在虛擬的現(xiàn)實(shí)中,人們利用頭盔顯示器、圖形眼鏡、數(shù)據(jù)服、立體聲耳機(jī)、數(shù)據(jù)手套及腳踏板等多維輸入輸出設(shè)備通過(guò)傳感器裝置與計(jì)算機(jī)生成的三維虛擬環(huán)境交互作用,可獲得視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多種感知反饋,并按照自己的意愿去實(shí)時(shí)地改變虛擬環(huán)境。

    虛擬現(xiàn)實(shí)系統(tǒng)構(gòu)成模型如圖1所示。

    虛擬現(xiàn)實(shí)系統(tǒng)中包括人件(HumanWare) 、媒體件(MediaWare) 、數(shù)據(jù)件(DataWare)和網(wǎng)絡(luò)件(NetworkWare) 4部分。

    人是虛擬現(xiàn)實(shí)系統(tǒng)的“核心”,人能與虛擬世界對(duì)話,體驗(yàn)虛擬世界的臨境感,人的參與使虛擬現(xiàn)實(shí)更為重要。

    媒體件將從聽(tīng)覺(jué)、視覺(jué)和觸覺(jué)得到的信息加以綜合,并以和諧的形式進(jìn)行反饋處理。

    數(shù)據(jù)件和網(wǎng)絡(luò)件是指在虛擬現(xiàn)實(shí)中需要進(jìn)行雙向會(huì)話和數(shù)據(jù)交流,必須依賴(lài)面向?qū)ο蟮臄?shù)據(jù)庫(kù)和網(wǎng)絡(luò)通訊等基礎(chǔ)設(shè)施。

    虛擬現(xiàn)實(shí)系統(tǒng)按其功能高低大體分為4類(lèi):

    一是桌面虛擬現(xiàn)實(shí)系統(tǒng),也稱(chēng)窗口中的VR。它主要在臺(tái)式計(jì)算機(jī)上實(shí)現(xiàn),所以成本低,功能也最簡(jiǎn)單,主要用于CAD、CAM、建筑設(shè)計(jì)、桌面游戲等領(lǐng)域。

    二是沉浸虛擬現(xiàn)實(shí)系統(tǒng),如各種用途的體驗(yàn)器,使人有身臨其境的感覺(jué),各種培訓(xùn)、演示以及高級(jí)游戲等用途均可用這種系統(tǒng)。

    三是分布式虛擬現(xiàn)實(shí)系統(tǒng),它在因特網(wǎng)環(huán)境下,充分利用分布于各地的資源,協(xié)同開(kāi)發(fā)各種虛擬現(xiàn)實(shí)的利用。它通常是沉浸虛擬現(xiàn)實(shí)系統(tǒng)的發(fā)展,也就是把分布于不同地方的沉浸虛擬現(xiàn)實(shí)系統(tǒng),通過(guò)因特網(wǎng)連接起來(lái),共同實(shí)現(xiàn)某種用途。美國(guó)大型軍用交互仿真系統(tǒng)NPSNET以及因特網(wǎng)上多人游戲MUD便是這類(lèi)系統(tǒng)。

    四是增強(qiáng)現(xiàn)實(shí)或混合現(xiàn)實(shí)系統(tǒng)。它是把真實(shí)環(huán)境和虛擬環(huán)境結(jié)合起來(lái)的一種系統(tǒng),既可減少構(gòu)成復(fù)雜真實(shí)環(huán)境的開(kāi)銷(xiāo),又可對(duì)實(shí)際物體進(jìn)行操作,真正達(dá)到了亦真亦幻的境界,是今后的發(fā)展方向之一。

虛擬現(xiàn)實(shí)的主要特征和關(guān)鍵技術(shù)

    總的來(lái)說(shuō),虛擬現(xiàn)實(shí)具備以下主要特征:

    (1)投入性

    投入性是虛擬現(xiàn)實(shí)最主要的技術(shù)特征。要讓用戶(hù)覺(jué)得自己是虛擬環(huán)境中的一部分,而不是旁觀者,力圖使用戶(hù)在計(jì)算機(jī)所創(chuàng)建的三維虛擬環(huán)境中處于一種“全身心投入”的狀態(tài),有身臨其境的感覺(jué),即所謂的“沉浸感”。正是這種“沉浸感”特性使虛擬現(xiàn)實(shí)與一般的交互式三維計(jì)算機(jī)圖形有較大的不同,用戶(hù)可以暫時(shí)與現(xiàn)實(shí)環(huán)境隔離,沉浸于數(shù)據(jù)空間、從數(shù)據(jù)空間向外觀察,以更自然、更直接的方式與數(shù)據(jù)交互,從而能真實(shí)地注視數(shù)據(jù)。理想的虛擬環(huán)境應(yīng)該達(dá)到使用戶(hù)難以分辨真假的程度(例如可視場(chǎng)景應(yīng)隨著視點(diǎn)的變化而變化) ,甚至超越真實(shí),如實(shí)現(xiàn)比現(xiàn)實(shí)更逼真的照明和音響效果等。

    (2)交互性

    交互性是人機(jī)和諧的關(guān)鍵因素。指用戶(hù)通過(guò)使用專(zhuān)用設(shè)備,用人類(lèi)的自然技能實(shí)現(xiàn)對(duì)模擬環(huán)境的考察和操作的程度,即用戶(hù)與虛擬場(chǎng)景中各種對(duì)象相互作用的能力,包含對(duì)象的可操作程度及用戶(hù)從環(huán)境中得到反饋的自然程度(包括時(shí)實(shí)性) 。虛擬場(chǎng)景中,對(duì)象應(yīng)正確地模擬物理、化學(xué)等自然界應(yīng)遵守的定理。

    (3)構(gòu)想性

    虛擬現(xiàn)實(shí)不僅僅是一個(gè)用戶(hù)與終端的接口,用戶(hù)還可以沉浸在多維信息空間中,依靠自己的感知和認(rèn)知能力全方位地從環(huán)境中獲取新的知識(shí),提高感性和理性認(rèn)識(shí),產(chǎn)生新的構(gòu)想。若將構(gòu)想結(jié)果再次輸入到系統(tǒng)中,處理結(jié)果可實(shí)時(shí)顯示或由感受裝置反饋給用戶(hù),如此反復(fù),形成一個(gè)學(xué)習(xí)—?jiǎng)?chuàng)造—再學(xué)習(xí)—再創(chuàng)造的過(guò)程,因而,虛擬現(xiàn)實(shí)能啟發(fā)人的創(chuàng)造性思維。伴隨網(wǎng)絡(luò)技術(shù)的發(fā)展,或許今后通過(guò)虛擬現(xiàn)實(shí)技術(shù)學(xué)習(xí)的可以是一臺(tái)機(jī)器,它具有極強(qiáng)的數(shù)據(jù)處理能力及認(rèn)知能力,通過(guò)對(duì)虛擬現(xiàn)實(shí)環(huán)境的訪問(wèn),將獲取的知識(shí)加入自己的知識(shí)庫(kù),并控制下一步動(dòng)作。

虛擬現(xiàn)實(shí)是多種技術(shù)的綜合

    其關(guān)鍵技術(shù)包括以下幾個(gè)方面:

    (1)動(dòng)態(tài)環(huán)境建模技術(shù)

    虛擬環(huán)境的建立是虛擬現(xiàn)實(shí)技術(shù)的核心內(nèi)容。動(dòng)態(tài)環(huán)境建模技術(shù)的目的是獲取實(shí)際環(huán)境的三維數(shù)據(jù),并根據(jù)應(yīng)用的需要,利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型,以求有真實(shí)感。三維數(shù)據(jù)的獲取可以采用CAD 技術(shù)(有規(guī)則的環(huán)境) ,而更多的環(huán)境則需要采用非接觸式的視覺(jué)建模技術(shù),兩者的有機(jī)結(jié)合可以有效地提高數(shù)據(jù)獲取的效率。

    (2)實(shí)時(shí)三維圖形系統(tǒng)和虛擬現(xiàn)實(shí)交互技術(shù)

    利用實(shí)時(shí)三維圖形系統(tǒng),可以生成有逼真感的圖形,圖像具有三維全彩色、明暗、紋理和陰影等特征。虛擬現(xiàn)實(shí)是一種交互式和先進(jìn)的計(jì)算機(jī)顯示技術(shù),雙向?qū)υ捠撬囊环N重要工作方式,為虛擬環(huán)境提供了一種新的人機(jī)接口。

    (3)傳感器技術(shù)

    虛擬現(xiàn)實(shí)的交互能力,例如,顯示以及拾取技術(shù),均依賴(lài)于傳感器技術(shù)的發(fā)展。而現(xiàn)有的傳感器的精度還遠(yuǎn)遠(yuǎn)不能滿足系統(tǒng)的需要。例如,數(shù)據(jù)手套的專(zhuān)用傳感器就存在工作頻帶窄、分辨率低、作用范圍小、使用不便等缺陷,因而尋找和制作新型、高質(zhì)量的傳感器變成了該領(lǐng)域的首要問(wèn)題。

    (4)開(kāi)發(fā)和系統(tǒng)集成技術(shù)工具

    虛擬現(xiàn)實(shí)應(yīng)用的關(guān)鍵是尋找合適的場(chǎng)合和對(duì)象,即如何發(fā)揮想象力和創(chuàng)造力。選擇適當(dāng)?shù)膽?yīng)用對(duì)象可以大幅度地提高生產(chǎn)效率、減輕勞動(dòng)強(qiáng)度、提高產(chǎn)品開(kāi)發(fā)質(zhì)量。為了達(dá)到這一目的,必須研究虛擬現(xiàn)實(shí)的開(kāi)發(fā)工具。例如,虛擬現(xiàn)實(shí)系統(tǒng)開(kāi)發(fā)平臺(tái)、分布式虛擬現(xiàn)實(shí)技術(shù)等。

    由于虛擬現(xiàn)實(shí)中包括大量的感知信息和模型,因此系統(tǒng)的集成技術(shù)起著至關(guān)重要的作用。集成技術(shù)包括信息的同步技術(shù)、模型的標(biāo)定技術(shù)、數(shù)據(jù)轉(zhuǎn)換技術(shù)、數(shù)據(jù)管理模型、識(shí)別和合成技術(shù)等等。

數(shù)據(jù)手套

    2. 1　數(shù)據(jù)手套實(shí)現(xiàn)的一般基理

    數(shù)據(jù)手套是虛擬現(xiàn)實(shí)系統(tǒng)的重要組成部分,是一種通用的人機(jī)接口,其直接目的在于實(shí)時(shí)獲取人手的動(dòng)作姿態(tài),以便在虛擬環(huán)境中再現(xiàn)人手動(dòng)作,達(dá)到理想的人機(jī)交互目的。

    數(shù)據(jù)手套實(shí)現(xiàn)的關(guān)鍵在于手掌、手指及手腕的各個(gè)有效部位的彎曲、外展等測(cè)量以及在此基礎(chǔ)上的姿態(tài)的反演。完成反演主要取決于人體手部姿態(tài)的建模,最根本的就是,確定傳感器測(cè)量數(shù)據(jù)和手部各關(guān)節(jié)運(yùn)動(dòng)姿態(tài)的對(duì)應(yīng)關(guān)系。

    對(duì)一個(gè)具體的數(shù)據(jù)手套應(yīng)用過(guò)程,可設(shè)由手部各彎角組成的向量f = ( f1 , f2 , ⋯, fn )與對(duì)應(yīng)傳感器示數(shù)組成的向量d = ( d1 , d2 , ⋯, dn ) 。顯然f和d之間存在著強(qiáng)耦合的映射關(guān)系。數(shù)據(jù)手套的實(shí)現(xiàn)即是根據(jù)示數(shù)向量d, 找出原映射關(guān)系的逆映射,從而反演出手部各部位的姿態(tài)。

    手部軟組織的存在,是人手和機(jī)械手區(qū)別的主要差異,使得人手無(wú)法和普通的剛性桿鉸鏈相比,這就加大了問(wèn)題求解的復(fù)雜性。手部某一關(guān)節(jié)的運(yùn)動(dòng),不僅會(huì)作用于對(duì)應(yīng)的傳感器的示數(shù)發(fā)生變化,而且通過(guò)軟組織的相互作用,使其他的傳感器示數(shù)也發(fā)生變化。如果要求保證一定的精度,必須對(duì)求得的逆映射進(jìn)行解耦計(jì)算。

    由于數(shù)據(jù)手套的傳感器數(shù)目較多,而且響應(yīng)的標(biāo)定和解耦計(jì)算十分復(fù)雜,進(jìn)行實(shí)時(shí)處理時(shí)困難較大,因此,目前數(shù)據(jù)手套的發(fā)展與應(yīng)用只是處于初級(jí)階段,還不十分成熟。

目前各種數(shù)據(jù)手套的比較

    國(guó)內(nèi)外許多研究單位和公司在數(shù)據(jù)手套的研制開(kāi)發(fā)方面做了大量的工作,并推出了一些采用不同傳感器的數(shù)據(jù)手套產(chǎn)品,得到較成功的應(yīng)用。下面分析幾個(gè)主要產(chǎn)品的各項(xiàng)性能指標(biāo)。

    (1) Dataglove (已注冊(cè)商標(biāo))是VPL 公司于20世紀(jì)90年代推出的最早的數(shù)據(jù)手套,以模型4(根據(jù)手套模型的自由度區(qū)分手套型號(hào))為例說(shuō)明:

    手套本體材料:氯丁二烯橡膠布。

    傳感器:專(zhuān)利技術(shù)“光纖彎曲傳感器”。

    自由度(DOF) :手指關(guān)節(jié)的彎曲和外展、大拇指的復(fù)雜動(dòng)作。

    空間定位:根據(jù)應(yīng)用場(chǎng)合可選擇三維空間的單獨(dú)跟蹤、快速跟蹤或其他跟蹤系統(tǒng)。

    測(cè)量精度: < 5°。

    最大采樣頻率: 160 Hz。

    接口: RS232,最高波特率115. 2 kbp s。

    應(yīng)用情況:被設(shè)計(jì)適用于VR的醫(yī)學(xué)應(yīng)用,能作為功能評(píng)估、擊打損傷恢復(fù)、生物工程、運(yùn)動(dòng)生理等輸入設(shè)備。

    評(píng)價(jià):專(zhuān)利傳感器技術(shù),結(jié)構(gòu)緊湊,佩戴舒適,輕便易用;采用桌面控制模塊,能同時(shí)支持系4副手套;但是容易受用戶(hù)手尺大小影響,應(yīng)用過(guò)程中需要重新校正(防止手套與手指之間滑動(dòng)帶來(lái)的誤差) ,另外光纖的疲勞問(wèn)題(光纖使用時(shí)間過(guò)長(zhǎng)導(dǎo)致精度下降或折斷)也值得注意。

    (2) Cyberglove是Virtual Technologies公司于1991年推出的。

    手套本體材料:彈性纖維,可拉伸,尺寸固定。

    傳感器:專(zhuān)利技術(shù)“壓電傳感器”。

    自由度(DOF) :手指關(guān)節(jié)的彎曲和外展、大拇指、手掌彎曲、手腕的彎曲和外展。

    空間定位:手腕處可安裝六自由度跟蹤器。

    測(cè)量精度: 0. 5°。

    最大采樣頻率: 112 Hz。

    接口: RS232,最高波特率115. 2 kbp s。

    應(yīng)用情況:可用于是虛擬現(xiàn)實(shí)、遙控機(jī)器人、醫(yī)學(xué)、CAD、手語(yǔ)識(shí)別、視頻游戲、音樂(lè)生成、手功能分析等。

    評(píng)價(jià):質(zhì)地很輕,佩戴舒適,手掌處成網(wǎng)狀易于通風(fēng),指尖露出,便于用戶(hù)抓取、寫(xiě)字等;專(zhuān)利“壓電傳感器”具有良好的線性和強(qiáng)健性,體型細(xì)小、柔軟,對(duì)彎曲基本無(wú)阻力,受安裝位置和手指的彎曲曲率半徑影響很小,保證傳感器準(zhǔn)確可重復(fù)地測(cè)量手部運(yùn)動(dòng),并對(duì)所有用戶(hù)校正標(biāo)準(zhǔn)一致。

    (3) Dataglove是5DT公司于1995年推出的數(shù)據(jù)手套系列(以5DTDataglove5為例) 。

    手套本體材料:彈性纖維,手套尺寸固定,適用面廣,分左右手。

    傳感器:光纖傳感器。

    自由度(DOF) : 5個(gè)手指的彎曲傳感器、手掌的傾斜和轉(zhuǎn)動(dòng)。

    空間定位:無(wú),可通過(guò)增加三維跟蹤器來(lái)實(shí)現(xiàn)。

    測(cè)量精度: 8位A /D采樣,漂移擾動(dòng)小。

    最大采樣頻率: 200 Hz。

    接口: RS232,支持無(wú)線收發(fā)。

    應(yīng)用情況:被設(shè)計(jì)為三維輸入設(shè)備,適合對(duì)虛擬世界的控制和操作,手勢(shì)識(shí)別,物理療法和物理復(fù)原,遠(yuǎn)程機(jī)器人的控制等。

    評(píng)價(jià):質(zhì)量有保證,適合大眾的尺寸,左右手版本,佩戴非常舒適; PC的ISA總線可同時(shí)連接4個(gè)手套,開(kāi)放式結(jié)構(gòu),鼠標(biāo)仿真模式, VR 程序驅(qū)動(dòng),有DOS和W indows下的軟件開(kāi)發(fā)包;但是對(duì)不同用戶(hù)需要重新校正,同樣也存在疲勞問(wèn)題。

數(shù)據(jù)手套應(yīng)用現(xiàn)狀及今后的研制發(fā)展方向

    隨著虛擬現(xiàn)實(shí)技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用,數(shù)據(jù)手套的研制和應(yīng)用也不斷深入。例如,美國(guó)宇航局的Ames實(shí)驗(yàn)室將數(shù)據(jù)手套工程化,使其成為可用性較高的產(chǎn)品,在約翰遜空間中心完成空間站操縱的實(shí)時(shí)仿真。美國(guó)Boneing公司制造了一架虛擬飛機(jī),運(yùn)用數(shù)據(jù)手套進(jìn)行控制,從而觀察設(shè)計(jì)結(jié)果,考察性能指標(biāo)。NEC公司開(kāi)發(fā)的虛擬現(xiàn)實(shí)系統(tǒng),操作者通過(guò)使用數(shù)據(jù)手套可以處理三維CAD中的形體模型。國(guó)內(nèi)的研究也取得了一批成果。

    目前數(shù)據(jù)手套研究領(lǐng)域中仍存在著許多沒(méi)有解決的理論問(wèn)題和尚未克服的技術(shù)難點(diǎn),需要人們?nèi)ヌ剿骱蛯ふ医鉀Q之道。今后研究的重點(diǎn)主要有以下幾方面:

    (1)研制開(kāi)發(fā)能夠滿足數(shù)據(jù)手套實(shí)用性要求的新型傳感器

    傳感器技術(shù)是數(shù)據(jù)手套系統(tǒng)中的核心和關(guān)鍵技術(shù),數(shù)據(jù)手套的交互能力直接取決于傳感器的性能。目前盡管已經(jīng)出現(xiàn)了多種數(shù)據(jù)手套專(zhuān)用傳感器,但還不能真正滿足數(shù)據(jù)手套的實(shí)用性要求。因此采用新技術(shù)、新材料、新結(jié)構(gòu),研制出精度高、體積小、成本低、不易損壞、易于更換的高性能傳感器,是數(shù)據(jù)手套能否進(jìn)一步商品化、實(shí)用化的關(guān)鍵。

    (2)研制技術(shù)成熟、性能可靠的力反饋裝置

    手指力反饋裝置的研究對(duì)數(shù)據(jù)手套的應(yīng)用意義重大。具有力反饋功能的數(shù)據(jù)手套不但可以使用戶(hù)以較自然的方式將自己的手部動(dòng)作傳遞給虛擬環(huán)境,實(shí)現(xiàn)對(duì)虛擬環(huán)境的操作,也可以使用戶(hù)利用觸覺(jué)和力覺(jué)反饋信息,得到真實(shí)的“沉浸感”,尤其對(duì)機(jī)器人技術(shù)力反饋是至關(guān)重要的。目前這種數(shù)據(jù)手套不多,技術(shù)不夠成熟,需進(jìn)一步提高性能,降低價(jià)格,增強(qiáng)實(shí)用性。

    (3)硬件接口及軟件環(huán)境的深入開(kāi)發(fā)

    進(jìn)一步開(kāi)發(fā)各種數(shù)據(jù)手套通用的接口及專(zhuān)用軟件,使其具備良好的可移植性、可擴(kuò)充性,方便以后用戶(hù)系統(tǒng)的更新升級(jí)。

    (4)進(jìn)一步提高設(shè)計(jì)工藝要求

    在數(shù)據(jù)手套及其部件的選材、設(shè)計(jì)組裝等方面下功夫,既要佩戴方便舒適,又要易于組裝維護(hù),進(jìn)一步提高整體性能。