正如其它新興科學(xué)技術(shù)一樣,虛擬現(xiàn)實技術(shù)也是許多相關(guān)學(xué)科領(lǐng)域交叉、集成的產(chǎn)物。
它的研究內(nèi)容涉及到人工智能、計算機科學(xué)、電子學(xué)、傳感器、計算機圖形學(xué)、智能控制、心理學(xué)等。我們必須清醒地認(rèn)識到,雖然這個領(lǐng)域的技術(shù)潛力是巨大的,應(yīng)用前景也是很廣闊的,但仍存在著許多尚未解決的理論問題和尚未克服的技術(shù)障礙?陀^而論,目前虛擬現(xiàn)實技術(shù)所取得的成就,絕大部分還僅僅限于擴展了計算機的接口能力,僅僅是剛剛開始涉及到人的感知系統(tǒng)和肌肉系統(tǒng)與計算機的結(jié)合作用問題,還根本未涉及“人在實踐中得到的感覺信息是怎樣在人的大腦中存儲和加工處理成為人對客觀世界的認(rèn)識”這一重要過程。只有當(dāng)真正開始涉及并找到對這些問題的技術(shù)實現(xiàn)途徑時,人和信息處理系統(tǒng)間的隔閡才有可能被徹底的克服了。我們期待這有朝一日,虛擬現(xiàn)實系統(tǒng)成為一種對多維信息處理的強大系統(tǒng),成為人進(jìn)行思維和創(chuàng)造的助手和對人們已有的概念進(jìn)行深化和獲取新概念的有力工具。
就像電影《黑客帝國》里描述的那樣,未來的我們竟可以生活在一個由電腦控制的虛擬世界里。在這個世界里,我們同樣擁有各種感覺,同樣擁有親戚朋友,同樣擁有工作,同樣擁有現(xiàn)實世界的一切“真實”。只是,這一切都是虛擬的。
人類有許多夢想,一些夢想已經(jīng)變?yōu)楝F(xiàn)實,而有一些夢想也許永遠(yuǎn)都不可能實現(xiàn)。然而,有一種技術(shù)卻能使一切夢想全部實現(xiàn),這就是虛擬現(xiàn)實技術(shù)(Virtual Reality,簡稱VR)。
虛擬現(xiàn)實是在計算機圖形學(xué)、計算機仿真技術(shù)、人機接口技術(shù)、多媒體技術(shù)以及傳感技術(shù)的基礎(chǔ)上發(fā)展起來的交叉學(xué)科,對該技術(shù)的研究始于20世紀(jì)60年代。直到90年代初,虛擬現(xiàn)實技術(shù)才開始作為一門較完整的體系而受到人們極大的關(guān)注。
概括地說,虛擬現(xiàn)實是人們通過計算機對復(fù)雜數(shù)據(jù)進(jìn)行可視化操作與交互的一種全新方式,與傳統(tǒng)的人機界面以及流行的視窗操作相比,虛擬現(xiàn)實在技術(shù)思想上有了質(zhì)的飛躍。
虛擬現(xiàn)實中的“現(xiàn)實”是泛指在物理意義上或功能意義上存在于世界上的任何事物或環(huán)境,它可以是實際上可實現(xiàn)的,也可以是實際上難以實現(xiàn)的或根本無法實現(xiàn)的。而“虛擬”是指用計算機生成的意思。因此,虛擬現(xiàn)實是指用計算機生成的一種特殊環(huán)境,人可以通過使用各種特殊裝置將自己“投射”到這個環(huán)境中,并操作、控制環(huán)境,實現(xiàn)特殊的目的,即人是這種環(huán)境的主宰。
從本質(zhì)上來說,虛擬現(xiàn)實就是一種先進(jìn)的計算機用戶接口,它通過給用戶同時提供諸如視覺、聽覺、觸覺等各種直觀而又自然的實時感知交互手段,最大限度地方便用戶的操作。根據(jù)虛擬現(xiàn)實技術(shù)所應(yīng)用的對象不同,其作用可表現(xiàn)為不同的形式,例如將某種概念設(shè)計或構(gòu)思可視化和可操作化,實現(xiàn)逼真的遙控現(xiàn)場效果,達(dá)到任意復(fù)雜環(huán)境下的廉價模擬訓(xùn)練目的等。
虛擬現(xiàn)實技術(shù)的主要特征有以下幾方面:
多感知性(Multi-Sensory)——所謂多感知是指除了一般計算機技術(shù)所具有的視覺感知之外,還有聽覺感知、力覺感知、觸覺感知、運動感知,甚至包括味覺感知、嗅覺感知等。理想的虛擬現(xiàn)實技術(shù)應(yīng)該具有一切人所具有的感知功能。由于相關(guān)技術(shù),特別是傳感技術(shù)的限制,目前虛擬現(xiàn)實技術(shù)所具有的感知功能僅限于視覺、聽覺、力覺、觸覺、運動等幾種。
浸沒感(Immersion)——又稱臨場感,指用戶感到作為主角存在于模擬環(huán)境中的真實程度。理想的模擬環(huán)境應(yīng)該使用戶難以分辨真假,使用戶全身心地投入到計算機創(chuàng)建的三維虛擬環(huán)境中,該環(huán)境中的一切看上去是真的,聽上去是真的,動起來是真的,甚至聞起來、嘗起來等一切感覺都是真的,如同在現(xiàn)實世界中的感覺一樣。
交互性(Interactivity)——指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度(包括實時性)。例如,用戶可以用手去直接抓取模擬環(huán)境中虛擬的物體,這時手有握著東西的感覺,并可以感覺物體的重量,視野中被抓的物體也能立刻隨著手的移動而移動。
構(gòu)想性(Imagination)——強調(diào)虛擬現(xiàn)實技術(shù)應(yīng)具有廣闊的可想像空間,可拓寬人類認(rèn)知范圍,不僅可再現(xiàn)真實存在的環(huán)境,也可以隨意構(gòu)想客觀不存在的甚至是不可能發(fā)生的環(huán)境。(
一般來說,一個完整的虛擬現(xiàn)實系統(tǒng)由虛擬環(huán)境、以高性能計算機為核心的虛擬環(huán)境處理器、以頭盔顯示器為核心的視覺系統(tǒng)、以語音識別、聲音合成與聲音定位為核心的聽覺系統(tǒng)、以方位跟蹤器、數(shù)據(jù)手套和數(shù)據(jù)衣為主體的身體方位姿態(tài)跟蹤設(shè)備,以及味覺、嗅覺、觸覺與力覺反饋系統(tǒng)等功能單元構(gòu)成。
這里,虛擬環(huán)境處理器是VR系統(tǒng)的心臟,完成虛擬世界的產(chǎn)生和處理功能。輸入設(shè)備給VR系統(tǒng)提供來自用戶的輸入,并允許用戶在虛擬環(huán)境中改變自己的位置、視線方向和視野,也允許改變虛擬環(huán)境中虛擬物體的位置和方向。而輸出設(shè)備是由VR系統(tǒng)把虛擬環(huán)境綜合產(chǎn)生的各種感官信息輸出給用戶,使用戶產(chǎn)生一種身臨其境的逼真感。其主要的研究內(nèi)容包括以下幾個方面:
動態(tài)環(huán)境建!摂M環(huán)境的建立是VR系統(tǒng)的核心內(nèi)容,動態(tài)環(huán)境建模技術(shù)的目的就是獲取實際環(huán)境的三維數(shù)據(jù),并根據(jù)應(yīng)用的需要建立相應(yīng)的虛擬環(huán)境模型。三維數(shù)據(jù)的獲取可以采用CAD技術(shù),更多的情況則需采用非接觸式的視覺技術(shù),兩者有機結(jié)合可以有效地提高數(shù)據(jù)獲取的效率。
實時三維圖形生成技術(shù)——三維圖形的生成技術(shù)已經(jīng)較為成熟,這里的關(guān)鍵是如何實現(xiàn)“實時”生成。為了達(dá)到實時的目的,至少要保證圖形的刷新頻率不低于15幀/秒,最好高于30幀/秒。
在不降低圖形的質(zhì)量和復(fù)雜程度的前提下,如何提高刷新頻率是該技術(shù)的主要內(nèi)容。
立體顯示和傳感器技術(shù)——虛擬現(xiàn)實的交互能力依賴于立體顯示和傳感器技術(shù)的發(fā)展,現(xiàn)有的設(shè)備遠(yuǎn)遠(yuǎn)不能滿足需要,比如頭盔式三維立體顯示器有以下缺點:過重(1.5 kg至2kg)、分辨率低(圖像質(zhì)量差)、延遲大(刷新頻率低)、行動不便(有線)、跟蹤精度低、視場不夠?qū)、眼睛容易疲勞等,因此有必要開發(fā)新的三維顯示技術(shù)。同樣,數(shù)據(jù)手套、數(shù)據(jù)衣服等都有延遲大、分辨率低、作用范圍小、使用不便等缺點。另外,力覺和觸覺傳感裝置的研究也有待進(jìn)一步深入,虛擬現(xiàn)實設(shè)備的跟蹤精度和跟蹤范圍也有待提高。
應(yīng)用系統(tǒng)開發(fā)工具——虛擬現(xiàn)實應(yīng)用的關(guān)鍵是尋找合適的場合和對象,即如何發(fā)揮想像力和創(chuàng)造性。選擇適當(dāng)?shù)膽?yīng)用對象可以大幅度提高生產(chǎn)效率,減輕勞動強度,提高產(chǎn)品質(zhì)量。為了達(dá)到這一目的,必須研究虛擬現(xiàn)實的開發(fā)工具,例如VR系統(tǒng)開發(fā)平臺、分布式虛擬現(xiàn)實技術(shù)等。
系統(tǒng)集成技術(shù)——由于VR系統(tǒng)中包括大量的感知信息和模型,因此系統(tǒng)集成技術(shù)起著至關(guān)重要的作用。集成技術(shù)包括信息的同步技術(shù)、模型的標(biāo)定技術(shù)、數(shù)據(jù)轉(zhuǎn)換技術(shù)、數(shù)據(jù)管理模型、識別與合成技術(shù)等等。
虛擬現(xiàn)實是多種技術(shù)的綜合,包括實時三維計算機圖形技術(shù),廣角(寬視野)立體顯示技術(shù),對觀察者頭、眼和手的跟蹤技術(shù),以及觸覺/力覺反饋、立體聲、語音輸入輸出技術(shù)等。下面對這些技術(shù)分別加以說明。
實時三維計算機圖形技術(shù)
相比較而言,利用計算機模型產(chǎn)生圖形圖像并不是太難的事情。如果有足夠準(zhǔn)確的模型,又有足夠的時間,我們就可以生成不同光照條件下各種物體的精確圖像,但是這里的關(guān)鍵是實時。例如在飛行模擬系統(tǒng)中,圖像的刷新相當(dāng)重要,同時對圖像質(zhì)量的要求也很高,再加上非常復(fù)雜的虛擬環(huán)境,問題就變得相當(dāng)困難。
廣角(寬視野)的立體顯示
人看周圍的世界時,由于兩只眼睛的位置不同,得到的圖像略有不同,這些圖像在腦子里融合起來,就形成了一個關(guān)于周圍世界的整體景象,這個景象中包括了距離遠(yuǎn)近的信息。當(dāng)然,距離信息也可以通過其他方法獲得,例如眼睛焦距的遠(yuǎn)近、物體大小的比較等。
在VR系統(tǒng)中,雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的,顯示在不同的顯示器上。有的系統(tǒng)采用單個顯示器,但用戶帶上特殊的眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛只能看到偶數(shù)幀圖像,奇、偶幀之間的不同也就是視差就產(chǎn)生了立體感。
用戶(頭、眼)的跟蹤:在人造環(huán)境中,每個物體相對于系統(tǒng)的坐標(biāo)系都有一個位置與姿態(tài),而用戶也是如此。用戶看到的景象是由用戶的位置和頭(眼)的方向來確定的。
跟蹤頭部運動的虛擬現(xiàn)實頭套:在傳統(tǒng)的計算機圖形技術(shù)中,視場的改變是通過鼠標(biāo)或鍵盤來實現(xiàn)的,用戶的視覺系統(tǒng)和運動感知系統(tǒng)是分離的,而利用頭部跟蹤來改變圖像的視角,用戶的視覺系統(tǒng)和運動感知系統(tǒng)之間就可以聯(lián)系起來,感覺更逼真。另一個優(yōu)點是,用戶不僅可以通過雙目立體視覺去認(rèn)識環(huán)境,而且可以通過頭部的運動去觀察環(huán)境。
在用戶與計算機的交互中,鍵盤和鼠標(biāo)是目前最常用的工具,但對于三維空間來說,它們都不太適合。在三維空間中因為有六個自由度,我們很難找出比較直觀的辦法把鼠標(biāo)的平面運動映射成三維空間的任意運動,F(xiàn)在,已經(jīng)有一些設(shè)備可以提供六個自由度,如3Space數(shù)字化儀和SpaceBall空間球等。另外一些性能比較優(yōu)異的設(shè)備是數(shù)據(jù)手套和數(shù)據(jù)衣。
立體聲
人能夠很好地判定聲源的方向。在水平方向上,我們靠聲音的相位差及強度的差別來確定聲音的方向,因為聲音到達(dá)兩只耳朵的時間或距離有所不同。常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實現(xiàn)的,所以會有一種方向感,F(xiàn)實生活里,當(dāng)頭部轉(zhuǎn)動時,聽到的聲音的方向就會改變。但目前在VR系統(tǒng)中,聲音的方向與用戶頭部的運動無關(guān)。
觸覺與力覺反饋
在一個VR系統(tǒng)中,用戶可以看到一個虛擬的杯子。你可以設(shè)法去抓住它,但是你的手沒有真正接觸杯子的感覺,并有可能穿過虛擬杯子的“表面”,而這在現(xiàn)實生活中是不可能的。解決這一問題的常用裝置是在手套內(nèi)層安裝一些可以振動的觸點來模擬觸覺。
語音輸入輸出
在VR系統(tǒng)中,語音的輸入輸出也很重要。這就要求虛擬環(huán)境能聽懂人的語言,并能與人實時交互。而讓計算機識別人的語音是相當(dāng)困難的,因為語音信號和自然語言信號有其“多邊性”和復(fù)雜性。例如,連續(xù)語音中詞與詞之間沒有明顯的停頓,同一詞、同一字的發(fā)音受前后詞、字的影響,不僅不同人說同一詞會有所不同,就是同一人發(fā)音也會受到心理、生理和環(huán)境的影響而有所不同。
使用人的自然語言作為計算機輸入目前有兩個問題,首先是效率問題,為便于計算機理解,輸入的語音可能會相當(dāng)羅嗦。其次是正確性問題,計算機理解語音的方法是對比匹配,而沒有人的智能。
在VR系統(tǒng)中,有許多有趣的、功能不同的專用設(shè)備,下面選一些代表性的設(shè)備加以介紹。
BOOM可移動式顯示器:它是一種半投入式視覺顯示設(shè)備。使用時,用戶可以把顯示器方便地置于眼前,不用時可以很快移開。BOOM使用小型的陰極射線管,產(chǎn)生的像素數(shù)遠(yuǎn)遠(yuǎn)小于液晶顯示屏,圖像比較柔和,分辨率為1280×1024像素,彩色圖像。
數(shù)據(jù)手套:數(shù)據(jù)手套是一種輸入裝置,它可以把人手的動作轉(zhuǎn)化為計算機的輸入信號。它由很輕的彈性材料構(gòu)成。該彈性材料緊貼在手上,同時附著許多位置、方向傳感器和光纖導(dǎo)線,以檢測手的運動。光纖可以測量每個手指的彎曲和伸展,而通過光電轉(zhuǎn)換,手指的動作信息可以被計算機識別。
TELETACT手套:它是一種用于觸覺和力覺反饋的裝置,利用小氣袋向手提供觸覺和力覺的刺激。這些小氣袋能被迅速地加壓和減壓。當(dāng)虛擬手接觸一件虛擬物體時,存儲在計算機里的該物體的力模式被調(diào)用,壓縮機迅速對氣袋充氣或放氣,使手部有一種非常精確的觸覺。
數(shù)據(jù)衣是為了讓VR系統(tǒng)識別全身運動而設(shè)計的輸入裝置。數(shù)據(jù)衣對人體大約50多個不同的關(guān)節(jié)進(jìn)行測量,包括膝蓋、手臂、軀干和腳。通過光電轉(zhuǎn)換,身體的運動信息被計算機識別。通過BOOM顯示器和數(shù)據(jù)手套與虛擬現(xiàn)實交互數(shù)據(jù)衣。
虛擬現(xiàn)實的本質(zhì)是人與計算機的通信技術(shù),它幾乎可以支持任何人類活動,適用于任何領(lǐng)域。
較早的虛擬現(xiàn)實產(chǎn)品是圖形仿真器,其概念在60年代被提出,到80年代逐步興起,90年代有產(chǎn)品問世。1992年世界上第一個虛擬現(xiàn)實開發(fā)工具問世,1993年眾多虛擬現(xiàn)實應(yīng)用系統(tǒng)出現(xiàn),1996年NPS公司使用慣性傳感器和全方位踏車將人的運動姿態(tài)集成到虛擬環(huán)境中。到1999年,虛擬現(xiàn)實技術(shù)應(yīng)用更為廣泛,涉足航天、軍事、通信、醫(yī)療、教育、娛樂、圖形、建筑和商業(yè)等各個領(lǐng)域。專家預(yù)測,隨著計算機軟、硬件技術(shù)的發(fā)展和價格的下降,預(yù)計本世紀(jì)虛擬現(xiàn)實技術(shù)會進(jìn)入家庭。
VR技術(shù)在醫(yī)療領(lǐng)域也大有作為。該技術(shù)可用于解剖教學(xué)、復(fù)雜手術(shù)過程的規(guī)劃,在手術(shù)過程中提供操作和信息上的輔助,預(yù)測手術(shù)結(jié)果等。另外,在遠(yuǎn)程醫(yī)療中,虛擬現(xiàn)實技術(shù)也很有潛力。例如在偏遠(yuǎn)的山區(qū),通過遠(yuǎn)程醫(yī)療虛擬現(xiàn)實系統(tǒng),患者不進(jìn)城也能夠接受名醫(yī)的治療。對于危急病人,還可以實施遠(yuǎn)程手術(shù)。醫(yī)生對病人模型進(jìn)行手術(shù),他的動作通過衛(wèi)星傳送到遠(yuǎn)處的手術(shù)機器人。手術(shù)的實際圖像通過機器人上的攝像機傳回醫(yī)生的頭盔立體顯示器,并將其和虛擬病人模型進(jìn)行疊加,為醫(yī)生提供有用的信息。美國斯坦福國際研究所已成功研制出遠(yuǎn)程手術(shù)醫(yī)療系統(tǒng)。
在航天領(lǐng)域,VR技術(shù)也非常重要。例如,失重是航天飛行中必須克服的困難,因為在失重情況下對物體的運動難以預(yù)測。為了在太空中進(jìn)行精確的操作,需要對宇航員進(jìn)行長時間的失重仿真訓(xùn)練。為了逼真地模擬太空中的情景,美國航天局NASA在“哈勃太空望遠(yuǎn)鏡的修復(fù)和維護(hù)”計劃中采用了VR仿真訓(xùn)練技術(shù)。
在訓(xùn)練中,宇航員坐在一個模擬的具有“載人操縱飛行器”功能并帶有傳感裝置的椅子上。椅子上有用于在虛擬空間中作直線運動的位移控制器和用于繞宇航員重心調(diào)節(jié)宇航員朝向的旋轉(zhuǎn)控制器。宇航員頭戴立體頭盔顯示器,用于顯示望遠(yuǎn)鏡、航天飛機和太空的模型,并用數(shù)據(jù)手套作為和系統(tǒng)進(jìn)行交互的手段。訓(xùn)練時宇航員在望遠(yuǎn)鏡周圍就可以進(jìn)行操作,并且通過虛擬手接觸操縱桿來抓住需要更換的“模塊更換儀”。抓住模塊更換儀后,宇航員就可以利用座椅的控制器在太空中飛行。
在對象可視化領(lǐng)域中,VR技術(shù)應(yīng)用的例子是模擬風(fēng)洞。模擬風(fēng)洞可以讓用戶看到模擬的空氣流場,使他感到就像真的站在風(fēng)洞里一樣。虛擬風(fēng)洞的目的是讓工程師分析多旋渦的復(fù)雜三維性和效果、空氣循環(huán)區(qū)域、旋渦被破壞的亂流等。例如,可以將一個航天飛機的CAD模型數(shù)據(jù)調(diào)入模擬風(fēng)洞進(jìn)行性能分析。為了分析氣流的模式,可以在空氣流中注入軌跡追蹤物,該追蹤物將隨氣流飄移,并把運動軌跡顯示給用戶。追蹤物可以通過數(shù)據(jù)手套投降到任意指定的位置,用戶可以從任意視角觀察其運動軌跡。
在軍事領(lǐng)域中,VR技術(shù)應(yīng)用的一個例子是“聯(lián)網(wǎng)軍事訓(xùn)練系統(tǒng)”。在該系統(tǒng)中,軍隊被布置在與實際車輛和指揮中心相同的位置,他們可以看到一個有山、樹、云彩、硝煙、道路、建筑物以及由其他部隊操縱的車輛的模擬戰(zhàn)場。這些由實際人員操作的車輛可以相互射擊,系統(tǒng)利用無線電通信和聲音來加強真實感。系統(tǒng)的每個用戶可以通過環(huán)境視點來觀察別人的行動。炮火的顯示極為真實,用戶可以看到被攻擊部隊炸毀的情況。從直升機上看到的場景也非常逼真。這個模擬系統(tǒng)可用來訓(xùn)練坦克、直升機和進(jìn)行軍事演習(xí),以及訓(xùn)練部隊之間的協(xié)同作戰(zhàn)能力。
當(dāng)然,虛擬現(xiàn)實技術(shù)的應(yīng)用遠(yuǎn)不止以上這些。隨著計算機技術(shù)的進(jìn)一步發(fā)展,虛擬現(xiàn)實與我們的生活將日益密切。