專家視角 | AR/VR 與智能制造實踐

    借助頭盔、眼鏡、耳機等虛擬現(xiàn)實設備，人們可以“穿越”到硝煙彌漫的古戰(zhàn)場，融入浩瀚無邊的太空旅行，將科幻小說、電影里的場景移至眼前……虛擬現(xiàn)實早已進入我們的生活。

    誠然，如今AR/VR技術正褪去“神秘感”，實實在在地落地到應用中。在工業(yè)領域，虛擬現(xiàn)實與增強現(xiàn)實和其他三維可視化技術的融合，為產品研發(fā)、生產制造帶來了前所未有的變革。

    近日，由黃培、許之穎，張荷芳編撰的《智能制造實踐》即將出版，特別剖析了AR/VR 在智能制造領域的應用和發(fā)展趨勢，其中不少內容與當前ALVA 的技術場景不謀而合。

    今天就引用書中相關內容，和大家一起從專家視角，展開探討 AR/VR 與智能制造實踐。

    1.虛擬現(xiàn)實與增強現(xiàn)實的定義

    虛擬現(xiàn)實（virtual reality，VR）技術利用三維建模等技術，建立一個虛擬的空間，再利用虛擬現(xiàn)實設備，提供視覺、聽覺、甚至觸覺和嗅覺的感官模擬，能夠使用戶身臨其境地沉浸在這樣的虛擬的合成環(huán)境中，VR的虛擬眼鏡使用戶在此環(huán)境中無限地觀察虛擬空間中的事物，穿戴設備還會給身體不同方位的振動反饋。

    虛擬現(xiàn)實技術最早應用在航空航天領域，集中在美國軍方對飛行員的模擬訓練，飛行員在飛行模擬器中就好像在真的飛機上一樣，在屏幕上操作各種儀表設備，視景窗可以實時生成座艙外的景象，如機場與跑道、建筑物、河流、云層等。

    虛擬現(xiàn)實技術是仿真技術的一個重要方向，是仿真技術與計算機圖形學、人機接口技術、多媒體技術、傳感技術和網絡技術等多種尖端技術相結合而成。虛擬現(xiàn)實有4個關鍵要素：想象（imagination）、交互（interaction）、沉浸（immersion）和行為（behavior）[1]。

    增強現(xiàn)實（augmented reality，AR）也是一種計算機建模的技術，它通過捕獲攝像機的位置，計算出影像物體的角度和位置來進行建模，當完成建模后，在此位置上增加一些虛擬的圖像、視頻或者更為立體的3D模型，這些虛擬的對象和攝像機捕捉到的真實對象融合在一起，讓用戶可以通過攝像頭就看到真實和虛擬兩種影像。

    目前，在工業(yè)應用上，AR 技術側重于精密儀器制造和維修、工程設備的維修、在醫(yī)療上用于解剖和訓練、在軍事上用于作戰(zhàn)指揮、偵查、同時AR技術還應用在教學的培訓和搶修救災等場景。

    案例分享

    ALVASystems，#AR虛擬實訓 應用已適配HoloLens眼鏡，復雜操作培訓也可以很直觀，誤操作從此無處遁形！

    混合現(xiàn)實（mixed reality，MR）技術則是虛擬現(xiàn)實技術和增強現(xiàn)實技術的混合應用，在建筑、工業(yè)、展覽、醫(yī)療等行業(yè)都有成熟的應用案例。

    1）虛擬/增強現(xiàn)實的關鍵要素

    （1）沉浸

    沉浸指通過視覺、聽覺等使得用戶有身臨其境的感覺，來增加虛擬世界的真實性。理想的虛擬環(huán)境應該達到使用戶難以分辨真假的程度，甚至超越真實，如實現(xiàn)比現(xiàn)實更逼真的照明和音響效果等。

    （2）交互

    交互指計算機通過各種各樣的傳感器捕捉用戶的動作等信息，經過處理后與人產生相互作用。交互是沉浸感的重要影響因素，交互的實時性和交互的可操作程度都很關鍵。同時，交互的實時性對于硬件要求很高。

    （3）行為

    行為是交互的表達方式。大多行為通過硬件來完成，比如頭戴式設備，主要限于視覺體驗�，F(xiàn)在，越來越多的傳感器，諸如手柄、激光定位器、追蹤器、運動傳感器，以及VR座椅、VR跑步機等硬件的出現(xiàn)，呈現(xiàn)出更多樣化的行為體驗。

    （4）想象

    想象指虛擬場景由設計者想象出來，既可以是真實現(xiàn)象的重現(xiàn)，也可以加入想象的內容。想象主導著虛擬現(xiàn)實（VR）的內容，為精品內容的出現(xiàn)提供了可能，也為新的交互方式、新的行為方式提供了靈感。

    2）虛擬/增強現(xiàn)實關鍵技術

    虛擬/增強現(xiàn)實的關鍵技術主要包含：

    （1）環(huán)境建模技術：即虛擬環(huán)境的建立，目的是獲取實際三維環(huán)境的三維數(shù)據(jù)，并根據(jù)應用的需要，利用獲取的三維數(shù)據(jù)建立相應的虛擬環(huán)境模型。

    （2）立體聲合成和立體顯示技術：在虛擬現(xiàn)實系統(tǒng)中消除聲音的方向與用戶頭部運動的相關性，同時在復雜的場景中實時生成立體圖形。

    （3）觸覺反饋技術：在虛擬現(xiàn)實系統(tǒng)中讓用戶能夠直接操作虛擬物體并感覺到虛擬物體的反作用力，從而產生身臨其境的感覺。

    （4）交互技術：虛擬現(xiàn)實技術中的人機交互遠遠超出了鍵盤和鼠標的傳統(tǒng)模式，利用數(shù)字頭盔、數(shù)字手套等復雜的傳感器設備，以及三維交互技術與語音識別、語音輸入技術成為重要的人機交互手段。

    （5）系統(tǒng)集成技術：由于虛擬現(xiàn)實系統(tǒng)中包括大量的感知信息和模型，因此系統(tǒng)的集成技術為重中之重。這些信息包括信息同步技術、模型標定技術、數(shù)據(jù)轉換技術、識別和合成技術等等。

    推薦應用

    針對AR應用的3D建模，ALVA 能夠為客戶提供開箱即用的 AR模型創(chuàng)建發(fā)布平臺，歡迎點擊圖片了解詳情。

    2.虛擬/增強現(xiàn)實技術發(fā)展綜述

    虛擬現(xiàn)實技術的概念最早來源于美國，其研究水平基本上代表國際發(fā)展的水平。目前該技術在美國的基礎研究主要集中在感知、用戶界面、后臺軟件和硬件四個方面。研究機構則主要集中于航空航天及大學實驗室，如NASA的Ames實驗室研究主要集中在：將數(shù)據(jù)手套工程化，使其成為可用性較高的產品；在約翰遜空間中心完成空間站操縱的實時仿真；大量運用面向座艙的飛行模擬技術；對哈勃太空望遠鏡進行仿真。

    麻省理工學院（MIT）是研究人工智能、機器人和計算機圖形學及動畫的先鋒，這些技術都是虛擬現(xiàn)實技術的基礎，其他國家也有不同程度的發(fā)展，如英國在分布式并行處理、輔助設備（包括觸覺反饋）設計和應用研究方面全球領先，日本主要致力于建立大規(guī)模虛擬現(xiàn)實（VR）知識庫的研究，在虛擬現(xiàn)實游戲方面的研究也處于領先地位。下圖就顯示了虛擬現(xiàn)實技術發(fā)展歷程。

虛擬現(xiàn)實技術發(fā)展歷程（來源：《虛擬現(xiàn)實技術發(fā)展歷程及發(fā)展趨勢分析》，產業(yè)研究智庫）

    我國虛擬現(xiàn)實技術研究起步較晚，與發(fā)達國家相比還有較大差距。北京航空航天大學計算機系是國內最早進行虛擬現(xiàn)實（VR）研究的單位之一，在虛擬環(huán)境中物體物理特性的表示與處理、虛擬現(xiàn)實中視覺接口方面軟硬件、分布式虛擬環(huán)境網絡設計方面成果突出；浙江大學CAD&CG國家重點實驗室開發(fā)出了一套桌面型虛擬建筑環(huán)境實時漫游系統(tǒng)，還研制出了在虛擬環(huán)境中一種新的快速漫游算法和一種遞進網格的快速生成算法；哈爾濱工業(yè)大學已經成功地虛擬出人的高級行為中特定人臉圖像的合成、表情的合成和唇動的合成等技術問題；清華大學計算機科學和技術系對虛擬現(xiàn)實和臨場感的方面進行了研究；西安交通大學信息工程研究所對虛擬現(xiàn)實中的關鍵技術——立體顯示技術進行了研究，提出了一種基于JPEG標準壓縮編碼新方案，獲得了較高的壓縮比、信噪比以及解壓速度。

    近幾年，GPU技術、立體眼鏡和頭顯技術的進步，促使VR/AR技術在個人消費市場的爆發(fā)，在制造領域的應用場景也在加速落地。工信部在《虛擬現(xiàn)實產業(yè)白皮書（2019）》中指出，虛擬現(xiàn)實在制造業(yè)的應用主要包括虛擬研發(fā)、虛擬裝配、設備維護檢修等，已經在大型裝備制造中實現(xiàn)初步應用。但虛擬現(xiàn)實（VR）設備的標準體系不完善，虛擬現(xiàn)實技術、產品和系統(tǒng)評價指標體系尚不健全，產品性能和質量缺乏標準規(guī)范，硬件、系統(tǒng)和內容之間兼容性差等，這些對于工業(yè)領域大范圍的使用制造了障礙。縱觀虛擬現(xiàn)實（VR）技術多年來的發(fā)展歷程，以及未來在工業(yè)領域更為廣泛的應用，VR/AR技術的研究將遵循“低成本、高性能”原則，分別有以下主要方向的發(fā)展趨勢[2] [3]。

    1）動態(tài)環(huán)境建模技術

    虛擬環(huán)境的建立是虛擬現(xiàn)實（VR）技術的核心內容，動態(tài)環(huán)境建模技術的目的是獲取實際環(huán)境的三維數(shù)據(jù)，在不降低三維模型的質量和復雜程度的前提下，實時建立相應的虛擬環(huán)境模型。該技術強調實時的數(shù)據(jù)傳感、超高清顯示技術，以及提高刷新頻率、提升系統(tǒng)性能，減少暈眩和提高真實感。

    針對環(huán)境的實時動態(tài)建模，在礦業(yè)、風電等應用場景中十分具有現(xiàn)實意義，能夠增強巡檢效率，對于場地大、分布廣的工廠來說，能夠顯著提升運維效率 ，想了解相關案例詳情，歡迎點擊“閱讀原文”。

    因此，一是需要提升傳感器性能，提高視覺傳感、體感識別、眼球追蹤、觸覺反饋等能力，增強數(shù)據(jù)采集能力，從而精確、精準定位，快速反饋周圍環(huán)境。二是突破CPU、GPU等數(shù)據(jù)處理單元的性能水平。虛擬建模技術需要對運動中大規(guī)模的數(shù)據(jù)模型進行重建，要求硬件能處理較大的并行視頻數(shù)據(jù)，在虛擬世界中同步現(xiàn)實世界，提升用戶體驗。

    2）近眼顯示技術

    顯示延遲、暈眩、視場角狹窄是目前虛擬現(xiàn)實技術普遍存在的問題，為了進一步提升虛擬現(xiàn)實的真實感、沉浸感，顯示技術還有較大的提升空間。未來，近眼顯示技術將以沉浸感提升與眩暈控制為主要發(fā)展趨勢。

    高角分辨率與廣視場角顯示成為提升虛擬現(xiàn)實沉浸感的重要切入點。隨著虛擬現(xiàn)實（VR）頭顯在近眼顯示上對清晰度提出了更高要求，分辨率將達到4K以上。增強現(xiàn)實強調與現(xiàn)實環(huán)境的人機交互，由于顯示信息多為基于真實場景的提示性、補充性內容，現(xiàn)階段增強現(xiàn)實顯示技術以廣視場角等高交互性（而非高分辨率等畫質提升）為首要發(fā)展方向。

    目前，虛擬現(xiàn)實眩暈產生機理尚未完全為人所知，因此，在顯示技術方面眩暈控制成為虛擬現(xiàn)實在近眼顯示方面的發(fā)展難點，發(fā)展非固定焦深的多焦點顯示、可變焦顯示與光場顯示成為業(yè)界在近眼顯示眩暈控制方面的重中之重。

    此外，在硬件方面，AMOLED、LCOS/OLEDoS成為近眼顯示屏幕技術的主導路線，分別在響應時間、藍光輻射量、功耗、輕便程度等方面具備優(yōu)勢。

    3）感知交互技術

    感知交互技術聚焦于追蹤定位、環(huán)境理解與多通道交互等熱點領域。

    追蹤定位將成為虛擬現(xiàn)實（VR） 與增強現(xiàn)實在感知交互領域的核心技術，該技術的發(fā)展趨勢為由外向內的空間位姿跟蹤向由內向外的空間位姿跟蹤的轉變。

    手部體感交互呈現(xiàn)由手勢識別向手部姿態(tài)估計/跟蹤的發(fā)展趨勢。傳統(tǒng)的手勢識別是讓靜態(tài)手型或動態(tài)手勢與確定的控制指令進行映射，觸發(fā)對應的控制指令，這種方式需要用戶學習和適應才能掌握。而手部姿態(tài)估計與跟蹤技術不需判斷手部形態(tài)實際含義，通過還原手部26個自由度的關節(jié)點姿態(tài)信息，虛擬手與現(xiàn)實世界中雙手的活動保持一致，用戶像使用真實手操作現(xiàn)實物體一樣對虛擬信息進行操作，這種技術學習成本低，可實現(xiàn)更多、更復雜、更自然的交互動作。

    增強現(xiàn)實（AR）感知交互的發(fā)展趨勢側重于基于機器視覺的環(huán)境理解。環(huán)境理解呈現(xiàn)由有標識點識別向無標識點的場景分割與重建的方向發(fā)展�；�于機器視覺的環(huán)境理解成為AR感知交互的技術焦點，隨著深度學習和定位重建技術的發(fā)展，機器識別會逐漸拓展到對現(xiàn)實場景的語義與幾何理解。虛擬現(xiàn)實（VR） 感知交互的發(fā)展趨勢則側重于多通道交互的一致性，即通過視覺、聽覺、觸覺等感官的一致性，以及主動行為與動作反饋的一致性�；�于用戶眩暈控制與沉浸體驗方面的特性要求，浸入式聲場、眼球追蹤、觸覺反饋、語音交互等交互技術成為虛擬現(xiàn)實的剛性需求。

    4）軟件技術

    虛擬現(xiàn)實技術除了硬件能力上的提升外，還需要加強軟件開發(fā)能力。需要鼓勵應用程序開發(fā)者研發(fā)通用化、易用性高的虛擬現(xiàn)實軟件，使AR/VR技術更容易與移動設備相結合，用戶可以更方便地創(chuàng)建各種增強現(xiàn)實應用，降低開發(fā)費用，從而降低虛擬現(xiàn)實系統(tǒng)的購買成本和使用成本。

    此外，AR/VR技術需要與企業(yè)級系統(tǒng)結合，利用PLM系統(tǒng)中的三維模型、BOM和產品信息以及SLM系統(tǒng)中的維修服務信息，形成產品維修服務、培訓指導的實時交互的能力。

    通過與企業(yè)系統(tǒng)平臺的打通，ALVA 助力制造企業(yè)實現(xiàn)IoT數(shù)據(jù)的實時、立體、可視化展示。

    5）分布式虛擬現(xiàn)實技術

    網絡分布式虛擬現(xiàn)實將分散的虛擬現(xiàn)實系統(tǒng)或仿真器通過網絡聯(lián)結起來，采用協(xié)調一致的結構、標準、協(xié)議和數(shù)據(jù)庫，形成一個在時間和空間上互相耦合、虛擬、合成的環(huán)境，參與者可自由地進行交互作用。目前，分布式虛擬交互仿真已成為國際上的研究熱點，相繼推出了DIS、mA等相關標準。

    此外，虛擬現(xiàn)實的沉浸感還需要大幅提升端到端網絡傳輸性能。虛擬現(xiàn)實涉及接入網、承載網、數(shù)據(jù)中心網絡、網絡傳輸運維與監(jiān)控以及投影、編碼壓縮等多種網絡傳輸和數(shù)據(jù)處理技術，在利用虛擬現(xiàn)實仿真的過程中會產生大量的實時數(shù)據(jù)，因此，網絡傳輸技術呈現(xiàn)出大帶寬、低時延、高容量、多業(yè)務隔離的發(fā)展趨勢。

    參考文獻

    [1] 李巍.虛擬現(xiàn)實技術的分類及應用[J].無線互聯(lián)科技,2018,15(08):138-139.

    [2] 劉華益,汪莉,單磊,等.虛擬現(xiàn)實產業(yè)發(fā)展白皮書[R].北京:中國電子技術標準化研究院,2016.

    [3] 中國信息通信研究院.虛擬（增強）現(xiàn)實白皮書（2017年）[R].北京:中國信息通信研究院，華為技術有限公司,2016.