七鑫易維路偉成：XR眼球追蹤技術(shù)奇點(diǎn)將至

    日前，2022全球VR/AR產(chǎn)業(yè)機(jī)遇策略峰會(huì)在上海舉辦。本次峰會(huì)由天風(fēng)海外研究團(tuán)隊(duì)與東西文娛等聯(lián)合主辦，旨在挖掘虛實(shí)交互產(chǎn)業(yè)有價(jià)值的驅(qū)動(dòng)要素與價(jià)值變量，為產(chǎn)業(yè)的良性發(fā)展提供策略參考。

▲七鑫易維副總裁 路偉成

    七鑫易維作為眼球追蹤技術(shù)領(lǐng)域的代表受邀出席，副總裁路偉成發(fā)表主題演講，分享了眼球追蹤技術(shù)在XR領(lǐng)域的應(yīng)用場(chǎng)景、市場(chǎng)現(xiàn)狀及發(fā)展趨勢(shì)。

    據(jù)路偉成介紹，七鑫易維是致力于機(jī)器視覺(jué)和人工智能領(lǐng)域的高新科技企業(yè)，自2009年創(chuàng)立以來(lái)，已在眼球追蹤技術(shù)領(lǐng)域深耕超過(guò)13年，XR眼球追蹤產(chǎn)品及解決方案拿下多項(xiàng)「 全球第一」。

▲七鑫易維發(fā)展歷程（2009-2022）

    XR面臨的技術(shù)挑戰(zhàn)

    路偉成在分享中表示，XR經(jīng)過(guò)多年發(fā)展已取得不少突破，但依然面臨諸多技術(shù)挑戰(zhàn)——

    分辨率方面，目前的主流是雙眼4K，現(xiàn)已出現(xiàn)5K，接下來(lái)將是雙眼8K，在分辨率大幅提升的同時(shí)，算力和數(shù)據(jù)傳輸?shù)膲毫σ矔?huì)越來(lái)越大。

    交互方面，一個(gè)新的計(jì)算范式發(fā)生改變，隨之也會(huì)引發(fā)交互范式的連鎖變化，目前的主要交互方式為手柄，但這顯然不是最佳的交互范式。

    眩暈控制方面，目前的XR終端雖然可以模擬雙眼視差，但單眼的屏幕焦距始終是固定的，雙眼視差引起的深度感知和單眼焦距并不匹配，從而產(chǎn)生視覺(jué)輻輳調(diào)節(jié)沖突（VAC），引發(fā)視覺(jué)錯(cuò)覺(jué)和產(chǎn)生疲勞。

    路偉成表示，眼球追蹤技術(shù)作為一種通過(guò)傳感器捕捉人眼動(dòng)作，檢測(cè)人眼狀態(tài)、視線方向與注視點(diǎn)的技術(shù)，是解決上述挑戰(zhàn)的最佳方案。

    眼球追蹤技術(shù)在XR領(lǐng)域的應(yīng)用價(jià)值

    中國(guó)信息通信研究院聯(lián)合華為、京東方、七鑫易維等編制的《虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書(shū)》顯示，虛擬（增強(qiáng)）現(xiàn)實(shí)趨勢(shì)包含“五橫兩縱”的技術(shù)框架與發(fā)展路徑。具體來(lái)說(shuō)，“兩縱”是指VR與AR，“五橫”是指近眼顯示、感知交互、網(wǎng)絡(luò)傳輸、渲染計(jì)算與內(nèi)容制作。

    路偉成表示，在“兩眾”的“五橫”關(guān)鍵技術(shù)框架中，眼球追蹤都扮演著至關(guān)重要的角色——

    渲染計(jì)算方面，顯示分辨率不斷在提高，渲染算力愈發(fā)不夠用，這也使得“注視點(diǎn)渲染”技術(shù)變得尤為重要�！白⒁朁c(diǎn)渲染”的原理是人眼在注視物體時(shí)并非整個(gè)視野范圍都一樣清晰，而是中心點(diǎn)清晰，越往周邊越模糊。

    “同理，在眼球追蹤與注視點(diǎn)渲染技術(shù)的加持下，能大幅減少每幀畫(huà)面需要渲染的像素?cái)?shù)量，從而實(shí)現(xiàn)提升幀率、降低負(fù)載�！�

▲ 眼球追蹤+注視點(diǎn)渲染

    數(shù)據(jù)測(cè)試顯示，開(kāi)啟眼球追蹤+注視點(diǎn)渲染技術(shù)后，渲染幀率提高1倍以上，渲染率提升7倍以上。“整套方案中，注視點(diǎn)追蹤解決方案由七鑫易維提供，底層渲染機(jī)制則由高通、英偉達(dá)等芯片大廠來(lái)提供�！�

    感知交互方面，XR終端手柄式的交互方式和沉浸式的需求體驗(yàn)是相左的，人在真實(shí)世界中并不是用手柄進(jìn)行交互操作，七鑫易維所推崇的是一種“眼手口”多模態(tài)的自然交互體系，即眼球追蹤+手部追蹤+語(yǔ)音識(shí)別，它們之間既互相彌補(bǔ)又各展所長(zhǎng)，在實(shí)現(xiàn)更少學(xué)習(xí)成本的同時(shí)，更加符合人類(lèi)交互習(xí)慣。

    近眼顯示方面，VAC問(wèn)題需要變焦系統(tǒng)解決，變焦系統(tǒng)則要借助眼球追蹤技術(shù)來(lái)實(shí)現(xiàn)�！把矍蜃粉櫦夹g(shù)能高速檢測(cè)用戶眼部信息，計(jì)算出注視深度，從而大幅提升用戶感知的深度范圍和精準(zhǔn)度。”

    網(wǎng)絡(luò)傳輸方面，基于云的XR技術(shù)在逐步發(fā)展起來(lái)，目前的問(wèn)題是延遲和數(shù)據(jù)量都相對(duì)較大，采用基于注視點(diǎn)的流化技術(shù)，可以有效降低網(wǎng)絡(luò)傳輸帶寬和延遲，從而給用戶帶來(lái)體驗(yàn)上的多重提升。

    內(nèi)容制作方面，“元宇宙”概念持續(xù)火熱，在社交、遠(yuǎn)程會(huì)議、直播等場(chǎng)景下，Avatar（虛擬化身）的應(yīng)用愈發(fā)普遍，眼部動(dòng)作和眼神情感的復(fù)現(xiàn)都依賴(lài)于眼球追蹤技術(shù)。

    除了上述在XR領(lǐng)域的關(guān)鍵應(yīng)用之外，眼球追蹤技術(shù)還廣泛應(yīng)用于IPD調(diào)節(jié)、虹膜識(shí)別、視覺(jué)健康、精準(zhǔn)用戶畫(huà)像、認(rèn)知與心理健康、AR虛實(shí)融合對(duì)準(zhǔn)、自閉癥/老年癡呆等疾病的篩查等場(chǎng)景。

    風(fēng)口至，眼球追蹤的「黃金時(shí)代」來(lái)了

    作為國(guó)內(nèi)眼球追蹤技術(shù)的領(lǐng)導(dǎo)者，七鑫易維始終專(zhuān)注于眼球追蹤技術(shù)的研發(fā)、創(chuàng)新與應(yīng)用，全球?qū)＠�總量�?00項(xiàng)，其中發(fā)明專(zhuān)利300余項(xiàng)，通過(guò)超過(guò)10年的深耕和千萬(wàn)級(jí)眼部特征數(shù)據(jù)庫(kù)的積累，精準(zhǔn)度、可用率等核心技術(shù)指標(biāo)均達(dá)世界一流水平。

    “過(guò)去幾年，七鑫易維可以說(shuō)是一路見(jiàn)證XR技術(shù)的發(fā)展，并率先圍繞Pancake短焦VR頭顯與輕量化AR/MR眼鏡重點(diǎn)布局�！�

    路偉成透露，七鑫易維已為創(chuàng)維、HTC、Nreal、NOLO、愛(ài)奇藝奇遇VR、小派、亮亮視野、Rokid、詮視等國(guó)內(nèi)XR頭部品牌提供眼球追蹤解決方案，并與高通、英偉達(dá)、AMD、華為、微軟、英特爾等建立長(zhǎng)期生態(tài)合作伙伴關(guān)系。

▲七鑫易維XR頭顯/眼鏡合作企業(yè)（部分）

    談及眼球追蹤技術(shù)的發(fā)展現(xiàn)狀及未來(lái)趨勢(shì)，路偉成表示，權(quán)威數(shù)據(jù)調(diào)研顯示，VR/AR最需要解決的問(wèn)題中，眼球追蹤排在第四位，前面的三個(gè)問(wèn)題——HMD舒適性可用性、視場(chǎng)角、運(yùn)動(dòng)跟蹤已初步解決，這也使得搭載眼球追蹤解決方案變得迫切起來(lái)。

    事實(shí)上，微軟、Magic Leap、Varjo、HTC、小派、Pico、Meta等均已推出支持眼球追蹤的XR終端，主要應(yīng)用于B端；在C端，索尼、蘋(píng)果等搭載眼球追蹤功能的新品即將陸續(xù)上市。

    基于此，路偉成認(rèn)為，隨著消費(fèi)級(jí)XR市場(chǎng)迎來(lái)爆發(fā)，眼球追蹤作為最為關(guān)鍵的核心技術(shù)之一，在XR方向上的應(yīng)用已經(jīng)到了一個(gè)臨界點(diǎn)，正在迎來(lái)「黃金時(shí)代」，成為新標(biāo)配。“元宇宙被視作下一代互聯(lián)網(wǎng)，產(chǎn)業(yè)價(jià)值空前巨大，而眼球追蹤可以大幅提高XR終端的產(chǎn)品性能和用戶體驗(yàn)，七鑫易接下來(lái)將有一些產(chǎn)品陸續(xù)上市，大家敬請(qǐng)期待�！�