高通VR820眼球追蹤技術(shù)的獨(dú)特之處

    近日，高通在IFA大展上推出了一款集成驍龍820芯片的VR樣機(jī)VR820。

    對(duì)于高通的這一舉措，有兩個(gè)事情是大家最關(guān)注的：一個(gè)是高通為何要出一款基于820芯片的VR樣機(jī)，另一個(gè)就是這款VR一體機(jī)采用的眼球追蹤技術(shù)，它到底有哪些厲害之處？

    為了探究這兩個(gè)問題，魔多君專門采訪了七鑫易維聯(lián)合創(chuàng)始人彭凡（七鑫易維是目前高通VR820的眼球追蹤技術(shù)合作方之一），來聽聽他對(duì)眼球追蹤技術(shù)的解密和高通推出的VR820這一事件的看法。

    魔多君：眼球追蹤的技術(shù)原理是怎樣的？

    彭凡：眼球追蹤技術(shù)屬于機(jī)器視覺的一種技術(shù)，它是通過圖像傳感器來捕捉到眼球的圖像，根據(jù)圖像的處理來識(shí)別每個(gè)人的眼球瞳孔里的特征，通過這些特征實(shí)時(shí)地反算出看屏幕的注視點(diǎn)。

    魔多君：眼球追蹤技術(shù)的優(yōu)勢(shì)是什么？

    彭凡：PC VR對(duì)電腦配置的要求很高，GPU 渲染需要至少GTX970以上的顯卡，再加上頭顯，價(jià)格在1-2萬，這對(duì)于消費(fèi)者就是一個(gè)很高的門檻。但是，眼球追蹤的注視點(diǎn)渲染能把原來GPU處理的數(shù)據(jù)量從原來的100%降到現(xiàn)在的10%，可以讓計(jì)算機(jī)的渲染效率提升十倍，讓普通配置的電腦也可以跑起來。

    國外的一些專家測(cè)試過，我們現(xiàn)在虛擬環(huán)境中看到的一些菜單只是一級(jí)菜單，隨著VR越來越成熟，功能越來越復(fù)雜，以后可能會(huì)有多級(jí)菜單。在這種情況下，相比于手勢(shì)識(shí)別和語音識(shí)別等交互方式，眼控的速度是最快的。有測(cè)試數(shù)據(jù)表明，人眼的交互比其他的交互方式快10%以上。

    當(dāng)然，眼部追蹤主要用在一些弱交互上，如果應(yīng)用在游戲里的強(qiáng)交互，有待開發(fā)。

    魔多君：眼球追蹤技術(shù)是如何提高渲染效率的？

    彭凡：當(dāng)你帶VR頭盔的時(shí)候，是需要渲染整個(gè)畫面的，但是使用注視點(diǎn)渲染之后，只需要渲染你看到的那個(gè)畫面，計(jì)算機(jī)只對(duì)用戶看到的區(qū)域做注視點(diǎn)渲染。這個(gè)區(qū)域以外的位置，按一定的比例依次降低渲染的像素。這樣一來，GPU的渲染工作就少了九成，渲染效率極大提升了。

    魔多君：眼部追蹤技術(shù)有哪些難點(diǎn)？如何克服？

    彭凡：當(dāng)我們?cè)诳碫R的時(shí)候，頭是在動(dòng)的，眼球也在動(dòng)，頭與眼鏡的運(yùn)動(dòng)還有可能不同步，運(yùn)動(dòng)軌跡是非常復(fù)雜的，而且所有這一切要在非常短的時(shí)間內(nèi)計(jì)算出來，所以這個(gè)就很難。

    總結(jié)來說，眼球追蹤技術(shù)的難點(diǎn)主要體現(xiàn)在高精度、低延時(shí)和大視野范圍三個(gè)方面。

    高精度方面，因?yàn)槊總�(gè)人的眼球是非常微小的差別，那么如何精確識(shí)別人眼球的特征呢？這就要有更多眼球追蹤的樣本，并結(jié)合深度學(xué)習(xí)，通過大量樣本的積累，不斷的提升精度。

    解決低延時(shí)，就同時(shí)需要很強(qiáng)的硬件和軟件。硬件方面需要更高幀率，更高規(guī)格的圖像傳感器，這些傳感器主要掌握在少數(shù)的國際大公司的手上，比如索尼。軟件層面主要是算法上優(yōu)化。我們的延時(shí)在4-5ms以內(nèi)。

    視覺范圍層面，即便是很多的國際上做眼球追蹤的公司，也只能追蹤正前方的一小部分，不能做到全視場角度，這是因?yàn)樗惴ㄉ嫌腥毕�。我們做到了垂�?0°，水平50°，幾乎達(dá)到了人眼轉(zhuǎn)動(dòng)的極限。

    總之，要把這個(gè)做好，一方面要有非常強(qiáng)的算法的積累，另一方面是有非常大量的數(shù)據(jù)。

    魔多君：除了VR，眼球追蹤還有哪些應(yīng)用領(lǐng)域？

    彭凡：眼球追蹤技術(shù)可以應(yīng)用在醫(yī)療領(lǐng)域，比如對(duì)于漸凍人來說，后期只有眼睛可以動(dòng)，他們與外界溝通只能通過眼睛，而眼球追蹤技術(shù)可以幫助他們交流。

    還可以應(yīng)用于安全駕駛�；�于眼球追蹤的注意力的檢測(cè)，和注意力的檢測(cè)，這些用傳統(tǒng)的方法效果并不是很準(zhǔn)確。但是眼球追蹤能測(cè)量到車主注意力是否在正前方，或者說通過眨眼的頻率和瞳孔的距離來判斷出司機(jī)是否走神，疲勞等。

    還有就是在廣告領(lǐng)域的應(yīng)用，這個(gè)有比較大的市場。通過分析用戶注意力在廣告的哪個(gè)位置，注意力程度如何，從而檢測(cè)出有多少人看，注意力在哪。這些數(shù)據(jù)可以分析出用戶的習(xí)慣和喜好，有利于廣告創(chuàng)作。

    魔多君：您對(duì)高通推出VR820這個(gè)事件怎么看？

    彭凡：高通其實(shí)也不是發(fā)布了一款產(chǎn)品，他們只是發(fā)布了一款樣機(jī)，只是想告訴小米、華為這些廠商，想做VR一體機(jī)的可以參照我的。高通自身不會(huì)做一體機(jī)的。

    這是因?yàn)�，目前還沒有一個(gè)廠商用高通820芯片把一體機(jī)做的很好（使用高通的芯片是有技術(shù)難度的，它不像MTK，MTK會(huì)把所有的解決方案打包好，你只需搭積木一樣搭建就可以了，但是高通不一樣，他們只給你一個(gè)核心的模塊，其他的東西延展都需要自己去做），但是高通不想錯(cuò)過VR這波浪潮，所以想借助820芯片驅(qū)動(dòng)這個(gè)市場。

    目前，我們還在跟HTC做了一個(gè)眼球追蹤配件，直接裝在HTC 眼鏡上。預(yù)計(jì)在10月份上京東眾籌，HTC也可能會(huì)把這個(gè)作為官方認(rèn)定的配件。