疊境數(shù)字在自由視點技術方面取得重要成果

    近日，疊境數(shù)字與上�？萍即髮W合作在自由視點技術研究方面取得了重要成果，相關內容以“Editable Free-Viewpoint Video using a Layered Neural Representation”為題，被國際頂級圖形圖像會議SIGGRAPH 2021接收，并將在2021年8月份在會議上進行正式的介紹和展示。

項目團隊成員

    生成自由視點的視頻對于提高傳統(tǒng)視頻尤其是體育賽事直播觀看體驗有著至關重要的作用。在最近2020年東京奧運會上，自由視點技術，包括“時間凝結”技術，也多次應用在籃球、藝術體操、跆拳道、摔跤和柔道等體育項目中，極大的提高了賽事直播畫面的精彩程度。而如何用更少的硬件設備實現(xiàn)高質量的自由視點視頻一直是業(yè)內的研究方向。

    隨著新興的神經網(wǎng)絡渲染技術發(fā)展，基于AI的低成本且高質量的自由視點視頻生成成為可能。相比于傳統(tǒng)方法，神經網(wǎng)絡渲染可以生成更加逼真的新視角圖片與視頻。然而，目前存在的基于神經網(wǎng)絡渲染的相關方法只適用于靜態(tài)場景或者小視角范圍的動態(tài)場景，也不支持對于場景的編輯。本項研究結合了新興的神經網(wǎng)絡渲染技術和傳統(tǒng)的視頻分層渲染策略，從渲染質量和可編輯性上體現(xiàn)出了各自的優(yōu)勢。利用了較為稀疏的16個相機視角，可以渲染出大視角范圍的支持編輯的自由視點視頻。

算法框架：主要分為場景感知、分層ST-NeRF和神經網(wǎng)絡編輯

    疊境數(shù)字自由視點產品是一套能夠同時提供“時間凝結”特效以及自由視點特效直播、點播服務的一體化解決方案，而基于神經網(wǎng)絡渲染的自由視點視頻生成技術的成功研發(fā)，也將應用在了疊境數(shù)字自由視點產品中，從而打破更多的視角采集傳感器等于更高的視覺效果的原有認知，實現(xiàn)稀疏的視角也可以帶來高質量視覺效果的新局面，降低了系統(tǒng)應用推廣的成本。