慧眼識道——南方航空基于AR技術(shù)實現(xiàn)全業(yè)務(wù)流程數(shù)字化的實踐探索

    在各行各業(yè)如火如荼的數(shù)字化轉(zhuǎn)型實踐中，南航機務(wù)系統(tǒng)可謂是走在了行業(yè)前列。本文就如何拓寬數(shù)字化系統(tǒng)的外延，科學選擇層出不窮的新技術(shù)新手段，乃至形成一定的規(guī)范和標準，讓數(shù)字化系統(tǒng)“善假于物”這一典型問題進行了簡單的探討。

    5G時代的來臨帶動著萬物互聯(lián)的不斷推進。當前數(shù)字化已經(jīng)成為了人們工作和生活中不可或缺的元素，互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能與實體經(jīng)濟的深度融合正在成為傳統(tǒng)行業(yè)持續(xù)提升產(chǎn)業(yè)競爭力的技術(shù)基點。面向“十四五”，民航局提出新時期總體工作思路的四個新局面之一“智慧民航建設(shè)要有新突破”。大環(huán)境下，數(shù)字化轉(zhuǎn)型已經(jīng)在航空維修各領(lǐng)域逐次展開。其中，南航工程技術(shù)提出了以構(gòu)型管理為核心的數(shù)字化平臺建設(shè)，對飛機、人員和資源進行虛擬世界的“動態(tài)數(shù)字畫像”，切實反映物理世界的真實變化。

    飛機維修屬于典型的離散型制造業(yè)，生產(chǎn)過程中存在很多變化和不確定因素，繁多的生產(chǎn)要素間長期處于一種弱耦合的狀態(tài)。為了讓構(gòu)型管理滲透到各生產(chǎn)末端，做到“一切業(yè)務(wù)數(shù)字化”，南航通過研究和探索，找到了以增強現(xiàn)實（AR）技術(shù)作為數(shù)字化的“慧眼”， 通過打造基于AR的工作方式，努力實現(xiàn)對全業(yè)務(wù)流程的數(shù)字化覆蓋。

    1 以構(gòu)型為基礎(chǔ)的數(shù)字化平臺建設(shè)

    構(gòu)型管理是對物理對象的實時狀態(tài)進行“完整的描述”和數(shù)字化傳遞或輸出的系統(tǒng)化管控方法。構(gòu)型管理的基本要素是能夠保證對象構(gòu)型的完整性、準確性和實時性。因此，需要在線連接人、設(shè)備、流程等所有和生產(chǎn)相關(guān)的要素，并能秒級感知狀態(tài)的變化�；�于狀態(tài)感知的精準構(gòu)型管理是民航工程人員長期不懈追求的理想。近5年來，依靠云原生技術(shù)、大前端和實時數(shù)據(jù)引擎等技術(shù)的進步，這一理想得以逐步照進現(xiàn)實。

    構(gòu)型數(shù)據(jù)的更新來源于各個業(yè)務(wù)環(huán)節(jié)的末端�；�于民航維修業(yè)的特點，這些生產(chǎn)末端的數(shù)據(jù)采集難度主要體現(xiàn)在以下幾個方面：1) 工作內(nèi)容不固定，無法采用機器替代或標準化的采集方式；2) 工作場所不固定，無法采用定點的采集方式；3) 工作不允許頻繁中斷，無法讓工作者隨時填寫數(shù)據(jù)；4) 涉及的因素多，人機料法環(huán)各方面都需要進行完整的記錄。 如何對這些數(shù)據(jù)進行實時的采集，并如實地反映到系統(tǒng)中，是必須要解決的難題。更進一步，基于實時采集的業(yè)務(wù)全流程數(shù)據(jù)基礎(chǔ)，構(gòu)建出更精準的數(shù)字化模型，進行仿真以及智能化決策，最終反饋到物理現(xiàn)場，賦能現(xiàn)場工作人員，強化物理世界，以虛控實，形成實時互聯(lián)的空間網(wǎng)絡(luò)，這正是元宇宙的本質(zhì)。結(jié)合愈發(fā)成熟的5G、云計算、數(shù)字孿生、AR/VR等新技術(shù)，元宇宙的應(yīng)用和體驗近年來迎來了爆發(fā)式的增長。而為了讓更多的人進入元宇宙，基于空間交互的AR技術(shù)，成為了關(guān)鍵。

    2 人機交互的變革——AR技術(shù)的引入

    人+AR的模式是維修業(yè)發(fā)展史上一個革命性的變革，因為它打通了人與機器連接的最后一米。相對于其他常見的信息終端，如執(zhí)法記錄儀、智能手電、平板和手機等，AR技術(shù)的優(yōu)勢非常明顯。執(zhí)法記錄儀和智能手電的不足在于只能滿足單一視頻影像記錄的功能；而手機和平板在錄入數(shù)據(jù)時雖然比較方便，但由于現(xiàn)場工作和環(huán)境的復(fù)雜性，頻繁拿出手機和平板也會嚴重降低工作效率，增加安全風險；同時多種設(shè)備的使用也會帶來數(shù)據(jù)規(guī)范和兼容性的問題。

    AR作為繼PC、手機、智能手機之后的新一代交互方式，隨著技術(shù)的發(fā)展，在充分對比和評估后，南航認為AR眼鏡更能滿足機務(wù)現(xiàn)場工作的實際環(huán)境，成為打通人與數(shù)字世界最后一米的最佳工具。工作者將無需再手持工卡、對講機、簽字筆、手電等物品，真正做到解放雙手和第一視角介入，極大提升工作的便利性。同時，伴隨著與物聯(lián)網(wǎng)（IoT）、知識圖譜、5G邊緣計算等技術(shù)的深度融合，AR技術(shù)可以在任意時間，高效賦能一線工作人員。目前，大部分AR工業(yè)場景的應(yīng)用聚焦于利用AR眼鏡的交互功能進行遠程工程協(xié)作，提升一線的工作效率。截至2021年底，南航已完成對國內(nèi)外28個主要基地和外站AR遠程工程協(xié)作的部署落地。在此基礎(chǔ)之上，南航自2020年開始致力于打造在軟硬件和交互方式等各個層面，適用于航空維修行業(yè)不同職能領(lǐng)域，基于AR底座的完整解決方案，并以此作為以構(gòu)型管理為基礎(chǔ)的數(shù)字化系統(tǒng)的外延架構(gòu)，承載平臺感官能力的向外延伸。

    3 打造航空元宇宙的基石——AR底座

    3.1 AR底座的介紹

    AR底座構(gòu)建基于開源生態(tài)的AR操作系統(tǒng)，融合增強現(xiàn)實、IOT、數(shù)字孿生、AI能力和自動化執(zhí)行等多種先進生產(chǎn)力解決技術(shù)，具備流暢的融合交互能力、自然的云原生能力和強大的環(huán)境感知能力，賦予現(xiàn)場工作者和管理者全新的工作和數(shù)據(jù)視野。底座定義了包括軟硬件標準、數(shù)據(jù)范式和交互范式等通用型的基礎(chǔ)規(guī)范。后續(xù)的AR應(yīng)用和終端輸出都建立在底座的標準和規(guī)范之 上，進行適應(yīng)性的改造和定制。

    AR 底座的構(gòu)成示意圖

AR 底座的應(yīng)用架構(gòu)

    3.2 硬件標準

    航空業(yè)擁有眾多不同的工作環(huán)境和工作場景，在硬件方面存在很多不同的需求，在深度調(diào)研和使用市場現(xiàn)有的設(shè)備后，南航提出了自己對AR硬件的需求。

    1) 顯示規(guī)范在AR增強顯示世界中，最核心的是顯示及相關(guān)的技術(shù)，主要指標如下。a. 透過率。透過率會直接影響佩戴者在陰天、夜晚和室內(nèi)的安全使用。使用光波導(dǎo)技術(shù)，透過率可超過80%，幾乎與日常鏡片一致；b. 透視偏差。透視偏差引起的畸變會影響觀看者看到的真實世界，會帶來安全隱患。目前市面上的光學方案中光波導(dǎo)畸變最��；c. 無漏光、無鏡像。也就是使其他人無法看到佩戴者看到的信息，對工作內(nèi)容進行保護；d. 亮度和對比度。這兩者決定了是否能夠適應(yīng)更多的環(huán)境，無需遮光也能看到更多的信息，同時讓顯示更能融入現(xiàn)實；e. 分辨率和顯示視場角。它們決定能否通過頭動和環(huán)視顯示出足夠的內(nèi)容。 2) 結(jié)構(gòu)設(shè)計規(guī)范結(jié)構(gòu)和設(shè)計方面，安全性、舒適性和擴展性都是需要考慮的指標。a. 可折疊一體化的設(shè)計，更便于攜帶。專業(yè)人機工學設(shè)計和輕盈的重量可以保障佩戴者的安全性、舒適性和長時間工作的穩(wěn)定性。b. 由于智能眼鏡的設(shè)計集成度非常高，還有顯示、攝像頭等高功耗元件，因此需要具有良好的散熱性能。而且擁有三防設(shè)計才能夠很好地適應(yīng)機務(wù)工作 的復(fù)雜惡劣環(huán)境。c. 需要有高擴展性，可以快速連接如測距模組、雷達模組、測溫模組、便攜探頭等多種設(shè)備，適應(yīng)不同的維修檢查環(huán)境。d. 需要Hyper-Connect超連接技術(shù)，能夠讓設(shè)備獨立工作的同時，也能通過藍牙和有線連接到手機等智能設(shè)備上，當使用有線連接時，智能眼鏡將在性能、續(xù)航、數(shù)據(jù)傳輸?shù)确矫娴玫杰S升。 3) 電源管理規(guī)范智能眼鏡如同手機一樣，在所有模組都大踏步前進時，相對停滯的是電池模組。而智能眼鏡的體積重量就注定無法通過暴力堆電池而獲得長時間續(xù)航。只能通過優(yōu)化芯片、顯示等提升續(xù)航能力，確�？梢宰銐蛲瓿梢欢ǖ淖鳂I(yè)量；同時還可以通過感知佩戴者行為的方法，保證信息只在需要時顯示，也能夠長時間等待語音命令的喚醒，減少待機消耗。4) 音頻和攝像能力規(guī)范a. 聲學方面，噪聲抑制模式、現(xiàn)場聲音還原能力對于很多嘈雜的航空維修現(xiàn)場和需要聽到現(xiàn)場聲音做診斷是必需具備的；b. 攝像能力方面需要可實現(xiàn)全景深成像，提升感知和識別精度，同時還要擁有快速的形變響應(yīng)時間、超低靜態(tài)功耗和更小的體積控制；c. 頭戴式攝像頭會產(chǎn)生大幅度大角度抖動，這對于后臺是不可接受的。必須要解決防抖、防眩暈的問題，降低暈動癥。同時還需要建立在輕量化、低功耗的前提條件上；d. 測距能力、人體體征參數(shù)感知能力、乃至環(huán)境感知的能力，讓AR眼鏡增強感知的同時，擁有更加強大的主動感知智能。

    3.3 交互規(guī)范

    三維世界的信息如何準確地呈現(xiàn)到佩戴者的視野中，通過自適應(yīng)雙目視差融合，左右眼能夠輸出不同的圖像，達到立體視覺的效果，再通過算法對不同人的屈光不正、瞳距不同和顯示內(nèi)容進行小范圍調(diào)整以達到最佳的顯示效果。

    視覺即時定位與地圖構(gòu)建（vSLAM）技術(shù)是通過圖像進行的空間虛擬定位技術(shù)，除了讓需要疊加的信息更穩(wěn)定的疊加到空間中外，還能感知到佩戴者所處的空間位置，進行信息的協(xié)同。多模態(tài)融合TOUCH技術(shù)結(jié)合了語音識別、手勢識別、身體姿態(tài)識別、空間定位、AI算法等多種交互手段，讓佩戴者更好地與空間中的增強信息進行交互。

    4 基于AR的工作方式

    以AR工卡為例， AR工卡不是簡單的電子化工卡，而是從編寫開始，到執(zhí)行、記錄、反饋等一系列過程的流程再造。南航以波音737NG主力機型為試點，在主要站點上已經(jīng)開始了AR工卡的編寫和實施落地工作。

AR 工卡的場景應(yīng)用

    4.1 AR工卡的編寫

    目前很多維修企業(yè)都開始了工卡的結(jié)構(gòu)化工作，簡單來說就是把以前只有人才能讀懂的工卡，變成了電腦也可以讀懂的工卡。而AR工卡就是在這種結(jié)構(gòu)化工卡的基礎(chǔ)之上，將工卡步驟向?qū)ο蠡�轉(zhuǎn)變，通過對象化的屬性標簽為步驟賦能，如重點部件的三維動畫工程圖的支持、動態(tài)的風險提示支持、AI圖形識別的支持、手冊信息的支持、APS 信息支持、輔助工具的支持，乃至過往執(zhí)行狀況記錄等等，只要遵循這些增強型標簽的規(guī)范，將來都可以直接在AR設(shè)備上呈現(xiàn)。

    同時還加入了可視化的流程編輯，完善對步驟執(zhí)行的反饋需求、動作標準和選擇判斷等。結(jié)合對現(xiàn)場執(zhí)行反饋的研究，對AR工卡的編輯功能進行持續(xù)的調(diào)整和升級。

    4.2 AR工卡的執(zhí)行

    通過對工卡信息的重構(gòu)，人機交互過程的優(yōu)化，AR工卡的執(zhí)行給工作者帶來的是一種全新的工作體驗。

    1) 場景化的執(zhí)行步驟：工作者面對的不再是單調(diào)枯燥的文字任務(wù)，而是隨工作進程而逐步展開的一幕幕場景，場景化便于工作者聚焦具體任務(wù)，充分了解當前任務(wù)的同時免除無效信息的干擾；而清晰的工卡流程路線、可視化指引，步驟描述的多維化，也進一步避免了文字可能帶來的歧義，同時清晰掌握當前的進度狀況；提供手勢簽署、語音簽署和交互式信息自動記錄等多種便捷的全新簽署方式，在實現(xiàn)簽署更多記錄內(nèi)容的同時，工作者承擔的簽署負擔反而大大減少。2) 代入式的工作指引：在場景中，工作者具有上帝化的視角，增強簽署、輔助拍照、自動測量等輔助工具可以揮手即來；手冊資料、經(jīng)驗文檔、APS指引等借助知識圖譜技術(shù)可以方便觸達；后臺專家也可以隨時呼叫，提供更多支援。獲取知識、輔助決策是工作者在日常工作中頻繁遇到的問題，傳統(tǒng)的做法是停下工作去翻查手冊、咨詢工程師，通常還可能需要多次往返工作現(xiàn)場和辦公室。借助AR的方式，工作者可以方便獲取所需的各種支援，且無需離開現(xiàn)場。 3) 沉浸式的工作體驗：AR化工作方式建立的是一種資源找人、知識找人的新體驗，工作者可以在場域中便捷獲取知識、工具、航材的有效支持。雖然“單兵作戰(zhàn)，裝備輕量”，但卻隨時處于“重炮火”的支援之下，營造了以人為中心 的“工作場”，工作者可以最大程度的專心于工作進程，避免頻繁中斷。

    4.3 系統(tǒng)提升

    基于AR的工作方式對系統(tǒng)帶來的提升也是非常顯著的。

    1) 安全的提升AR工卡可以提供以下安全防范方式：a. 風險提示功能：當流程進行到相關(guān)節(jié)點時，風險點被觸發(fā)產(chǎn)生預(yù)警；b. 關(guān)鍵部位AI識別：對關(guān)鍵部位進行AI識別，狀態(tài)異常時禁止進行簽署或?qū)嵤┫乱徊剑籧. 安全影像留存和多維綜合報告：工作過程的自動無感影像留存，綜合多維綜合報告，可以提供系統(tǒng)復(fù)查和改正提升；d. 5G專網(wǎng)的環(huán)境下，可以實現(xiàn)工卡數(shù)據(jù)不出園區(qū)，不存在數(shù)據(jù)泄露等網(wǎng)絡(luò)安全風險。2) 現(xiàn)場管理的提升現(xiàn)場的執(zhí)行信息、實施視頻等會實時回傳后臺控制中心。后臺可以即時掌握整體的現(xiàn)場狀況，包括整體進度和局部甚至個體的實施進度，也可以隨時調(diào)取相關(guān)的歷史執(zhí)行數(shù)據(jù)，當工作任務(wù)發(fā)生變更時，還可以實時進行任務(wù)派發(fā)或后臺介入。 3) 實時客觀的數(shù)據(jù)采集基于AR的方式，數(shù)據(jù)采集可以延伸到全業(yè)務(wù)環(huán)節(jié)的各生產(chǎn)末端，實時感知相關(guān)工作對構(gòu)型的影響并同步進行構(gòu)型數(shù)據(jù)變更，確保構(gòu)型數(shù)據(jù)的實時有效�，F(xiàn)場數(shù)據(jù)的客觀采集，除了提供安全記錄和自我分析之外，也極大豐富了維修記錄的數(shù)據(jù)，數(shù)據(jù)采集的數(shù)量和客觀性都是傳統(tǒng)手段所無法比擬的，更有利于后續(xù)的數(shù)據(jù)處理、數(shù)據(jù)分析和知識反哺。

    4.4 底層邏輯探索

    復(fù)雜工卡涉及到手冊交聯(lián)查詢、多人互動，不僅需要研究眼鏡如何更加適合工卡，同樣也會考慮改變工卡的原有模式。如利用眼動儀采集眼動數(shù)據(jù)指標，分析工作者在這個過程中注意力分配的方法，優(yōu)化現(xiàn)有編寫工卡的方式；同時發(fā)現(xiàn)和糾正不同工作者在注意力分配方面存在的問題，對于提升維護質(zhì)量和效率具有明顯的作用；更進一步，相關(guān)分析數(shù)據(jù)還會向手冊方面擴展，提出對手冊的改進需求。

    同時，使用AR智能眼鏡、眼動儀，采集航線繞機、定檢和其他專項工作的視頻過程、眼動、脈搏波、皮膚電流、皮膚溫度、心率等多維度數(shù)據(jù)，不僅為“人員畫像”提供了依據(jù)，還將為交互界面設(shè)計、人員工作壓力、現(xiàn)場工作復(fù)盤、效率提升、安全監(jiān)管等提供寶貴的數(shù)據(jù)支持。

    5 5G數(shù)字底座

    4G網(wǎng)絡(luò)主要聚焦公眾服務(wù)，網(wǎng)絡(luò)上行帶寬小、傳輸時延大，網(wǎng)絡(luò)架構(gòu)上也存在一定的安全性問題。而5G網(wǎng)絡(luò)聚焦行業(yè)應(yīng)用，采用多種技術(shù)手段提高上行帶寬，降低傳輸時延，網(wǎng)絡(luò)架構(gòu)上也通過切片隔離的手段提高了安全性。

    對于AR來說，復(fù)雜的場景理解、海量的三維信息、實時的虛實互動，都需要高算力云渲染、低時延編碼以及高帶寬低時延能力的保障支撐。只有5G定制專網(wǎng)可以完全滿足AR發(fā)展的這些要求。在快速移動的場景中，5G讓穩(wěn)定的毫秒級實時數(shù)據(jù)同步變得可能，也保障了AR終端的流暢；在基于3D圖形在現(xiàn)場三維場景中疊加虛擬信息時，5G大寬帶的作用體現(xiàn)在提升3D模型等多媒體內(nèi)容的實時加載速度，無需提前下載到本地，需要時直接從云端加載，降低終端設(shè)備的運算負擔；在真實感體驗上，借助于5G的低時延屬性，以及云端服務(wù)器的強大性能，可以將渲染任務(wù)放到服務(wù)器端，然后再以視頻流的形式傳回本地AR設(shè)備上，這樣可以在移動端獲得高質(zhì)量的3D渲染，讓移動芯片的AR設(shè)備也能顯示出頂級的畫質(zhì)；在需要快速獲取結(jié)果的邊緣計算場景中，可以采用將5G的核心網(wǎng)元UPF下沉到網(wǎng)絡(luò)邊緣，數(shù)據(jù)本地處理，降低傳輸時延，在邊緣節(jié)點就可以快速進行超大數(shù)據(jù)量的比對，完成場景的初始化、閉環(huán)檢測等任務(wù)，快速將計算結(jié)果傳遞給用戶。同時5G還可以大幅提升AR傳輸數(shù)據(jù)容量：5G專網(wǎng)能夠提供包括：QoS專屬定制服務(wù)、MIMO技術(shù)、多頻譜能力等，可為企業(yè)生產(chǎn)專網(wǎng)提供更充裕的網(wǎng)絡(luò)容量。

    6 慧眼識道

    基于AR的工作方式通過打磨適配工業(yè)場景的AR底座，加持高速泛在、安全可信的5G定制網(wǎng)絡(luò)，突破傳統(tǒng)的工作范式，形成以AR設(shè)備為節(jié)點，聯(lián)接人與數(shù)字世界的數(shù)字化“慧眼”。然而，我們必須認識到，在引入新技術(shù)、新工具對傳統(tǒng)工作方式進行數(shù)字化改造的同時，必然會經(jīng)歷適應(yīng)、調(diào)整、迭代和提升等多個階段，科學的檢驗標準和迭代方法論能夠在這個過程中指明技術(shù)發(fā)展的方向，加速新技術(shù)和新工具在行業(yè)應(yīng)用的迭代速度，并形成新一代的行業(yè)規(guī)范和標準。南航工程技術(shù)在探索和實踐中逐步摸索出一條數(shù)字化技術(shù)應(yīng)用檢驗的標準之“道”（TAOIX），具體體現(xiàn)在以下 5個方面。

    1) 無感和微介入（Touchless）：系統(tǒng)、方法和工具的使用能夠把更多的環(huán)節(jié)交給系統(tǒng)自動完成，減少人工的參與。這不僅是出于提高效率的考慮，也 是從源頭減少人為差錯和數(shù)據(jù)錯誤的有效保證；同時，系統(tǒng)、方法和工具的使 用和佩戴應(yīng)最大程度地減少對使用者正常自然行為和感知的干擾；2) 自適應(yīng)能力（Adaptive）：系統(tǒng)、方法和工具需要具備一定的感知和調(diào)整的自適應(yīng)能力，包括系統(tǒng)與人、系統(tǒng)與環(huán)境以及系統(tǒng)與系統(tǒng)之間的感知、適應(yīng)和自動調(diào)整能力；3) 持續(xù)優(yōu)化能力（Optimized）：系統(tǒng)、方法和工具的使用能夠?qū)α鞒獭?工序等帶來持續(xù)的優(yōu)化和改進，基于數(shù)據(jù)和運籌學的方法進行分析和決策建 議，科學地迭代優(yōu)化行業(yè)流程，形成全新的行業(yè)實踐；4) 沉浸式工作（Immersive）：系統(tǒng)、方法和工具的使用會增強工作的沉浸式感受，使工作進程不被打斷，改變傳統(tǒng)的人找知識、人找資源的模式，形成知識找人、資源找人的智能化沉浸式工作范式；5) 可擴展能力（eXtensible）：隨著業(yè)務(wù)需求不斷延伸，相關(guān)應(yīng)用的外延具有可擴展性，觸達相關(guān)業(yè)務(wù)的全環(huán)節(jié)、各末端，甚至是相關(guān)產(chǎn)業(yè)鏈的上下游。

    7 結(jié)束語

    綜上所述，盡管南航工程技術(shù)經(jīng)過研究和探索已經(jīng)找到了以AR技術(shù)為數(shù)字化的“慧眼”，且正著力打造基于AR的工作新方式，但同時也非常希望與眾多合作伙伴一起，持續(xù)進行相關(guān)的探索和研究，使AR底座逐步具象化，為行業(yè)提供更通用、開放、模塊化的服務(wù)，實現(xiàn)快速的部署和復(fù)用。更多的場景應(yīng)用是我們持續(xù)努力的方向。我們相信，隨著應(yīng)用的不斷擴張，AR底座的力量也將持續(xù)得到驗證和升級，基于AR的工作新方式也將以顛覆式的姿態(tài)引領(lǐng)空間交互時代的到來。

    作者簡介 王錦申，中國南方航空工程技術(shù)分公司（機務(wù)工程部），副總經(jīng)理。

    梁偉明，中國電信廣州白云分公司，總經(jīng)理。

    吳斐，北京亮亮視野科技有限公司，董事長及創(chuàng)始人。

    周激光，中國南方航空工程技術(shù)分公司（機務(wù)工程部），高級工程師