長(zhǎng)崎大學(xué)用Hololens2構(gòu)建遠(yuǎn)程醫(yī)療系統(tǒng)，改善偏遠(yuǎn)地區(qū)醫(yī)療保健

    在日本偏遠(yuǎn)的島嶼和農(nóng)村地區(qū)，沒有大型醫(yī)院提供專門護(hù)理。為了縮小醫(yī)療保健方面的差距，長(zhǎng)崎大學(xué)把目光投向了擁有巨大潛力的混合現(xiàn)實(shí)和3D技術(shù)。

    2021年，研究團(tuán)隊(duì)開發(fā)了長(zhǎng)崎大學(xué)類風(fēng)濕關(guān)節(jié)炎遠(yuǎn)程醫(yī)療系統(tǒng)（Nagasaki University Rheumatoid Arthritis Remote Medical System；NURAS），而這是日本第一個(gè)用于治療類風(fēng)濕關(guān)節(jié)炎的遠(yuǎn)程醫(yī)療系統(tǒng)。同年3月，長(zhǎng)崎大學(xué)和位于長(zhǎng)崎縣離島的五島中央病院開始了示范實(shí)驗(yàn)，并以Microsoft Azure Kinect DK和Hololens2作為基礎(chǔ)。未來，遠(yuǎn)程醫(yī)療將在日本各個(gè)地區(qū)的偏遠(yuǎn)島嶼和偏遠(yuǎn)地區(qū)實(shí)現(xiàn)。

    1. 消除醫(yī)療保健方面的差距

    長(zhǎng)崎縣擁有大量的離島。出生率下降和人口老齡化導(dǎo)致醫(yī)療人員長(zhǎng)期短缺。特別是，在急需專家的地區(qū)，與市中心的醫(yī)療差距已成為一個(gè)重大問題。

    由于風(fēng)濕性關(guān)節(jié)炎治療需要高水平的專業(yè)知識(shí)，島上居民一般會(huì)前往本島醫(yī)院咨詢專家。但是，長(zhǎng)途旅行是患者的主要生理和心理負(fù)擔(dān)，而且自新冠疫情爆發(fā)以來，長(zhǎng)途旅行變得更加困難。

    長(zhǎng)崎大學(xué)大學(xué)院醫(yī)齒藥學(xué)綜合研究科的離島醫(yī)療研究所助教野中文陽(yáng)表示：“很多患者都希望在五島中央病院完成治療�！�

    類風(fēng)濕性關(guān)節(jié)炎是一種難以治療的疾病。不過，生物制劑和其他治療劑已使早期診斷和適當(dāng)治療成為可能。為了幫助偏遠(yuǎn)島嶼居民以及主島居民能夠接觸到相關(guān)專家，長(zhǎng)崎大學(xué)選擇了微軟的混合現(xiàn)實(shí)和3D技術(shù)。

    野中文陽(yáng)指出：“我們?cè)鴩L試通過可穿戴的攝像設(shè)備向遠(yuǎn)程專家發(fā)送圖像和聲音。但是，專家很難看到受影響的區(qū)域，而且患者無法直接與專家溝通�！�

    2. 使用HoloLens 2來實(shí)現(xiàn)遠(yuǎn)程診療

    2019年春天，微軟日本的首席技術(shù)官榊原彰在日本風(fēng)濕病學(xué)會(huì)主辦的演講會(huì)中介紹了使用HoloLens和Azure Kinect DK的診療技術(shù)。長(zhǎng)崎大學(xué)大學(xué)院醫(yī)齒藥學(xué)綜合研究科的講師川?真也有參加所述活動(dòng)，并確信3D影像的巨大信息量可以用于離島偏僻地區(qū)的關(guān)節(jié)風(fēng)濕診療。后來，HoloLens 2的技術(shù)演示給川?真也帶來了靈感。

    川?真也回憶道：“真實(shí)世界和全息圖能夠融合在一起，你仿佛就是在科幻小說的世界里。在臨床實(shí)踐中使用混合現(xiàn)實(shí)設(shè)備將在不久的將來實(shí)現(xiàn)。”

    在2020年的春天，作為一個(gè)行業(yè)-學(xué)術(shù)聯(lián)合項(xiàng)目，研究團(tuán)隊(duì)開始將HoloLens 2和Azure Kinect DK用于開發(fā)遠(yuǎn)程醫(yī)療系統(tǒng)NURAS。

    系統(tǒng)開發(fā)由Rocket Studio和微軟日本提供支持。2020年夏天，由于疫情影響，團(tuán)隊(duì)選擇通過Microsoft Teams舉行了在線會(huì)議，討論了一系列的重要事項(xiàng)。2020年10月，原型測(cè)試在長(zhǎng)崎大學(xué)和五島中央病院遠(yuǎn)程進(jìn)行，并于12月完成。2021年3月，這所大學(xué)開啟了實(shí)驗(yàn)演示。

    川?真也指出：“項(xiàng)目開發(fā)的重點(diǎn)是，偏遠(yuǎn)地區(qū)的專家是否能夠像面對(duì)面護(hù)理那樣提供醫(yī)療護(hù)理。我們已經(jīng)構(gòu)建出一系列的原型，而每次我們都要求他們進(jìn)行改進(jìn)，例如調(diào)整手指圖像，并使其能夠盡可能精確地表達(dá)皮膚皺紋和不規(guī)則表面。我們能夠快速做出反應(yīng)，并獲得比預(yù)期更好的結(jié)果�！�

3. 重新發(fā)現(xiàn)成功的概念驗(yàn)證，Microsoft Teams帶來了有效溝通

    在遠(yuǎn)程醫(yī)療中，偏遠(yuǎn)地區(qū)的患者和當(dāng)?shù)蒯t(yī)師，以及遠(yuǎn)程專家之間的成功合作非常重要。

    團(tuán)隊(duì)在位于離島的五島中央病院安裝了一臺(tái)攝影儀器，然后三臺(tái)Azure Kinect DK設(shè)備設(shè)置在患者周圍，從而在三個(gè)方向同時(shí)成像病理情況。成像設(shè)備本身約為半平方厘米，而患者與當(dāng)?shù)蒯t(yī)師之間的距離非常接近，這能夠減少患者的不適感。

    圖像實(shí)時(shí)傳輸?shù)介L(zhǎng)崎大學(xué)，并允許專家使用HoloLens 2查看圖像。病理區(qū)域的全息3D圖像可以從不同角度查看，并且可以使用手指操縱移動(dòng)。在檢查周圍區(qū)域的同時(shí)能夠在辦公室內(nèi)移動(dòng)是混合現(xiàn)實(shí)設(shè)備的一個(gè)重要優(yōu)勢(shì)。

    另外，團(tuán)隊(duì)使用Microsoft Teams來幫助患者、當(dāng)?shù)蒯t(yī)師和遠(yuǎn)程專家進(jìn)行實(shí)時(shí)溝通。

    野中文陽(yáng)解釋道：“通過Teams，病人可與他們的當(dāng)?shù)蒯t(yī)師及遠(yuǎn)程專科醫(yī)生溝通，從而實(shí)現(xiàn)安全感和滿意感。當(dāng)?shù)蒯t(yī)師可以在專家的適當(dāng)建議下診查病人。三方通信是這個(gè)系統(tǒng)的吸引人之處之一。”

    4. 使用人工智能支持遠(yuǎn)程專家

    2018年，日本風(fēng)濕病學(xué)會(huì)成立了人工智能醫(yī)學(xué)促進(jìn)委員會(huì)，而委員會(huì)的第一任主席是長(zhǎng)崎大學(xué)的風(fēng)濕病和自身免疫/炎癥疾病領(lǐng)域教授川上純。

    川上純解釋道：“AI在診斷成像和癌癥基因組學(xué)研究方面已經(jīng)取得了顯著的成果。我們相信AI可以用于類風(fēng)濕性關(guān)節(jié)炎領(lǐng)域的標(biāo)準(zhǔn)化數(shù)據(jù)，并通過超聲波、患者檔案和血液檢測(cè)對(duì)關(guān)節(jié)進(jìn)行圖像分析�！�

    類風(fēng)濕性關(guān)節(jié)炎的診查必不可少，患者報(bào)告的結(jié)果（PROs）同樣重要。目前的衡量標(biāo)準(zhǔn)包括評(píng)估身體功能的健康評(píng)估問卷和與健康相關(guān)的生活質(zhì)量量表。然而，人工智能對(duì)PROs信息的分析將有助于醫(yī)生發(fā)現(xiàn)細(xì)微變化，并為患者提供更為合理的醫(yī)療護(hù)理。

    野中文陽(yáng)希望“人工智能能夠檢測(cè)出醫(yī)生難以判斷的細(xì)微面部變化”，他進(jìn)一步指出：“（人工智能）有助于在測(cè)量患者滿意度或總結(jié)重新考慮治療的必要性等方面提供支持。”

    作為下一步，川上純將大力推廣實(shí)施Microsoft Azure AI技術(shù)。

    第一，Azure Cognitive Services（AI）可用于Azure Kinect DK評(píng)估患者的面部表情，并自動(dòng)衡量患者的情緒。

    第二，Azure Custom Vision用于從病理圖像中檢測(cè)腫脹的關(guān)節(jié)，從而提高混合現(xiàn)實(shí)診查的準(zhǔn)確性。

    第三，Teams中的語(yǔ)言識(shí)別功能用于會(huì)診期間的文本對(duì)話，然后保存在醫(yī)療圖表中。理想情況下，從對(duì)話中收集信息的能力將提高系統(tǒng)層面的醫(yī)療質(zhì)量，并減少醫(yī)療咨詢所需的時(shí)間。

5. 將遠(yuǎn)程醫(yī)療業(yè)務(wù)擴(kuò)展到日本各地

    川上純指出：“風(fēng)濕性關(guān)節(jié)炎遠(yuǎn)程診療在日本是第一次，而在世界范圍內(nèi)同樣是一次非常先進(jìn)的實(shí)驗(yàn)。我們希望我們?cè)谶@項(xiàng)實(shí)驗(yàn)測(cè)試中的經(jīng)驗(yàn)?zāi)軌驇椭�所述系統(tǒng)推廣到更廣泛的地區(qū)。同時(shí)，我們希望將這個(gè)系統(tǒng)應(yīng)用于其他醫(yī)療領(lǐng)域，如神經(jīng)系統(tǒng)、運(yùn)動(dòng)神經(jīng)系統(tǒng)、或者皮膚病�！�

    野中文陽(yáng)則表示：“通過推廣遠(yuǎn)程醫(yī)療，我們可以提高偏遠(yuǎn)島嶼和偏遠(yuǎn)地區(qū)患者的生活質(zhì)量。”

    川上純進(jìn)一步補(bǔ)充道：“到目前為止，與不同部門的合作尚不充分。為了提升研究成果，我們必須與不同領(lǐng)域的人合作開發(fā)這一項(xiàng)目。”他觀察到，沒有不同部門之間的合作，創(chuàng)新就不會(huì)發(fā)生。

    在日本進(jìn)行的首次實(shí)驗(yàn)演示反映了相關(guān)人員的熱情以及不同行業(yè)之間的合作。如今，人們普遍認(rèn)為生活質(zhì)量的提升是由各種技術(shù)的發(fā)展所支撐，而這顯然包括醫(yī)療領(lǐng)域。但當(dāng)然，長(zhǎng)崎大學(xué)這群先驅(qū)者將繼續(xù)致力于解決前方的挑戰(zhàn)，從而為患者帶來真正的福音。