從解剖結(jié)構(gòu)到手術(shù)指導，香港試水醫(yī)療多模態(tài)大模型
分類: 最新資訊
日志詞典
編輯 : 日志大全
發(fā)布 : 04-01
閱讀 :231
界面新聞記者 | 張熹瓏人工智能及機器人技術(shù)風頭正盛，正在打造創(chuàng)科中心的香港，試圖從醫(yī)療垂直領(lǐng)域把握這一藍海。3月28日，中國科學院香港創(chuàng)新院AI中心（簡稱“AI中心”）旗下聯(lián)合實驗室首次公開展示了三項成果：GI-SoftTech內(nèi)窺鏡機器人、ESSENCE微創(chuàng)手術(shù)觸覺反饋技術(shù)，以及外科手術(shù)規(guī)劃軟件 EpiNav。三項成果均與醫(yī)療多模態(tài)大模型相關(guān)。GI-SoftTech搭載了AI智能，實現(xiàn)內(nèi)鏡檢查的數(shù)字化和智能化；ESSENCE能在微型手術(shù)工具的末端部署分布式高密度觸點，首次實現(xiàn)人手級的觸覺感知能力。EpiNav則結(jié)合CARES Copilot手術(shù)大模型，在神經(jīng)外科手術(shù)中為醫(yī)生提供最佳的手術(shù)規(guī)劃方案，大幅減少手術(shù)規(guī)劃時間。早在兩周前，AI中心發(fā)布了醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型CARES Copilot 1.0，目前可以在手術(shù)階段自動識別病灶和解剖結(jié)構(gòu)。相比單模態(tài)，多模態(tài)大模型可以同時處理多個類型信息，從而實現(xiàn)更靈活地人機交互。中國科學院香港創(chuàng)新院AI中心執(zhí)行主任劉宏斌接受界面新聞采訪時表示，CARES Copilot 1.0實現(xiàn)了圖像、文本、語音、視頻、MRI、CT、超聲等多模態(tài)的手術(shù)數(shù)據(jù)理解，可以進行關(guān)鍵解剖結(jié)構(gòu)的識別以及手術(shù)中危險區(qū)域的提示。“很多神經(jīng)科醫(yī)生手術(shù)時，也希望現(xiàn)場有人指導、做判斷，以往是不可能的。但是AI大模型跟機器人的操作結(jié)合起來可以打破這個壁壘。”劉宏斌說。目前，該大模型已經(jīng)與香港威爾士親王醫(yī)院神經(jīng)外科合作，把系統(tǒng)應(yīng)用于內(nèi)窺鏡手術(shù)中，實時分析手術(shù)過程，并提示醫(yī)生現(xiàn)在手術(shù)的階段和下一步需要注意什么，例如“清除腫瘤”、“硬腦膜修復”等。今年4月份，也會開始應(yīng)用于北京協(xié)和醫(yī)院手術(shù)室進行技術(shù)臨床實驗。手術(shù)機器人擔任助手腦手術(shù)是全球風險最高的手術(shù)。在香港，該手術(shù)的死亡率低于5%，需要腦手術(shù)的港人逐年按上升。據(jù)介紹，有兩種病人需要接受腦手術(shù)，第一種包括腦出血的新病例，第二種是大腦出現(xiàn)腫瘤，其中有一種癌癥干細胞病癥主要出現(xiàn)于兒童，而該腫瘤的出現(xiàn)率在香港屬全球最高。劉宏斌提到，這也是其中一個驅(qū)使其研發(fā)新微創(chuàng)手術(shù)的原因。“神經(jīng)外科醫(yī)生最關(guān)心的首先就是安全性，在手術(shù)過程中，他需要這個技術(shù)能夠告訴他相關(guān)的解剖學，重要的神經(jīng)、血管在什么位置。”劉宏斌指，“同時會有一個助手進行輔助，幫忙拿器械、鏡頭，助手也在觀察主刀醫(yī)生，預(yù)判需要怎樣的協(xié)助。我覺得未來手術(shù)機器人，例如CARES Copilot，是可以擔任這個助手角色的。”AI中心所使用的基礎(chǔ)大模型是由中國科學院自動化所開發(fā)的“紫東·太初”。劉宏斌告訴界面新聞，紫東·太初為多模態(tài)的通用大模型，AI中心在這個基礎(chǔ)上進一步研發(fā)了一個垂直領(lǐng)域類模型，“我們聚焦醫(yī)療健康的研發(fā)，在這個原始架構(gòu)上又搭了一層，這一層是一個可追溯和解釋的結(jié)構(gòu)。另外，也給這個大模型研發(fā)了很多專屬的小模型。垂直領(lǐng)域的任務(wù)，必須是一個大模型配合一個小模型。”CARES Copilot就采用了大模型加小模型的方式，將其識別的圖片和視頻進行語義提取，運用語言大模型的能力進行更高級的理解，最終形成手術(shù)報告工程、手術(shù)質(zhì)量評估等面向臨床專家的服務(wù)。按照設(shè)想，Copilot 2.0版本將延伸到手術(shù)指導，像教練一樣提醒和指導醫(yī)生哪個階段應(yīng)該如何操作。劉宏斌提到，中科院自動化所跟AI中心是一種互補的模式，包括研究領(lǐng)域和應(yīng)用領(lǐng)域上各有互補：“我們聚焦在醫(yī)療器械，自動化所的應(yīng)用領(lǐng)域就比較廣。一個健康問題，需要很多領(lǐng)域合作，既要有醫(yī)療器械，也要對數(shù)據(jù)進行分析，又涉及到AI技術(shù)。”香港盡管整體產(chǎn)業(yè)生態(tài)上不及內(nèi)地，但優(yōu)勢在于科研實力。劉宏斌表示，不僅跟紫東·太初大模型團隊合作，也跟香港高校教授、海外AI團隊和開源公司有合作，“香港高校老師的研究能力其實是世界級的，但是香港缺少產(chǎn)業(yè)，他們的成果沒有一個出口，沒有商業(yè)模式輸出，研究也是不太可持續(xù)的。”隨著人工智能內(nèi)容自動生成技術(shù)的發(fā)展，所需算力也水漲船高，特別是智能算力。2月28日，香港財政司司長陳茂波發(fā)表最新的財政預(yù)算案，表示將撥款30億元推行為期三年的人工智能資助計劃，資助本地大學、研發(fā)機構(gòu)及企業(yè)等運用算力。3月27日，香港創(chuàng)新科技及工業(yè)局局長孫東表示，香港人工智能超算中心首階段設(shè)施最早在下半年啟用。這將填補香港無領(lǐng)先水平高性能計算平臺的空白。尚未實現(xiàn)商用不過，對比其他垂類大模型，如生產(chǎn)力工具、營銷類等，醫(yī)療類大模型的商用似乎仍遙遙無期。2023年以來，有超過50個平臺公開發(fā)布了醫(yī)療大模型，但真正落地到臨床診斷的寥寥無幾。以科大訊飛為例，醫(yī)療板塊曾是其重點發(fā)力的兩個業(yè)務(wù)之一，但由于發(fā)展不及預(yù)期，營收占比僅2.45%，科大訊飛在赴港上市時甚至分拆了醫(yī)療板塊。劉宏斌分析道，垂直大模型難以落地臨床的痛點在于，很多大模型研發(fā)過程中沒有醫(yī)院的參與，缺乏臨床方面的因素，導致一些看上去很炫酷的技術(shù)，實際上并不能滿足醫(yī)生的需求。另一方面，醫(yī)生通常會使用大量文本、影像、視頻等數(shù)據(jù)，很多大模型還是僅以文本語言為主。即便是CARES Copilot，也只是1.0版本，主要以識別和輔助醫(yī)生的功能為主，尚未進入商業(yè)化落地階段。劉宏斌表示，現(xiàn)在仍處于科研測試階段，技術(shù)已經(jīng)有原型機，可供醫(yī)生使用，但還需要跟臨床合作伙伴進行測試，進一步拓展新功能、提高參數(shù)精確度，“不過雖然是實驗室的產(chǎn)品階段，已經(jīng)從研發(fā)中心的實驗室進入了醫(yī)生的實驗室。”劉宏斌認為，醫(yī)療大模型首先會在“醫(yī)生很容易判斷對錯”的環(huán)節(jié)上落地應(yīng)用，例如手術(shù)路徑規(guī)劃，原本需要花兩個小時制定的手術(shù)方案，通過大模型可以縮減至半個小時，但最終決策權(quán)在醫(yī)生手上。這個環(huán)節(jié)中，AI擔任了一個提建議的角色。“另外，大模型下人機互動的能力會更強，體現(xiàn)在手術(shù)室里的器械上。”手術(shù)室里的無影燈對醫(yī)生來說就是一個痛點，醫(yī)生抓無影燈時會把手弄臟，而助手有時候夠不到無影燈的位置。“這種情況下，機器人能夠提供一些輔助工作，應(yīng)該也是最快落地的應(yīng)用。”至于CARES Copilot的商用前景，目前有兩種可能性較大的轉(zhuǎn)化模式，一種是將大模型嵌入醫(yī)院的管理流程中，通過為醫(yī)院降本增效獲得回報；另一種商業(yè)模式是與醫(yī)院的設(shè)備供應(yīng)商合作，利用人工智能大為醫(yī)療器械賦能，提升其醫(yī)療器械的附加值。
