澳門科技大學醫學院副院長張康講座教授聯同四川大學華西醫院、香港大學、珠海市人民醫院等機構的研究人員組成研究團隊在知名學術期刊Nature Biomedical Engineering發表文章“A transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics”，率先提出了一個基於人工智能的多模態融合肺部影像醫療診斷模型。文章通訊作者為張康、李為民、王成弟、俞益洲。
在醫學臨床實踐中，醫生通常需要綜合考慮多種不同模態的醫學信息來做出診斷，比如病人病歷、血液檢查、影像報告等等。這種綜合分析能力需要醫生有豐厚的醫學專業知識和長期臨床實踐經驗，但在現有醫療環境中，專業的醫生數量遠遠不能滿足病人日益增長的醫療健康需求。目前人工智能技術飛速發展，如果能利用人工智能獲得這種綜合分析的能力從而輔助醫生進行診斷，將極大提高醫療效率和緩解醫療資源短缺的問題。
基於人工智能的醫學圖像診斷近年來取得了很大的進展，電腦已經能從單純的醫學圖像中識別出病灶區域、或者做出初步的診斷。但如何讓計算機將醫學圖像及其相關的臨床信息綜合起來進行解讀仍是一個較大的難題。目前的多模態醫學信息分析系統大多採用非統一的方式來結合不同類型的信息，這樣的設計有一個明顯的限制：無法建立和理解不同模態信息之間的關係，因而此類模型並不具備嚴格意義上的綜合分析能力。
為解決上述關鍵問題，澳科大張康講座教授和合作團隊開發了一個統一的基於人工智能的醫療診斷模型，IRENE。該模型包含了統一的數據輸入處理模塊和雙向的跨模態注意力機制塊，旨在通過共同學習不同信息間的整體特徵和其關聯性來做出決策。該模型可以有效整合醫學圖像、非結構化的病歷信息和實驗室檢測數據，運用統一的跨模態分析流程，實現綜合處理不同數據，從而做出融會貫通、更為準確的判斷。
張康講座教授說：「團隊將統一模型應用到了識別肺部疾病和預測新冠不良臨床症狀上。相較於只使用圖像的模型和非整合的多模態診斷模型，在識別肺部疾病方面的準確率分別提升了12%和9%，在預測新冠患者的不良臨床結果方面提升了29%和7%。此外在與人類醫生的對比中，模型已取得與中年資醫生以上的診療水準。團隊通過對模型的可視化分析，也發現了不同信息之間的關聯，為計算機診斷的合理性提供了依據」。
據我們所知，IRENE是第一個使用統一的人工智能模型對多模態臨床信息同時進行整體表徵學習的醫學輔助診斷方法，為緩解醫療資源緊張提供了有力工具，同時也為後續以醫學人工智能整合任何多模態信息提供了新的思路。此項研究得到澳門科學技術發展基金的支持。
有關研究論文，可瀏覽Nature Biomedical Engineering連結： https://www.nature.com/articles/s41551-023-01045-x