數位病理AI研究的突破 – 超高解析度影像訓練深度神經網路

   
  數位病理AI有一個重要的瓶頸。因為數位全玻片影像(whole slide image)的像素解析度本身非常高,常在幾十億畫素。如此高解析度的影像訓練深度神經網路非常困難,因用來做計算加速的GPU上面的記憶體有限,無法容納解壓縮後的全玻片影像內容以及相關計算。                         

  針對這個問題,常見的解決方法是將影像切成小的區塊來處理,意即影像是以一個小區塊(patch)處理,大小通常是256*256,或是512*512畫素。Patch-based method卻造成了一個新的問題,由於每一個區塊的影像都需要有一個標籤,以便讓深度神經網路進行監督式學習 ,使得標註的工作變得非常繁重及太過耗費人工。        

  北醫大與台灣新創雲象團隊合作,利用unified memory的機制,應用在北醫透過科技部巨量醫療影像計畫所建置的,九千多張肺癌全玻片影像的資料集上。利用21500*21500畫素的全玻片影像,訓練深度神經網路做癌症辨識及分類,並在國網中心台灣杉二號超級電腦的協助運算下,達到0.959的AUC ,超過了目前最進階的MIL方法 (MIL-RNN) 的表現 。在小病灶的資料子集上,該方法更是明顯優於MIL 。這個方法因為不再需要細節標註,對於推動數位病理AI的發展將會有非常大的貢獻。日前已將研究成果刊載在 Nature Communications 12, 1193(2021)
https://www.nature.com/articles/s41467-021-21467-y     

Visualization of heatmaps generated by models.