研究人員提出了一個針對SNOMED CT概念推薦的benchmark

一組研究人員發佈了一個基於臨床文本實體鏈接任務的SNOMED CT概念推薦基準，基準使用MIMIC-IV-Note數據集，包括272份出院摘要，來自動化醫學術語的標準化。

數據集包含75,491個註釋，分為204個訓練筆記和68個測試筆記。在實驗過程中，目標提及從上下文中被遮蔽，然後系統對可用的概念進行排名。作者比較了幾種方法，包括TF-IDF、潛在語義分析和使用數據庫搜索的混合方法。

最佳結果是sparse TF-IDF方法，達到Recall@1為14.81%和Recall@10為33.43%。同時，MRR為0.2114，nDCG@10為0.2297。使用增強搜索（retrieval-augmented）沒有改善基礎指標，顯示Recall@10為31.99%。

研究發現，準確度對於訓練樣本中概念的頻率有很強的依賴性。對於出現超過10次的術語，Recall@10達到43.90%，而對於罕見的概念（1-2次提及），它下降到7.74%。約9.66%的測試對包含在訓練過程中不存在的概念。

獲得的數據強調了在資源有限的情況下，對於醫學本體論，局部語彙上下文的重要性。結果在CC BY-SA 4.0許可下可用，作為未來生物醫學編碼器開發的可複製標準。