Araştırmacılar SNOMED CT kavram önerileri için bir benchmark sundu

Araştırmacılar grubu SNOMED CT kavram önerisi için bir benchmark yayınladı, bu benchmark klinik metinlerde varlık bağlama görevine dayanmaktadır. Çalışma, tıbbi terminoloji standardizasyonunu otomatikleştirmek için MIMIC-IV-Note veri setinden alınan 272 taburcu epikrizi verisini kullanıyor.

Veri seti 75 491 adet anotasyon içeriyor ve bu anotasyonlar 204 adet eğitim notu ve 68 adet test notu olarak ayrılmış durumda. Deney sırasında, hedef referanslar bağlamdan maskeledi ve sistem mevcut kavramları sıraladı. Yazarlar, TF-IDF, gizli anlamsal analiz ve veri tabanı aramasını kullanarak çeşitli yaklaşımları karşılaştırdı.

En iyi sonucu seyyar TF-IDF yöntemi gösterdi ve bu yöntem Recall@1'de %14,81 ve Recall@10'da %33,43 değerlerine ulaştı. Aynı zamanda MRR %0,2114 ve nDCG@10 %0,2297 olarak hesaplandı. Güçlendirilmiş arama (retrieval-augmented) kullanmak temel performans değerlerini iyileştirmedi ve Recall@10 %31,99 olarak kaldı.

Çalışma, doğruluğun eğitim örneklerindeki kavramların frekansına karşı kritik bir şekilde bağlı olduğunu ortaya koydu. 10'dan fazla kez görünen terimlerde Recall@10 %43,90 değerine ulaşıldı, ancak nadir kavramlar (1-2 referans) için bu değer %7,74'e düştü. Test edilen çiftlerin yaklaşık %9,66'sı eğitim sürecinde bulunmayan kavramları içeriyordu.

Elde edilen veriler, sınırlı kaynakların bulunduğu durumlarda tıbbi ontolojilerle çalışmak için yerel leksikal bağlamın önemini vurguladı. Çalışmanın sonuçları CC BY-SA 4.0 lisansı altında erişilebiliyor ve biyomedikal kodlayıcılar alanında gelecekteki geliştirmeler için yeniden üretilebilen bir standart oluşturuyor.