I ricercatori hanno presentato un benchmark per la raccomandazione dei concetti SNOMED CT

Un gruppo di ricercatori ha pubblicato un benchmark per la raccomandazione di concetti SNOMED CT, basato sul compito di collegamento di entità in testi clinici. Il lavoro utilizza i dati del set di dati MIMIC-IV-Note, che include 272 epìcrisi di dimissione, per l'automatizzazione della standardizzazione della terminologia medica.

Il dataset contiene 75 491 annotazioni, divise in 204 note di addestramento e 68 note di test. Durante l'esperimento, le menzioni bersaglio sono state mascherate dal contesto, dopo di che il sistema ha classificato i concetti disponibili. Gli autori hanno confrontato diversi approcci, tra cui TF-IDF, analisi semantica latente e metodi ibridi che utilizzano la ricerca nel database.

Il miglior risultato è stato ottenuto dal metodo sparse TF-IDF, che ha raggiunto un punteggio di Recall@1 del 14,81% e Recall@10 del 33,43%. Allo stesso tempo, la metrica MRR è stata di 0,2114, e nDCG@10 di 0,2297. L'utilizzo della ricerca aumentata (retrieval-augmented) non ha portato a un miglioramento dei risultati di base, mostrando un Recall@10 del 31,99%.

Lo studio ha rilevato una dipendenza critica dell'accuratezza dalla frequenza di menzione dei concetti nel campione di addestramento. Per i termini che si verificano più di 10 volte, il punteggio Recall@10 raggiunge il 43,90%, mentre per i concetti rari (1-2 menzioni) scende al 7,74%. Circa il 9,66% delle coppie di test contiene concetti assenti durante il processo di addestramento.

I dati ottenuti sottolineano l'importanza del contesto lessicale locale per lavorare con ontologie mediche in condizioni di risorse limitate. I risultati del lavoro sono disponibili sotto licenza CC BY-SA 4.0 e servono come standard riproducibile per future sviluppi nel campo degli encoder biomedici.