Viene presentato il modello DermLIP per l'analisi delle immagini dermatologiche

I sviluppatori hanno presentato DermLIP_PanDerm-base-w-PubMed-256 — un modello multimmidale specializzato progettato per risolvere problemi nel campo della dermatologia. Il sistema è costruito sull'architettura CLIP e adattato per lavorare con dati medici.

La base dell'addestramento del modello è il set di dati Derm1M, che include 403 000 paia "immagine-testo". Per l'elaborazione della componente visiva viene utilizzato l'encodatore PanDerm-base, mentre per l'analisi delle descrizioni testuali viene utilizzato un encodatore specializzato PubMedBERT. Questa combinazione consente al modello di eseguire efficacemente compiti di classificazione e ricerca di immagini in modalità zero-shot.

Lo strumento è orientato all'automazione dell'analisi delle malattie della pelle, consentendo di confrontare immagini cliniche con descrizioni mediche. Il modello è disponibile per l'uso attraverso la piattaforma Hugging Face, dove sono presenti i pesi e la configurazione dell'architettura per l'integrazione in progetti di ricerca.

Lo sviluppo è finalizzato al miglioramento della precisione della diagnosi quando si lavora con atlanti dermatologici. L'utilizzo di encodatori specializzati, addestrati sul corpus PubMed, garantisce una comprensione più approfondita della terminologia medica rispetto ai modelli di uso generale.