DermLIP modeli dermatolojik görüntü analizi için sunulmuştur

Geliştiriciler, dermatoloji alanında sorunları çözmek için tasarlanmış özel bir çok modelli model olan DermLIP_PanDerm-base-w-PubMed-256'yi sundu. Sistem, CLIP mimarisine dayanmaktadır ve tıbbi verilerle çalışmak için uyarlanmıştır.

Modelin eğitiminin temelinde Derm1M veri kümesi yatmaktadır ve bu veri kümesi 403 000 "görüntü-metin" çiftini içermektedir. Görsel bileşenin işlenmesi için PanDerm-base kodlayıcı kullanılırken, metin açıklamalarının analizi için özel PubMedBERT kodlayıcı kullanılmaktadır. Bu kombinasyon, modelin zero-shot modunda sınıflandırma ve görüntü arama görevlerini etkili bir şekilde gerçekleştirmesine olanak tanır.

Araç, cilt hastalıklarının analizinin otomatikleştirilmesine yöneliktir ve klinik görüntüleri tıbbi açıklamalarla eşleştirmeye olanak tanır. Model, Hugging Face platformunda kullanılabilir durumdadır ve burada araştırma projelerine entegrasyon için mimari yapılandırma ve ağırlıklar sunulmaktadır.

Geliştirme, dermatolojik atlaslarla çalışırken teşhis doğruluğunu artırmaya yöneliktir. PubMed korpusunda eğitilen özel kodlayıcılara sahip olma, genel amaçlı modellere kıyasla tıbbi terminolojiyi daha derinlemesine anlamayı sağlar.