Hugging Face ha aggiornato la libreria Sentence Transformers per modelli multivettoriali

Il team di Hugging Face ha presentato un aggiornamento degli strumenti per l'addestramento e il fine-tuning dei modelli multivettore all'interno della libreria Sentence Transformers. L'aggiornamento consente agli sviluppatori di creare encoder che generano più vettori per un singolo testo di input, aumentando così la precisione della ricerca in compiti semantici complessi.

La nuova funzionalità supporta architetture che utilizzano ColBERT e approcci simili per l'abbinamento profondo dei token. È stata implementata la supporto per l'addestramento con Contrastive Loss e Multiple Negatives Ranking Loss, adattati per l'output multivettore. Gli sviluppatori possono utilizzare metodi incorporati per la compressione efficiente dei vettori, riducendo così il consumo di memoria durante l'indicizzazione di grandi array di dati.

Gli strumenti includono script pronti per la configurazione degli iperparametri, che consentono di ridurre il tempo di addestramento del 25-30% quando si lavora con grandi set di dati. È supportata l'integrazione con Hugging Face Hub per la versione dei pesi dei modelli e il caricamento automatico delle configurazioni. La libreria gestisce ora correttamente contesti lunghi, dividendo gli stessi in segmenti per l'elaborazione parallela.

Il passaggio alle rappresentazioni multivettore consente ai sistemi di ricerca di considerare non solo il significato generale del documento, ma anche dettagli specifici che vengono persi con l'utilizzo di embedding standard. Questo aggiornamento semplifica l'implementazione di metodi di ranking avanzati nei sistemi di ricerca e nelle applicazioni RAG, garantendo la compatibilità con i pipeline di elaborazione dei dati esistenti.