Papers with Code ha aggiornato il sistema di ricerca basato sull'infrastruttura Hugging Face

La piattaforma Papers with Code ha trasferito il suo sistema di ricerca all'utilizzo degli strumenti Hugging Face, inclusi Inference Endpoints, Jobs e Buckets. L'aggiornamento ha consentito di automatizzare l'indicizzazione degli articoli scientifici e di accelerare l'elaborazione delle richieste degli utenti.

La base della nuova architettura sono Inference Endpoints, che forniscono l'hosting dei modelli per la generazione di rappresentazioni vettoriali (embedding) in tempo reale. Per l'elaborazione batch dei dati e l'aggiornamento regolare dell'indice vengono utilizzati Jobs, che consentono di eseguire compiti computazionali secondo una pianificazione senza la necessità di supportare un'infrastruttura server costante.

L'archiviazione dei dati è organizzata attraverso Buckets, che sono integrati con l'ecosistema Hugging Face per un accesso rapido ai pesi dei modelli e ai set di dati. Questa combinazione di componenti ha ridotto il tempo di risposta del sistema di ricerca, garantendo l'attualità dei risultati quando vengono aggiunte nuove pubblicazioni al database del progetto.

L'utilizzo dei servizi cloud della piattaforma ha consentito agli sviluppatori di rinunciare alla gestione dei propri cluster GPU. Ora il processo di aggiornamento dell'indice di ricerca è completamente automatizzato: dall'estrazione del testo dai file PDF alla vettorizzazione e alla registrazione nel database, il che minimizza i ritardi tra la pubblicazione di un articolo e la sua apparizione nei risultati di ricerca.

Il passaggio alle soluzioni infrastrutturali Hugging Face dimostra le possibilità di scalabilità dei motori di ricerca specializzati per i dati scientifici. L'integrazione dei componenti consente di elaborare efficacemente il volume crescente di pubblicazioni, mantenendo al contempo un'elevata precisione della ricerca semantica per gli utenti della risorsa.