Lo sviluppatore ha riaddestrato il modello GLiNER con Gemini per 9 dollari

Lo sviluppatore ha implementato il processo di riaddestramento di un modello specializzato GLiNER, utilizzando l'annotazione ottenuta da Gemini. L'intero ciclo di preparazione dei dati e di addestramento ha richiesto 24 minuti, mentre i costi totali per le richieste API sono stati di 9 dollari.

Di conseguenza, è stato possibile raggiungere un punteggio di 0,83 F1-score nel risolvere il compito di riconoscimento di entità denominate (NER) su dati specifici di Reddit. Il modello è stato ottimizzato per lavorare con commenti, il che ha permesso di raggiungere un'elevata precisione con risorse computazionali minime. Secondo i calcoli dell'autore, il costo di sviluppo è stato ripagato dopo l'elaborazione di 4 291 commenti.

L'utilizzo di grandi modelli linguistici per generare dati sintetici annotati diventa un metodo efficace per creare soluzioni specializzate compatte. Invece di utilizzare modelli pesanti per ogni richiesta, il modello GLiNER riaddestrato esegue funzioni analoghe con costi di inferenza molto inferiori.

Questo approccio dimostra la possibilità di creare rapidamente strumenti specializzati per l'analisi del testo senza la necessità di annotare manualmente grandi set di dati. Il trasferimento della logica dai LLM cloud ai modelli locali o leggeri consente di ridurre notevolmente le spese operative durante la scalabilità dell'elaborazione dei dati.