Hugging Face ha presentato un metodo di riaddestramento dei modelli tramite GRPO

Il team di Hugging Face ha pubblicato i risultati dell'applicazione dell'algoritmo GRPO per l'ottimizzazione della produzione strutturata di modelli linguistici compatti. Nel corso dell'esperimento, i ricercatori hanno addestrato un modello con 350 milioni di parametri, utilizzando solo 100 passaggi di ottimizzazione per migliorare l'aderenza ai formati di dati specificati.

Il metodo GRPO (Group Relative Policy Optimization) consente al modello di generare più varianti di risposta a una singola richiesta, valutarne la qualità e regolare i pesi in base al vantaggio relativo dei risultati migliori. In questo caso specifico, il modello è stato addestrato a seguire rigorosamente il formato JSON, che è fondamentale per l'integrazione dell'AI negli interfacce software. L'utilizzo della libreria TRL (Transformer Reinforcement Learning) ha consentito di ridurre i costi computazionali del processo di addestramento.

I risultati hanno mostrato che anche con un numero limitato di iterazioni, il modello dimostra un aumento significativo della precisione nel rispetto della sintassi. L'applicazione di LoRA-adattatori in combinazione con GRPO ha consentito di evitare la degradazione delle capacità di base del modello, mantenendo al contempo una velocità di generazione elevata. L'utilizzo di 100 passaggi si è rivelato sufficiente per far sì che il modello iniziasse a produrre stabilmente strutture di dati valide senza la necessità di un lungo addestramento SFT.

Questo approccio apre la strada a un'adattamento efficiente di modelli di piccole dimensioni per compiti altamente specializzati, dove è richiesto un formato di output prevedibile. La tecnologia consente agli sviluppatori di ridurre i requisiti di risorse nella creazione di agenti specializzati che lavorano con API e basi di dati, dove un errore in un singolo carattere rende la risposta inadatta per ulteriori elaborazioni.