ByteDance e l'Università Tsinghua hanno presentato il sistema di apprendimento DAPO

I team di ByteDance Seed e dell'Università Tsinghua (AIR) hanno rilasciato il sistema di apprendimento per rinforzo aperto DAPO. Il progetto è orientato all'ottimizzazione della politica di apprendimento dei modelli e dimostra un'elevata efficienza nelle task di ragionamento matematico.

Durante il test, il sistema ha mostrato un risultato del 50% sul benchmark AIME 2024 utilizzando il modello base Qwen2.5-32B. Le caratteristiche tecniche chiave della realizzazione sono stati i meccanismi decoupled clip (limitazione separata) e dynamic sampling (campionamento dinamico), che consentono di aggiornare i pesi del modello in modo più stabile durante l'apprendimento.

Il repository del progetto contiene il codice sorgente necessario per riprodurre i risultati e integrare il sistema nei propri pipeline di apprendimento. Gli sviluppatori hanno fatto l'accento sulla riduzione dei costi computazionali mantenendo un'elevata precisione delle deduzioni logiche, che è criticamente importante per i modelli che lavorano con complesse task matematiche.

L'implementazione di DAPO consente ai ricercatori di applicare strategie di ottimizzazione più flessibili rispetto ai metodi standard PPO. L'utilizzo del campionamento dinamico riduce il numero di iterazioni necessarie per raggiungere gli obiettivi di precisione, rendendo il sistema uno strumento promettente per il fine-tuning di LLM in aree specializzate.