È presentato il dataset sintetico QVAC Genesis III per l'addestramento dei modelli STEM

I ricercatori hanno pubblicato QVAC Genesis III — un ampio corpus di dati sintetici progettato per l'addestramento efficiente di modelli linguistici nel campo delle scienze esatte (STEM). Il set contiene 191,43 miliardi di token, coprendo 19 domini diversi con variabilità di livelli di difficoltà e stili educativi.

Il dataset è stato creato utilizzando una strategia di doppia generazione basata sulla distillazione delle conoscenze da un "insegnante" a uno "studente". Il sistema analizza gli errori dei modelli compatti, trasformandoli in spiegazioni correttive, e i risposti di successo vengono integrati con un ragionamento contrastivo su tutte le opzioni di scelta. Per valutare la qualità dei dati, gli autori hanno implementato un protocollo LLM-as-a-parser, che monitora l'accuratezza e la validità delle risposte in formato libero.

Durante il test su modelli con 1,7 miliardi di parametri, addestrati da zero, QVAC Genesis III ha dimostrato un vantaggio rispetto al corpus aperto Cosmopedia-v2. L'aumento delle prestazioni sui benchmark è stato fino al +28,57% su ARC-E e +21,35% su ARC-C, con un tasso di risposte valide (Valid Answer Rate) del 99,45%.

I materiali della ricerca e i dati sono distribuiti sotto licenza Creative Commons Attribution 4.0. Lo sviluppo è orientato all'ottimizzazione dell'addestramento dei modelli compatti per il funzionamento su dispositivi periferici, dove il budget dei token e le risorse di calcolo sono strettamente limitate.