Gensyn ha rilasciato il modello compatto open-1b-sft

L'azienda Gensyn ha presentato un nuovo modello linguistico open-1b-sft, progettato per eseguire compiti di chat. Il modello possiede 1,61 miliardi di parametri ed è stato sottoposto a un procedimento di riaddestramento (SFT) su un set di dati Tulu-3.

La caratteristica chiave di questo rilascio è la completa verificabilità del processo di formazione. Gli sviluppatori hanno garantito la possibilità di auditare tutte le fasi di preparazione del modello, consentendo di verificare la correttezza della formazione dei pesi. L'intero codice e i dati per la riproduzione dei risultati sono disponibili in open access sulla piattaforma Hugging Face.

Le caratteristiche tecniche di open-1b-sft sono state ottimizzate per funzionare con risorse computazionali limitate. Il modello mostra una valutazione di 9 punti secondo la metrica di qualità interna, raggiungendo questo risultato in 1 ora di addestramento su un'infrastruttura specializzata. L'architettura è orientata a una alta velocità di generazione di risposte, mantenendo le capacità di base di conduzione del dialogo.

Il rilascio di questo modello estende l'ecosistema di soluzioni compatte che possono essere distribuite localmente senza significativi investimenti di risorse. La trasparenza del processo di formazione rende open-1b-sft uno strumento per la ricerca nel campo della riproducibilità dei risultati e della verifica delle reti neurali.