SpeckLabs ha presentato il modello compatto Speck2-140M

L'azienda Speck2-140M ha rilasciato un nuovo modello linguistico di base, orientato a lavorare in modo efficiente con la lingua inglese. L'architettura del sistema include 140 milioni di parametri, che la rende adatta per essere eseguita su dispositivi con risorse computazionali limitate.

Al base del modello c'è una combinazione di meccanismi grouped-query attention e gated convolution. L'addestramento è stato condotto su un corpus di 20 miliardi di token. Gli sviluppatori hanno confermato la correttezza del funzionamento del sistema utilizzando il metodo di decodifica avida (greedy decoding), che garantisce la prevedibilità della generazione del testo.

Il modello è disponibile per l'integrazione attraverso la libreria Transformers. Per caricare i pesi nel codice è necessario utilizzare il parametro trust_remote_code=True, poiché l'architettura richiede impostazioni specifiche per l'inizializzazione corretta dei layer di convoluzione e attenzione.

Il rilascio di soluzioni compatte come questa consente di implementare le funzionalità linguistiche direttamente nelle applicazioni locali senza la necessità di accedere agli API cloud. Il basso numero di parametri garantisce una alta velocità di inferenza, che è critica per le attività che richiedono un ritardo minimo nell'elaborazione delle richieste di testo.