Presentato il framework SPECTRA per comprimere le LLM di tre volte

Gli sviluppatori hanno presentato SPECTRA, un nuovo framework per la compressione di modelli linguistici di grandi dimensioni che consente di ridurne le dimensioni di 3 volte con una perdita di precisione praticamente impercettibile. La tecnologia è focalizzata sull'ottimizzazione delle prestazioni dei modelli su dispositivi con risorse hardware limitate.

Una caratteristica chiave del metodo è l'assenza di necessità di calibrazione dei dati. Grazie a questa soluzione, i modelli standard con 7 miliardi di parametri possono essere eseguiti su hardware con 4 GB di memoria video (VRAM). Inoltre, il processo di compressione e il funzionamento dell'algoritmo richiedono meno di 50 MB di RAM, rendendolo uno degli strumenti più leggeri della sua categoria.

Gli sviluppatori sottolineano che l'approccio consente di abbassare significativamente la soglia di ingresso per l'esecuzione locale di LLM moderne. Ciò apre opportunità per l'integrazione di potenti modelli linguistici nell'elettronica di consumo e nei sistemi mobili, dove la quantità di memoria disponibile rappresenta un limite critico. Dettagli tecnici approfonditi e risultati dei test sono disponibili nel rapporto di ricerca ufficiale del team.