I ricercatori hanno presentato il metodo BITCOS per la compressione dei LLM ternari

I ricercatori hanno presentato BITCOS — un nuovo metodo di posizionamento dei dati adattivo che consente di superare la barriera standard di compressione di 1,58 bit per i modelli linguistici ternari. A differenza del metodo tradizionale di impacchettamento di cinque trit in un byte, che richiede 1,625 bit per peso, la nuova tecnologia tiene conto della reale distribuzione dei simboli nei pesi delle reti neurali.

L'analisi di 29 modelli ternari ha mostrato che la quota di pesi nulli raggiunge il 51,5%. Il metodo BITCOS utilizza una mappa bit densa della presenza di valori non nulli in combinazione con un vettore compatto dei segni. Ciò consente di ridurre il volume di memoria a 1,485 bit per peso per i modelli più sparsi, il che è più efficiente degli approcci standard in 26 delle 29 architetture testate.

I sviluppatori hanno implementato sequenze di decompressione ottimizzate per le istruzioni AVX-512, AVX2 e i processori grafici Intel Xe2. L'applicazione di questo formato assicura un aumento delle prestazioni della moltiplicazione matrice-vettore fino a 1,28x rispetto alle soluzioni industriali attuali.

Il test su cinque diverse piattaforme hardware, tra cui processori client e server, ha mostrato un aumento della larghezza di banda di decodifica fino a 1,18x su CPU e fino a 1,27x su GPU. L'utilizzo di BITCOS consente di utilizzare in modo più efficiente le risorse di memoria durante la distribuzione di modelli con precisione dei pesi limitata.

Questo sviluppo ottimizza l'inferenza per i sistemi in cui la densità di archiviazione dei parametri è criticamente importante. Il passaggio alla compressione adattiva riduce i requisiti di larghezza di banda della memoria, accelerando il funzionamento di LLM su un'ampia gamma di attrezzature, dalle GPU integrate ai server di accelerazione ad alte prestazioni.