Multiverse Computing ha presentato il metodo di quantizzazione Quantization-Aware Healing

L'azienda Multiverse Computing ha presentato la tecnologia Quantization-Aware Healing (QAH), che consente di comprimere le reti neurali fino a 4 bit senza perdita di precisione. Il metodo è finalizzato all'eliminazione della degradazione dei pesi, che di solito si verifica quando si passa dalle modelli full-size ai formati a bassa precisione.

Durante i test sull'architettura Llama-3-8B, il metodo QAH ha dimostrato risultati superiori al modello originale nel formato FP16. Utilizzando la quantizzazione a 4 bit, il modello ha mantenuto un'elevata perplessità sui set di dati WikiText e C4, riducendo allo stesso tempo il volume di memoria video occupata di 4 volte. Gli sviluppatori notano che l'algoritmo ripristina efficacemente la capacità informativa dei pesi, che di solito vengono "scartati" con i metodi di compressione standard.

La tecnologia si basa su un processo iterativo di ri-addestramento, in cui il modello viene addestrato a compensare gli errori di arrotondamento che si verificano durante la quantizzazione. A differenza del classico Post-Training Quantization (PTQ), QAH richiede una quantità minima di dati per la calibrazione, il che consente di applicarlo ai modelli con pesi chiusi o accesso limitato al set di dati di addestramento.

L'implementazione di QAH consente di eseguire grandi modelli linguistici su hardware consumer con una quantità limitata di VRAM senza dover sacrificare la qualità della generazione. Il metodo è già disponibile per l'integrazione nei pipeline di compressione esistenti, garantendo un equilibrio tra velocità di inferenza e precisione delle risposte, aspetti critici per la distribuzione delle soluzioni AI sui dispositivi periferici.