Uno sviluppatore ha eseguito il modello Kimi K3 su un normale PC tramite C99

Un appassionato ha presentato Kimi K3 in C, un'implementazione del modello linguistico da 2,78 trilioni di parametri in linguaggio C99. Il progetto consente di eseguire l'inferenza del modello, i cui checkpoint occupano un totale di 1,56 TB, su un normale personal computer dotato di soli 8 GB di RAM.

La caratteristica chiave della soluzione è un meccanismo di streaming dei dati direttamente dall'unità di archiviazione alla memoria. Invece di caricare l'intero modello, il sistema legge i pesi necessari man mano che i calcoli vengono eseguiti, il che permette di aggirare i limiti hardware. Il codice è scritto in C puro, riducendo al minimo l'overhead delle operazioni.

L'implementazione è orientata al lavoro con l'architettura del modello Kimi K3. L'utilizzo dello spazio su disco come estensione della RAM consente di eseguire modelli estremamente pesanti su configurazioni consumer, dove la quantità di VRAM o RAM non permetterebbe fisicamente di ospitare i pesi per intero.

Per gli esperti, ciò significa la possibilità di eseguire localmente modelli che in precedenza richiedevano cluster con decine di terabyte di memoria. Nonostante la velocità di generazione prevedibilmente bassa dovuta ai limiti di larghezza di banda dei dischi, il progetto dimostra la fattibilità del metodo di "inferenza su disco" per lavorare con reti neurali giganti su hardware accessibile.