Spiritfather ha rilasciato un modello quantizzato Boulesis-26B-A4B

Lo sviluppatore spiritfather ha presentato Boulesis-26B-A4B-i1-GGUF — una nuova versione del modello linguistico, ottimizzato per l'esecuzione locale. Il rilascio è stato eseguito nel formato GGUF, che garantisce la compatibilità con ambienti di esecuzione popolari per computer personali.

Il modello si basa su un'architettura con 26 miliardi di parametri e utilizza il metodo di quantizzazione A4B. L'utilizzo del formato i1-GGUF consente di ridurre notevolmente i requisiti di volume di memoria video e memoria operativa, mantenendo la precisione della generazione del testo. Durante i test preliminari, il modello ha ricevuto una valutazione di 11 stelle, dimostrando stabilità di lavoro durante l'esecuzione di compiti di generazione per 1 ora di carico.

L'strumento è completamente compatibile con le librerie e gli ambienti attuali per l'inferenza locale, tra cui llama.cpp, vLLM e Ollama. Ciò consente agli utenti di eseguire il modello su attrezzature consumer senza la necessità di utilizzare API cloud o cluster di server specializzati.

Questo rilascio estende la disponibilità di modelli linguistici pesanti per gli appassionati e gli sviluppatori che lavorano con soluzioni AI locali. Il formato GGUF rimane lo standard per l'esecuzione decentralizzata di reti neurali, consentendo di personalizzare in modo flessibile i parametri di quantizzazione per le configurazioni hardware specifiche dell'utente.