È stata rilasciata il modello quantizzato Qwen3.8-27B con ottimizzazione MTP

Gli sviluppatori hanno presentato Qwen3.8-27B-abliterated nel formato GGUF, ottimizzato per l'esecuzione locale. Il modello si basa sull'architettura AEON-7 e utilizza il metodo di quantizzazione mista Ridge-inspired, che ha consentito di inserire i pesi in 12 GB di memoria video.

Le caratteristiche tecniche della build includono un livello di compressione di 3,69 bpw. Durante i test su una scheda grafica RTX 5060 Ti, il modello mostra una velocità di generazione di circa 37 token al secondo. L'strumentazione è stata adattata per funzionare tramite il motore llama.cpp, garantendo la compatibilità con la maggior parte delle GPU consumer.

Durante i test interni, il modello ha ottenuto 106 punti in base ai risultati di un'ora di esecuzione. L'utilizzo della struttura MTP (Mixed-quantization Tensor Packing) consente di minimizzare le perdite di precisione con un notevole riduzione dei requisiti di volume di VRAM, mantenendo al contempo un'elevata velocità di inferenza sulle macchine locali.

Questa versione è rivolta agli utenti che richiedono l'esecuzione di modelli pesanti con 27 miliardi di parametri su hardware di fascia media. L'ottimizzazione dei pesi a 12 GB rende il modello accessibile ai sistemi con memoria limitata senza la necessità di utilizzare potenze cloud.