ProCreations ha rilasciato un modello aggiornato Ternary-Bonsai-2-27B-MTP

I sviluppatori hanno presentato Ternary-Bonsai-2-27B-MTP — una versione aggiornata del modello linguistico che ha superato la fase di riaddestramento. Il rilascio è orientato al miglioramento delle prestazioni dei calcoli e all'ottimizzazione dell'architettura per ambienti hardware specifici.

Il cambiamento chiave è stato l'introduzione di Q8_0 head, che ha consentito di ottenere un aumento della velocità di lavoro del 1,26%. Il modello richiede l'uso di un runtime nativo patchato specializzato per i sistemi Linux x86-64. Per il funzionamento corretto del sistema è necessario un ambiente CUDA 13.3.

Durante il test, il modello ha dimostrato un risultato di 16 punti secondo la metrica interna in 3 ore di elaborazione dei dati. L'uso di Ternary-Bonsai-2-27B-MTP presuppone la presenza di un ambiente configurato che soddisfi i requisiti delle librerie NVIDIA e dell'architettura del processore.

Questo rilascio continua la serie di ottimizzazioni per i modelli della famiglia Bonsai, finalizzate a ridurre i ritardi durante l'inferenza. L'aggiornamento consente agli sviluppatori di integrare il modello in sistemi ad alta carico, dove è criticamente importante la compatibilità con le ultime versioni dei driver e dei runtime.