Gli sviluppatori hanno presentato il modello linguistico Murasaki-Backup

Sulla piattaforma Hugging Face è stato rilasciato il nuovo modello linguistico Murasaki-Backup. Il modello è orientato all'uso locale e può essere eseguito su computer personali con risorse hardware limitate.

I sviluppatori hanno garantito la piena compatibilità con ambienti di esecuzione popolari, tra cui llama.cpp e Ollama. Gli utenti possono integrare il modello in applicazioni locali come LM Studio, Jan e Pi, per eseguire compiti di elaborazione del testo senza accedere alle API cloud.

Per ottimizzare il consumo di memoria e memoria video, il modello viene distribuito nel formato IQ4_XS. Questa versione quantizzata consente di eseguire la rete neurale su attrezzature consumer, mantenendo al contempo un equilibrio tra prestazioni e precisione della generazione delle risposte.

Il rilascio del modello è finalizzato all'ampliamento dell'ecosistema degli strumenti per il lavoro privato con i dati. L'utilizzo della quantizzazione IQ4_XS rende Murasaki-Backup accessibile a un ampio pubblico di utenti che preferiscono l'inferenza locale anziché l'uso di servizi centralizzati.