Gli sviluppatori hanno presentato Splash per accelerare Qwen su Apple Silicon

Il team di Splash ha rilasciato un motore di inferenza locale, ottimizzato per funzionare sui chip Apple Silicon. Lo strumento è orientato all'esecuzione di modelli della famiglia Qwen e garantisce un aumento delle prestazioni di 2 volte rispetto ai metodi di esecuzione standard.

La velocità di esecuzione elevata è raggiunta grazie all'utilizzo della tecnica di decodifica speculativa. Il motore consente di distribuire un server locale che accetta richieste tramite API, compatibili con gli standard OpenAI e Anthropic. Di default, il servizio funziona sulla porta 8000, semplificando l'integrazione con le applicazioni client e le librerie esistenti.

Durante i test di prestazione interni, il sistema ha dimostrato un risultato di 10 punti nell'esecuzione di compiti in 5 ore di carico continuo. Il software è stato sviluppato specificamente per l'architettura Apple Silicon, utilizzando al massimo le possibilità dei nuclei neurali e della memoria condivisa dei processori Apple.

La soluzione consente agli sviluppatori di eseguire LLM moderni in locale senza la necessità di accedere alle API cloud, mantenendo allo stesso tempo l'interfaccia di interazione consueta. L'utilizzo di Qwen in combinazione con il motore ottimizzato riduce i ritardi nella generazione di testo, aspetto critico per gli strumenti AI interattivi e gli agenti locali.