Gli sviluppatori hanno presentato CUA-S1 per accelerare l'inferenza in macOS

Il team del progetto CUA-S1 ha rilasciato uno strato di compatibilità che aumenta notevolmente le prestazioni di LLM quando si lavora con macchine virtuali su macOS. Il sistema ottimizza l'interazione con l'API grafica, consentendo ai modelli di utilizzare le risorse hardware di Apple Silicon con perdite minime.

La tecnologia garantisce un'accelerazione dell'inferenza di 11–16 volte rispetto ai metodi di virtualizzazione standard. Durante i test sui chip M1 Ultra con l'avvio del modello Gemma 4 12B, il sistema ha dimostrato prestazioni pari al 98–99% dei risultati dell'hardware senza virtualizzazione. Tali risultati sono stati raggiunti grazie all'accesso diretto ai nuovi percorsi Metal, che in precedenza erano limitati nei sistemi operativi guest.

La soluzione è orientata agli sviluppatori che utilizzano ambienti virtuali per testare e distribuire agenti AI che lavorano con l'interfaccia del computer. Il progetto è distribuito con codice aperto, il che consente di integrare lo strato di compatibilità negli stack esistenti per l'automazione dei compiti in macOS.

L'ottimizzazione dell'accesso alla GPU tramite CUA elimina la barriera critica per l'avvio di modelli pesanti in ambienti isolati. Ciò consente di utilizzare la virtualizzazione per lo sviluppo e il debug di sistemi AI senza un rallentamento significativo della velocità di generazione dei token, che in precedenza era l'ostacolo principale per tali configurazioni.