È stato presentato il runtime Python arc-cua per la gestione dell'interfaccia macOS

I sviluppatori hanno rilasciato arc-cua — un runtime Python specializzato progettato per la creazione di agenti che gestiscono le applicazioni desktop. Lo strumento è orientato al lavoro in ambiente macOS e garantisce una bassa latenza nell'esecuzione dei comandi dell'utente.

L'architettura del sistema divide le logiche di alto livello e l'interazione di basso livello con l'interfaccia grafica. Per l'analisi dello stato dello schermo viene utilizzato un sistema OCR integrato, mentre per la gestione degli elementi viene utilizzato l'API di accessibilità macOS. Ciò consente all'agente di leggere la struttura delle finestre e di emulare le azioni dell'utente con alta precisione.

Il JEV viene utilizzato come backend standard per la presa di decisioni in arc-cua. Questa combinazione consente di delegare compiti cognitivi complessi a modelli specializzati, lasciando al runtime il compito di eseguire tecnicamente i clic, l'inserimento di testo e la navigazione nel menu.

Il progetto viene distribuito con codice sorgente aperto ed è destinato agli sviluppatori che creano assistenti autonomi per l'automatizzazione delle operazioni di routine sul computer. L'utilizzo di strumenti di elaborazione dei dati locali minimizza i ritardi che si verificano durante la trasmissione di screenshot e comandi a server remoti.

L'emergere di soluzioni simili semplifica la creazione di agenti in grado di interagire con qualsiasi software senza la necessità di integrazione tramite API. La separazione della logica e dell'esecuzione è una tendenza chiave nello sviluppo di sistemi di visione artificiale e di automazione dei flussi di lavoro.