Patrick Wardle ha presentato lo strumento not-a-mused per l'analisi degli agenti AI

Il ricercatore di sicurezza Patrick Wardle ha rilasciato not-a-mused - uno strumento specializzato per l'analisi del comportamento degli agenti AI nei sistemi operativi. Il progetto è orientato all'identificazione di azioni non autorizzate che possono essere eseguite dai modelli autonomi durante l'interazione con il file system e le API di sistema.

Lo strumento consente di monitorare l'attività dei processi che utilizzano librerie per lavorare con modelli generativi. Nella versione attuale sono implementati meccanismi di intercettazione delle chiamate, che consentono di rilevare tentativi di lettura di dati riservati o di esecuzione di comandi nel terminale. Il codice del progetto è pubblicato su GitHub sotto licenza gratuita, il che consente di integrarlo in sistemi di monitoraggio della sicurezza esistenti.

Lo sviluppo di not-a-mused è finalizzato a risolvere il problema della "scatola nera" quando si avviano agenti locali. Lo strumento fornisce log in formato JSON, il che semplifica l'elaborazione successiva da parte di script di analisi di terze parti. L'utilità supporta il lavoro su macOS e Linux, garantendo un impatto minimo sulle prestazioni del sistema durante il monitoraggio.

Con il crescente utilizzo di agenti AI autonomi in grado di eseguire azioni in nome dell'utente, le questioni di sicurezza diventano critiche. L'emergere di strumenti simili consente agli sviluppatori e agli amministratori di sistema di controllare i confini di accesso dei modelli alle risorse locali, prevenendo potenziali violazioni dei dati o modifiche indesiderate alla configurazione del sistema.