Just AI ha aggiornato il sistema di protezione Jay Guard per gli agenti AI di lingua russa

L'azienda Just AI ha presentato i rilevatori aggiornati per la sua piattaforma Jay Guard, progettata per proteggere le applicazioni LLM dagli attacchi di tipo "jailbreak". Gli sviluppatori si sono concentrati sull'adattamento del sistema alle specifiche della lingua russa, al fine di ridurre il numero di falsi allarmi durante la filtrazione del traffico in entrata.

Durante la ricerca, il team ha analizzato i metodi di ingegneria sociale utilizzati per aggirare le limitazioni degli assistenti AI. Il principale problema delle soluzioni esistenti era la frequenza elevata di blocchi di richieste legittime in lingua russa. Per risolvere questo problema, gli ingegneri hanno rivisto i campioni di formazione, aggiungendo modelli di attacco specifici caratteristici del segmento russofono, il che ha consentito di aumentare la precisione della classificazione dei prompt dannosi.

Il sistema Jay Guard funziona come uno strato di sicurezza intermedio tra l'applicazione dell'utente e il modello linguistico. Esegue il controllo del contenuto in tempo reale, analizzando le richieste per rilevare tentativi di manipolazione, violazioni dei dati personali e violazioni delle politiche di sicurezza. L'aggiornamento è finalizzato al mantenimento dell'attualità della protezione in condizioni di continua comparsa di nuovi vettori di attacco.

Il mantenimento della qualità del rilevamento richiede un costante addestramento dei modelli con dati reali del traffico degli utenti. Gli sviluppatori sottolineano che la creazione di "guardrail" efficaci è un processo iterativo, in cui il fattore chiave è l'equilibrio tra la sicurezza rigorosa e la conservazione della funzionalità degli agenti AI per gli utenti finali.