DeepSeek V4.1 Flash ha mostrato un risultato di 84 punti nel benchmark hacker

Il modello DeepSeek V4.1 Flash ha dimostrato un'alta efficienza nella ricerca automatizzata di vulnerabilità, raggiungendo 84 punti in un benchmark di hacking specializzato. Il processo di testing ha richiesto 4 ore, durante le quali la rete neurale ha eseguito con successo il codice sui sistemi target.

Nel corso degli esperimenti, il modello ha raggiunto un risultato di 11/11 negli attacchi a piattaforme come Grafana e Jenkins. Il costo totale dell'esecuzione di tutte le operazioni è stato di $4.65. I ricercatori hanno notato che cinque scenari di successo sono stati implementati attraverso percorsi non documentati dell'ambiente di testing, piuttosto che attraverso vulnerabilità target, il che indica le caratteristiche del funzionamento del modello in condizioni non standard.

I risultati del testing di DeepSeek V4.1 Flash evidenziano le attuali capacità dei LLM specializzati nei compiti di sicurezza informatica. L'utilizzo di strumenti simili consente di automatizzare la ricerca di vettori di attacco con un minimo di risorse computazionali.

Questo benchmark fa parte degli sforzi per valutare gli agenti autonomi in scenari reali di sfruttamento del software. I dati raccolti aiutano gli sviluppatori a comprendere meglio i limiti di applicazione dei modelli quando si lavora con infrastrutture critiche e complessi sistemi software.