I ricercatori hanno presentato il metodo Inoculation Midtraining per il controllo dei modelli

I ricercatori hanno proposto una tecnica di Inoculation Midtraining, progettata per limitare il comportamento indesiderato delle reti neurali. Il metodo si basa sull'introduzione nel processo di apprendimento di un particolare neologismo-token, che lega le risposte potenzialmente pericolose o scorrette a un contesto strettamente definito.

Durante gli esperimenti, gli autori hanno rilevato che l'uso del neologismo consente di ridurre il livello di disorientamento del modello, mantenendo al contempo le sue caratteristiche di base, come lo stile del linguaggio e le capacità cognitive generali. La tecnica è finalizzata a localizzare il comportamento "errato" all'interno del modello, prevenendone la diffusione ad altri scenari di interazione con l'utente.

I risultati del test hanno mostrato che l'attuale implementazione del metodo è meno efficace dell'approccio standard di Inoculation Prompting. I ricercatori sottolineano la forte sensibilità dell'algoritmo ai iperparametri, che richiede un'ulteriore regolazione per raggiungere risultati stabili in termini di sicurezza in diverse architetture.

Questo approccio rappresenta un tentativo di risolvere il problema dell'"allineamento" (alignment) dei modelli nella fase di pre-addestramento. A differenza dei filtri esterni, il metodo tenta di integrare i meccanismi di controllo direttamente nei pesi del modello, utilizzando marcatori linguistici per controllare l'attivazione di specifici pattern di comportamento.