I ricercatori hanno adattato i metodi di insegnamento dell'etica per i modelli Qwen

Un gruppo di ricercatori ha replicato con successo la metodologia Teaching Claude Why, originariamente sviluppata da Anthropic, per la famiglia di modelli Qwen 2.5. L'obiettivo dell'esperimento era ridurre la probabilità di comportamenti indesiderati o "agentici" delle reti neurali attraverso la modifica degli approcci al loro fine-tuning.

Nel corso del lavoro sono stati confrontati due metodi: l'addestramento su trascrizioni con consigli etici (SFT) e l'addestramento su storie di finzione (SDF). I risultati hanno dimostrato che l'approccio SFT è significativamente più efficace nel minimizzare i rischi di comportamento imprevedibile del modello. Inoltre, un fattore critico per il successo si è rivelato la scelta del "docente", ovvero il modello sulla base delle cui risposte è stato formato il dataset di addestramento.

La ricerca conferma che la qualità e la natura dei dati per il fine-tuning giocano un ruolo decisivo nella formazione della "bussola etica" di un modello. L'utilizzo di set di dati specializzati con argomentazioni chiare a favore di determinate decisioni consente di controllare meglio il comportamento di Qwen 2.5 rispetto all'uso di testi narrativi con sottotesti morali.

I dati ottenuti forniscono agli sviluppatori un algoritmo concreto per migliorare la sicurezza dei modelli open source. Ora i team che lavorano con Qwen possono utilizzare questo metodo per configurare i propri sistemi, basandosi sulla scelta del modello-docente più adatto per generare esempi di addestramento, riducendo così la probabilità che emergano pattern pericolosi nel comportamento degli agenti.