Hugging Face ha presentato un metodo di addestramento dei modelli al disegno attraverso il codice

Il team di Hugging Face ha pubblicato una metodologia per l'addestramento di modelli linguistici a generare immagini ad acquerello utilizzando codice. Il processo si basa sull'utilizzo della libreria TRL (Transformer Reinforcement Learning) e dell'ambiente OpenEnv, che consente agli agenti di interagire con i motori grafici.

Il metodo si basa sulla trasformazione dei comandi di disegno in sequenze di token, che il modello genera per controllare un pennello virtuale. Il sistema utilizza PPO (Proximal Policy Optimization) per addestrare ulteriormente il modello in base a ricompense, dove la funzione obiettivo è la corrispondenza visiva dell'immagine generata con un riferimento specifico. Durante gli esperimenti, il modello è stato addestrato su un set di dati contenente 5000 pennellate e palette di colori uniche.

L'implementazione tecnica include l'integrazione di OpenEnv per la simulazione della tela, che consente al modello di ricevere feedback in tempo reale. L'utilizzo di TRL garantisce la stabilità del processo di addestramento quando si lavora con azioni discrete, come la scelta delle coordinate, della pressione del pennello e della trasparenza del pigmento. L'addestramento è stato condotto su un cluster utilizzando 8 GPU NVIDIA A100, il che ha permesso di raggiungere la convergenza dell'algoritmo in 12 ore.

Questo metodo dimostra la possibilità di controllare il contenuto visivo attraverso modelli testuali senza utilizzare processi diffusivi. Gli sviluppatori notano che questo approccio consente di creare immagini interpretabili, dove ogni elemento è il risultato dell'esecuzione di una specifica istruzione di programmazione. Lo strumentario è disponibile per l'integrazione in pipeline di addestramento di agenti con rinforzo esistente.