Gli sviluppatori hanno presentato lo strumento gzipt per la generazione di testo attraverso la compressione

Lo sviluppatore ha presentato gzipt — uno strumento che utilizza l'algoritmo di compressione DEFLATE per generare sequenze di testo. Il programma funziona senza un classico addestramento di reti neurali, basandosi sui principi della teoria dell'informazione.

Il principio di funzionamento di gzipt consiste nella valutazione della probabilità di continuazione del testo attraverso il grado di compressione. Lo strumento utilizza la ricerca a raggio (beam search) per selezionare i token più probabili, che garantiscono la dimensione minima del file finale quando compresso dall'algoritmo gzip. Quanto meglio la sequenza si comprime nel contesto del corpus dato, tanto più alto è il suo punteggio nel modello.

Durante gli esperimenti, il sistema è stata testata su un corpus di testi di William Shakespeare. Lo strumento dimostra la capacità di prevedere i simboli, basandosi esclusivamente sulle pattern statistiche rilevate durante la compressione dei dati. Ciò consente di generare testi che mantengono le caratteristiche stilistiche del set di dati originale senza utilizzare i pesi della rete neurale.

L'implementazione del progetto è disponibile per l'analisi e la riproduzione in accesso aperto. Il metodo mostra un approccio alternativo alla modellazione del linguaggio, dove invece di addestrare i parametri del modello, si utilizza la potenza computazionale degli algoritmi di compressione dei dati per determinare la probabilità predittiva del prossimo elemento della sequenza.