Cartesia ha presentato l'architettura H-Nets per sostituire la tokenizzazione

L'azienda Cartesia ha presentato l'architettura di reti gerarchiche H-Nets, che sostituisce completamente la tokenizzazione standard con un chunking dinamico "end-to-end".

Gli sviluppatori dichiarano che il nuovo approccio garantisce un aumento dell'efficienza computazionale e di elaborazione dei dati fino a 10 volte rispetto ai modelli Transformer standard. La tecnologia apre inoltre nuove possibilità per il comportamento delle reti neurali, inclusa la tokenizzazione contestuale.

L'architettura lavora direttamente con sequenze di byte, aggirando i limiti dei tokenizer tradizionali. Le specifiche tecniche dettagliate e i risultati dei test sono stati pubblicati sul blog ufficiale del progetto.

Il nuovo approccio riduce i costi di elaborazione dei dati grezzi e potrebbe cambiare gli standard di costruzione delle architetture di base per l'addestramento efficiente dei modelli.