Cartesia, tokenizasyon yerine H-Nets mimarisini tanıttı

Cartesia, standart tokenizasyonu tamamen uçtan uca (end-to-end) dinamik parçalama ile değiştiren hiyerarşik ağ mimarisi H-Nets'i tanıttı.

Geliştiriciler, yeni yaklaşımın standart Transformer modellerine kıyasla hesaplama ve veri işleme verimliliğinde 10 kata kadar artış sağladığını belirtiyor. Teknoloji ayrıca, bağlamsal tokenizasyon da dahil olmak üzere sinir ağlarının davranışları için yeni olanaklar sunuyor.

Mimari, geleneksel tokenizörlerin sınırlamalarını aşarak doğrudan bayt dizileriyle çalışıyor. Ayrıntılı teknik özellikler ve test sonuçları projenin resmi blogunda yayınlandı.

Yeni yaklaşım, ham veri işleme maliyetlerini düşürüyor ve verimli model eğitimi için temel mimarilerin oluşturulma standartlarını değiştirebilir.