Araştırmacılar TranSGrid sistemsel genelleme değerlendirmesi için bir benchmark sundu

Araştırmacılar grubu TranSGrid adlı yeni bir test kümesini sundu - sinir ağlarının sistemsel genelleme yeteneklerini değerlendirmek için diseñ edilen bir dizi, dedüktif, endüktif ve abdüktif türdeki akıl yürütme türlerini birleştiren. Çalışmanın yazarları, mevcut benchmark'lerin görevi çok basitleştirdiğini, yalnızca lineer kompozisyon eylemlerine ve açık hedeflere güvenerek, modellerin bilişsel becerilerini tam olarak test etmesine izin vermediğini iddia ediyorlar.

Deneylerin sırasında, yedi farklı Transformers mimarisi TranSGrid kümesindeki 4800 görevde test edildi. Sonuçlar, performansta önemli bir boşluk gösterdi: eğer en büyük model standart test örneklerinde %79,6'lık bir doğruluk gösteriyorsa, TranSGrid koşullarında bu gösterge %55,3'e düşüyor. En zor alt kümelerde görevlerin verimliliği %15,8'e düşüyor.

Çalışma, yalnızca üretkenliğe odaklanan mevcut değerlendirme yöntemlerinin gerçek sistemsel genelleme ölçmek için yetersiz olduğunu kanıtlıyor. Yazarlar TranSGrid'deki görevleri suni olarak basitleştirdiğinde, eylemlerin kompozisyonunu lineer veya açık hedefler belirleyerek, modellerin başarı oranları alışık olduğumuz yüksek değerlere geri dönüyor. Bu, endüktif ve abdüktif gereksinimlerin modern sistemler için kritik engeller olduğunu doğruluyor.

Çalışma, sinir ağlarının tüm üç mantıksal çıkarım formunu aynı anda uygulamasını gerektiren daha kapsamlı test yöntemlerine geçiş ihtiyacını vurguluyor. Elde edilen veriler, mevcut mimarilerin hala esasen yeni görevleri çözmekte, bilinen öğeleri standart olmayan koşullarda birleştirmekte zorluklar yaşadığını gösteriyor.