Araştırmacılar AI ajanlarının işlemci mimarisini anlamlandırma yeteneğini değerlendirdiler

Araştırmacılar ekibi AutoTuring — AI ajanlarının gerçekten ekipman tasarım ilkelerini anladığından yoksa sadece parametreleri deneme yanılma yöntemiyle seçip seçmediğini kontrol etmek için bir metodoloji sundu. Deney sırasında ajanlara, 15 boyutlu bir hızlandırıcı alanını iki modda optimize etmeleri önerildi: anlaşılan mimari parametreleri kullanarak ve anonim değişkenler olarak.

Sonuçlar, anlamlı verilerin avantaj sağladığını gösterdi: mimariyi anlayan ajan, H200 modelini 5.4% geride bıraktı, mientras "kör" ajan, soyut numaralarla çalışan, 12.3% daha kötü bir sonuç gösterdi. Aynı zamanda "mimari" görevi, simülatöre başvuruyu 70.1% azaltarak gerçekleştirdi, bu da bilinçli tasarımın etkinliğini doğruladı.

Çalışma ayrıca, eleştiri döngüsünün (critic loop) kullanılmasıyla "kör" ajanın, mimari bilgilerine sahip ajanın gerisinde kalanı neredeyse tamamen telafi edebileceğini ortaya koydu. Bu, yapılandırılmış geri bildirimin ve sistemin işleyişinin derinlemesine anlaşılmasının, birbirini tamamlayan bileşenler yerine birbirinin yerine geçebilecek araçlar olarak ortaya çıktığını gösteriyor.

Çalışmanın yazarları, mevcut ajan değerlendirme yöntemlerinin genellikle rastgele aramayı bilinçli tasarımdan ayırt edemediğini vurguluyor. Önerilen yaklaşım, bu yöntemler arasındaki boşluğu ölçmeye olanak tanıyor, bu da ajanın becerilerini yeni mimarilere aktarmak için kritik önem taşıyor. Çalışma Non-exclusive distribution lisansı altında yayınlandı.