Araştırmacılar AI-ajentlerinin performansını değerlendirmek için GraphEcho benchmark'ini sundu

Araştırmacılar, AI ajanlarının grafiklerde arama yaparken bilgiyi nasıl işlediğini test etmek için özel bir benchmark olan GraphEcho'yu yayınladılar. Araç, modellerin yeni kanıtlar için aynı kaynaklara tekrar tekrar başvurma eğilimini ortaya koyuyor.

Test sırasında, grafdeki yol sayısının artmasıyla ajanların gereksiz geçişler yaptığı ve bunları yanlış olarak gerçeklerin teyidi olarak yorumladığı tespit edildi. Geliştiriciler, Provenance-aware post-training (PAPT) yöntemini uygulayarak graf nodlarının tekrar ziyaret edilme sayısını azaltmayı başardılar. Ancak testler, optimizasyonun benzersiz bilgi kaynaklarının kapsamını azaltmaya yol açtığını gösterdi.

Bilimsel verilerle çalışırken PAPT kullanmak gerçekten tekrarları azaltıyor, ancak aynı zamanda modelin cevaplarının genel doğruluğunu düşürüyor. Bu, graf araştırmasının verimliliği ile bulunan kanıtların kalitesinin kullanımı arasındaki temel uçurumu gösteriyor. Bir ajan, eylemlerin kopyalanmasını öğrenmeyebilir, ancak bu sırada kritik verileri kaçırabilir.

GraphEcho benchmark, ajanların sonuçlara nasıl ulaştıklarını değerlendirmek için kontrol edilen bir ortam sağlar. Araştırma, karmaşık bilgi yapılarında benzersiz kanıt kaynaklarını ayırt etme yeteneği ile arama aktivitesi arasında bir denge kurulması ihtiyacını vurguluyor.