Araştırmacılar LLM'nin çoklu ajanslı sistemlerde gerçekleri takip etme yeteneğini değerlendirdiler

Araştırmacılar 8 AI-ajansı içeren bir dedektif soruşturması simülasyonu deneyimi gerçekleştirdiler. Çalışmanın amacı, yüksek bilgi yükü koşullarında etkileşim günlükelerinden ana gerçekleri geri yükleme modellerinin yeteneğini test etmekti.

Test sırasında, hatta en üretken izleme sistemlerinin, günlük veri kümesinden %50'den daha fazla anlamlı veriyi çıkaramadığı ortaya çıktı. Sonuçlar, karmaşık senaryoları analiz ederken farklı mimariler arasında önemli bir verimlilik boşluğunu gösterdi.

Elde edilen verilere göre, GPT-6 Astra modeli tüm test edilen çözümler arasında en yüksek doğruluk oranını gösterdi. Aynı zamanda, Gemini modeli en kötü performansı gösterdi ve simülasyon sırasında bilgiyi yapılandırma ve mantıksal bağlantılar oluşturma yeteneğinde rakiplerine önemli ölçüde geride kaldı.

Araştırma metodolojisi, modellerin alakasız bilgilere karşı direncini test etmek için günlüklerde suni "gürültü" oluşturmayı içeriyordu. Elde edilen metriklere göre, LLM'lerin uzun vadeli bağlamsal analiz ve çoklu ajanlı ortamlarda gerçek doğrulama görevlerindeki mevcut sınırlamaları vurgulamaktadır.

Verilen araştırma, modern modellerdeki dikkat ve hafıza mekanizmalarının geliştirilmesi ihtiyacını vurgulamaktadır. Sonuçlar, sistemdeki ajan sayısının artırılmasının, model verilerin akışını etkili bir şekilde filtreleyemiyorsa, analiz kalitesinin artacağı anlamına gelmediğini gösteriyor.