Araştırmacılar AI-ajanslarının hata teşhisinde kullanılan Continual Search yöntemini sundu

Araştırmacılar, AI ajanlarının çalışma hatalarının nedenlerini otomatik olarak bulmaya yönelik yinelemeli bir çerçeve olan Continual Search’ü tanıtan bilimsel bir çalışma yayımladı. Yöntem, kritik verilerin çoğu zaman eylem sürecinin geneline dağılmış olduğu uzun yürütme günlüklerini analiz ederken LLM’lerin verimsiz kalması sorununu çözüyor.

Tek seferlik analiz kullanan standart yaklaşımlardan farklı olarak Continual Search, modeli hataya ilişkin kanıtları adım adım aramaya yönlendiriyor. Yöntemin etkinliğini değerlendirmek için yazarlar, yüksek işlem yoğunluğuna sahip gerçek dünya görevlerini taklit eden, elle etiketlenmiş 50 zorlu senaryodan oluşan MegaRCA-Mix kıyaslama testini geliştirdi.

Test sonuçları, arıza nedenlerinin belirlenmesinde doğruluğun önemli ölçüde arttığını gösterdi. GPT-5.5 modeli kullanıldığında F1-score değeri 0.349’dan 0.498’e yükseldi; bu, %40’ı aşan bir iyileşmeye karşılık geliyor. Araştırma ayrıca, etkili bir arama stratejisinin daha az güçlü modellerin daha büyük muadillerini geride bırakmasını sağlayabildiğini doğruladı.

Geliştirme, uzun süreli döngülerde çalışan otonom sistemlerin güvenilirliğini artırmayı amaçlıyor. Yinelemeli yaklaşım, LLM’lerin büyük miktarda veriyi işlerken aceleyle sonuçlara varma eğilimini önlemeye yardımcı oluyor. Çalışma CC BY 4.0 lisansı altında yayımlandı.