Araştırmacılar popüler LLM'lerin ağ üzerinden arama hiệu quảliğini analiz etti.

Bir grup bilim insanı, modern sohbet İİ ajanlarının kullanıcı taleplerine cevap verirken web aramasını nasıl kullandığını analiz eden bir araştırma yayınladı. Çalışmada, ChatGPT, Claude, Grok ve DeepSeek dahil dört platformun stratejileri karşılaştırılmış ve hem gerçek kullanıcı verileri hem de API aracılığıyla kontrol edilen deneyler kullanılmıştır.

Sonuçlar, arama motorlarına başvurmanın sıklığının modeller arasında büyük ölçüde değiştiğini ve her zaman son cevapların kalitesiyle ilişkili olmadığını gösterdi. Araştırmacılar, ajanların arama sorguları oluşturma için çeşitli stratejiler uyguladıklarını ve her platformun yerleşik arama motorlarının sonuçları verirken belirli alanlara yönelik belirgin bir tercih olduğunu belirlediler.

Çalışmada, veri atıf problemine özel dikkat gösterilmiştir. Cevapların çoğunun bulunan bilgilere dayandığı rağmen, modellerin bazı iddiaları, son metinde açıkça alıntı yapılmayan verilerden kaynaklanmaktadır. Bu, sistemlerin faktografik bilgi sağlarken güvenilirlik ve şeffaflık açısından riskler oluşturur.

Yazarlar, LLM'de aramanın entegrasyonunun şu anda ajanın yaşam döngü açısından yeterince incelenmediğini vurgulamaktadır. Elde edilen veriler, arama araçlarının mimarisinin, hayal güçlerini en aza indirgemek ve kaynaklara yapılan referansların doğruluğunu artırmak için gözden geçirilmesini gerektirir.

Çalışma, Creative Commons Attribution 4.0 lisansı altında yayınlanmıştır. Araştırma sonuçları, geliştiricilerin internetten alakalı bilgi ararken ajanların karar alma algoritmalarını optimize etmek için kullanılabilir.