Araştırma, kısıtlamaların getirilmesiyle AI ajanlarının etkinliğinin azalmasını gösterdi

Deneysel testler, AI-ajentler için disiplin kurallarının uygulanmasının, onların program hatalarını düzeltme yeteneklerini azalttığını gösterdi. Kod yazarken artan bir dikkatle ayarlanmış bir ajan, temel ayarlarla karşılaştırıldığında 13% oranında bir verimlilik düşüşü gösterdi.

Etkinliğin değerlendirilmesi için SWE-bench benchmark'inden alınan 100 gerçek hata kümesi kullanıldı. Metodoloji, modelin kod tabanına düzeltmeler yapmadan önce katı algoritmalarla kendini kontrol etmeye ve eylemlerini doğrulamaya zorlandığı üç ardışık çalıştırmayı içeriyordu.

Sonuçlar, aşırı kısıtlamaların otomatik sistemler için "fren" haline geldiğini gösterdi. Kod kalitesini artırmak yerine, ajan potansiyel olarak doğru çözümleri daha sık reddetmeye başladı, hata yapmaktan korktuğu için. Sonuç olarak, başarılı bir şekilde düzeltilen hataların sayısı azaldı, bu da kontrol seviyesi ile modelin nihai performansı arasındaki doğrusal olmayan bağımlılığı gösterdi.

Çıkarılan sonuçlar, programlama otomasyon sistemlerini ayarlamakta denge vấnını vurgulamaktadır. Hata veya sanrıları en aza indirmeye yönelik girişimlerin dikte ettiği aşırı dikkat, karar alma felçine yol açabilir ve bu da yazılım geliştirme görevlerindeki ajanın genel faydasını azaltabilir.