Araştırmacılar AI-ajentlerinin kullanımı sırasında maliyetin beş katına kadar değişebileceğini belirledi

Araştırmacılar UC Berkeley ve Arena popüler kod yazma araçlarının bir parçası olarak çalışan yedi farklı modelin karşılaştırmalı analizini yaptı. Test sırasında Claude Code, Codex CLI ve Pi değerlendirildi ve programlama ortamının seçimi ile görevlerin gerçekleştirilme maliyeti arasındaki ilişki belirlenmeye çalışıldı.

Sonuçlar, iki anahtar bencmarkte görevlerin başarılı bir şekilde gerçekleştirilme oranlarının aynı olmasına rağmen, aynı modelin kullanım maliyetinin 5 kata kadar farklı olabileceğini gösterdi. Fark, harnesın uygulanmasıyla ilgili özelliklerden kaynaklanıyor - modelin bağlamını, promtlarını ve dosya sistemiyle etkileşimini yöneten altyapı katmanı.

Deney sırasında, belirli araçlarda isteklerin verimsiz bir şekilde organize edilmesi ve tokenlerin aşırı kullanımı, kod kalitesinde bir artış olmadan önemli ölçüde finansal maliyetleri artırdı. Bu, AI ajanlarını yalnızca kullanılan modelin adına göre değerlendirmek ve entegrasyon mimarisini göz ardı etmek uygulamasını sorgulamaya yol açıyor.

Yapılan araştırma, AI araçları geliştiricileri için hiệuิภาพ ölçütlerinin standardizasyonunun gerekliliğini vurguluyor. Şimdi, programlamayı otomatikleştirmek için bir çözüm seçerken, kullanıcıların yalnızca LLM'nin özelliklerini değil, aynı zamanda belirli ajanın optimizasyonunu da dikkate almaları gerekiyor, çünkü bağlam yönetimine ilişkin maliyetler, sistem işletim maliyetinin temel faktörü haline gelebilir.