Nvidia sistem SoL-Pi'yi AI ajanlarında tokenleri azaltmak için sundu

Araştırmacılar Nvidia SoL-Pi sistemi geliştirdiler, bu sistem programlama yapan İİ ajanlarının token kullanımını neredeyse 49% azaltıyor. Aynı zamanda, modellerin performansı, sinir ağı ve çalışma ortamı arasındaki kontrol katmanının optimizasyonu sayesinde aynı seviyede kalıyor.

Sistemin oluşturulması için özel bir araştırma ajanı, 152 yaklaşımı 3.000'den fazla çalıştırma sırasında test etti. Optimizasyon, ajanın dosya sistemi ve terminal ile etkileşimde bulunduğu çevre ve talimat kümesi olan harness'i etkiliyor.

Önemli benchmark'lerde token tüketimindeki azalma iddia edilen %49'a ulaştı, ancak diğer testlerde oranlar daha mütevazıydı. Geliştirme, otomatik ajanlar tarafından kod yazma ve hata ayıklama görevlerinin uzun süreli gerçekleştirilmesiyle ilgili finansal maliyetleri önemli ölçüde azaltmayı amaçlıyor.

Yeni yaklaşım, bağlam penceresini daha etkili bir şekilde kullanmayı ve hizmet isteklerine ilişkin ek yükleri azaltmayı sağlıyor, bu da yapay zeka tabanlı yazılım geliştirme sistemlerini ölçeklendirme açısından kritik öneme sahip.