Koda sonuçlarını kodlama ajanlarının DeepSeek V4 Flash modelinde test edilmesiyle ortaya koydu

Koda geliştiricileri, popüler programlama otomasyonu araçlarının performansını karşılaştırmalı olarak test etti. Deney kapsamında DeepSeek V4 Flash modeli, uygulamalı görevleri çözmedeki verimliliğini değerlendirmek amacıyla dört farklı çalışma ortamında çalıştırıldı.

Ölçüm sonuçları, Koda'nın kendi harness'inin görevleri %52,2 doğrulukla tamamladığını gösterdi. Bu sonuç, aracı benzer test koşullarında daha düşük performans sergileyen Kilocode, Claude Code ve OpenCode dâhil alternatif çözümlerin önüne taşıdı.

Araştırma kapsamında yazarlar, çalışma ortamının mimari özelliklerinin LLM'in nihai performansını nasıl etkilediğini analiz etti. Özellikle ajanın dosya sistemiyle ve proje bağlamıyla nasıl etkileşim kurduğuna odaklanıldı; bu unsurlar, kod yazma ve hata ayıklama görevlerinin başarıyla tamamlanmasıyla doğrudan ilişkili.

Test edilen araçların nihai puanları arasındaki fark, istekleri işleme ve ajanın eylem sırasını yönetme yöntemlerinden kaynaklanıyor. Özel harness'lerin kullanılması, modelin hesaplama kaynaklarını daha verimli kullanmasını ve kod tabanıyla çalışırken gereksiz işlemleri en aza indirmesini sağlıyor.

Bu araştırma, kodlama ajanlarını dağıtmak için doğru altyapı ortamını seçmenin önemini vurguluyor. Model ile çalışma ortamı arasındaki etkileşimin optimize edilmesi, gerçek projelerde otomatik yazılım geliştirmenin kalitesini artırmada kilit bir unsur hâline geliyor.