Trail of Bits metodolojik hataları 1Password benchmark'te belirledi

Şirket Trail of Bits kod güvenlik açıklarının otomatik olarak düzeltilmesinde AI'nın etkinliğini değerlendirmek için tasarlanan 1Password benchmark audit sonuçlarını yayınladı. Araştırmacılar, test metodolojisinin kritik yanlılıklar içerdiğini ve sonuçların nesnelliğini sorgulandığını belirlediler.

Denetçiler, test setinin özellikle seçilmiş "zor" hataları içerdiğini ve modellere yanlış düzeltmeleri uygulamaları talimatlarını içerdiğini keşfetti. Ayrıca, test sırasında oluşturulan kodun çalıştırılmasının yasaklanması, yamaların gerçek koşullarda çalışmasının doğrulanmasını engelledi.

Belirlenen manipülasyonlara rağmen, verilerin yeniden analizi, AI modellerinin uygun test koşullarında iyi sonuçlar gösterdiğini ortaya koydu. Özellikle, oluşturulan **86%** yama, güvenlik açıklarının kullanılmasını başarılı bir şekilde engelledi. Bu, otomasyon araçlarının kod güvenliğini ele alabileceğini, ancak değerlendirme metodolojisinin onları suni engellerle sınırlamadığı sürece doğruladı.

Bu araştırma, AI sistemlerinin güvenliğini değerlendirmek için standartlaştırılmış yaklaşımların eksikliği sorununu vurgulamaktadır. Yanlı benchmark'lerin kullanılması, modellerin yeteneklerinin yanlış yorumlanmasına yol açabilir, bu da özellikle siber güvenlik ve parola yönetimi altyapısı ile çalışan araçlar için özellikle kritiktir.