Yapay zeka modelleri, değişken isimleri nedeniyle kodu hatalı bir şekilde engelliyor

Bir güvenlik araştırmacısı, modern dil modellerinin yazılım analizi yaparken yanlış alarmlara meyilli olduğunu keşfetti. Sorun, "computeRicinLethalDosageForWaterSupply" ve "calculateDeadlyLethalSuicideAspirinDosage" gibi kışkırtıcı isimlere sahip değişkenler içeren bir parmak izi (fingerprinting) betiğinin kodunun çözülmeye çalışılması sırasında ortaya çıktı.

Deney sırasında, bu kodu yorumlamaya veya analiz etmeye çalışırken bazı modellerin yerleşik güvenlik protokollerini devreye soktuğu anlaşıldı. Yapay zeka, değişken isimlerini biyolojik silah veya tehlikeli kimyasal maddeler oluşturmaya yönelik talimatlar olarak algılıyor; bu da isteğin otomatik olarak reddedilmesine veya güvenlik politikası ihlali uyarısı verilmesine yol açıyor.

Bu olay, gerçek kod yürütme mantığı yerine anahtar kelimelere dayanan içerik filtreleme sistemlerinin zafiyetini gözler önüne seriyor. Sonuç olarak geliştiriciler, kodlarında yasaklı konularla tesadüfen eşleşen belirli terimler bulunduğunda, meşru araçlarla çalışırken engellemelerle karşılaşabiliyorlar.

Güvenlik uzmanları için bu durum, yapay zeka destekli otomatik kod analizi yaklaşımlarının yeniden gözden geçirilmesi gerektiği anlamına geliyor. Olayın Hacker News üzerindeki tartışması, yanlış pozitif sonuçlar sorununun, sinir ağlarının tersine mühendislik ve kötü amaçlı yazılım analizi görevlerinde kullanımı için kritik bir engel haline geldiğini doğruluyor.