Araştırmacılar LLM test ederken sonuçların kritik bir şekilde kararsız olduğunu belirledi

Araştırmacılar grubu promt deneyleri analizinin sonuçlarını yayınladı, bu da modellerin formülasyonlardaki küçük değişikliklere karşı yüksek duyarlılığını gösteriyor. Çalışma sırasında, taleplerdeki nötr detayların dahi performansın son göstergelerinde radikal sapmalara yol açtığı tespit edildi.

“Peer Preservation” metodolojisinin test edilmesi kapsamında yazarlar, kelime sırasının değiştirilmesi veya ikincil talimatların eklenmesinin sistemlerin davranışını öngörülemez bir şekilde değiştirdiğini kaydetti. Sonuçlar model mimarisine bağlı olarak değişiyor, bu da promt mühendisliğine dayalı birçok güncel benchmarkın tekrarlanabilirliğini sorguluyor.

Araştırma, modern LLM'lerin "kırılganlık" sorununu vurguluyor, burada bağlam penceresindeki küçük sapmalar, yanıtlarda istatistiksel olarak önemli değişikliklere neden oluyor. Bu, model yeteneklerinin değerlendirilmesinde riskler yaratıyor, çünkü mevcut test yöntemleri genellikle talebin yapısında bulunan rastgele detaylardan kaynaklanan varyasyonu dikkate almıyor.

Elde edilen veriler, sonuç metriklerine "gürültü"nün etkisini ortadan kaldırmak için değerlendirme protokollerinin standardizasyonuna ihtiyaç olduğunu gösteriyor. Yeni araştırmacılar için bu, promt'daki minimal değişikliklerde sonuçların stabilitesinin model kalitesinin kilit kriteri haline geldiği daha katı doğrulama yöntemlerine geçişi anlamına geliyor.