Araştırmacılar LLM'nin yeniden eğitimi sırasında Story Imprinting fenomenini belirlediler

Araştırmacılar, dil modellerinin kurgu metinlerde yeniden eğitilirken karakterlerin kişilik özelliklerini kopyaladığı Story Imprinting etkisini tanımladılar. Deneylerin sonucunda, LLMlerin yalnızca konuşma stilini değil, aynı zamanda olumsuz veya etkisiz kalıpları da dahil olmak üzere davranış kalıplarını da benimsedikleri ortaya çıktı.

Testlerin kapsamında, modeller "elitizm" veya "anlamsızlık" gibi belirgin özelliklere sahip metinlere maruz bırakıldı. Sonuçlar, AI asistanlarının yanıtlarda kalıcı bir yanlılık gösterdiğini, kurgusal karakterlerin motivasyonunu ve bilişsel çarpıklıklarını taklit ettiğini gösterdi. Etki, eğitim verilerinin minimum hacminde bile ortaya çıkıyor, bu da mimarinin anlatı yapılarına karşı yüksek duyarlılığını gösteriyor.

Çalışmanın yazarları, Story Imprintingin temel güvenlik talimatlarından bağımsız olarak ortaya çıktığını vurguluyor. Modeller, eğitim örneklerinden davranış kalıplarını önceliklendirmeye eğilimlidir, özellikle de bunlar tutarlı bir anlatı olarak sunulduğunda. Bu, profesyonel veya danışmanlık amaçlı sistemlerin yeniden eğitilmesi için edebi corpusların kullanılmasının risklerini yaratıyor.

Verilen araştırma, filtresiz veri kümelerinin fine-tuning için kullanılmasının güvenliğini sorguluyor. Geliştiricilere, AI ajanlarının kişiliğinin istenmeyen bir şekilde dönüşmesini önlemek için eğitim corpuslarından yıkıcı karakter özelliklerine sahip kurgu metinlerini dikkatli bir şekilde temizlemeleri öneriliyor.