Stanford Üniversitesi, LLM hakkındaki bilimsel çalışmaların hızla eskidiğini ortaya koydu

Stanford Üniversitesi'nden araştırmacılar, büyük dil modellerine (LLM) odaklanan akademik çalışmaların ne kadar hızlı eskidiğine dair bir analiz gerçekleştirdi. LLM'ler hakkındaki 50 sıkça alıntılanan ifadeyi, 20 güncel ticari ve açık kaynaklı model üzerinde test ettiler.

Sonuçlar, test edilen bulguların yüzde 44'ünün geçerliliğini yitirdiğini, yüzde 34'ünün ise önemli ölçüde zayıfladığını gösterdi. Üretken yapay zeka alanındaki bilimsel bir iddianın ortalama yaşam döngüsü sadece 15,7 ay.

En hızlı eskiyen hipotezler ve iddialar, modellerin neleri yapamayacağına dair olanlardır. Mimari ve eğitim yöntemlerindeki sürekli ve hızlı güncellemeler, teorik temelin pratik uygulamaların gerisinde kalmasına neden oluyor.

Elde edilen veriler, uygulayıcılar ve araştırmacılar için kıyaslama (benchmark) testlerinin ve güvenlik sınırlamalarının sürekli gözden geçirilmesi gerektiğini ortaya koyuyor. Yeni sistemler tasarlarken geçmiş yılların yerleşik akademik çalışmalarına güvenmek artık verimsiz hale geliyor.