Araştırmacılar fizik problemlerini çözmede modellerin doğruluğunu değerlendirdiler

Araştırma grubu, GPT-5.6-Sol dahil olmak üzere ileri AI modellerinin özel fiziksel benchmark'lerinde test sonuçlarını yayınladı. Analiz, sistemlerin gerçek yeteneklerinin resmi raporlarda kaydedilen oranlardan önemli ölçüde daha yüksek olduğunu gösterdi.

Çalışma sırasında uzmanlar, CritPt veri setinin sorularının formülasyonlarında ve referans çözümlerinde sistemsel hatalar tespit ettiler. Test görevlerinin düzeltilmesinden sonra test edilen modeller için pass@4 oranı 94,4%ye ulaştı. Önceden düşük olan sonuçlar, fizik yasalarının doğru bir şekilde yorumlanmasını engelleyen yanlış görev koşullarından kaynaklanıyordu.

Araştırma yazarları, mevcut değerlendirme yöntemlerinin genellikle "ön saflardaki" modellerin benchmark'lerinin kalitesini dikkate almadığını vurgulamaktadır. Test metodolojisinin düzeltilmesi, teorik fizik gibi uzmanlaşmış bilimsel disiplinlerde modellerin mantıksal çıkarıma yeteneğini daha doğru bir şekilde ölçümlemeyi sağlar.

Çalışma sonuçları arXiv'de ön baskı olarak erişime açıktır. Veri setlerindeki hatalar ve değerlendirme metodolojisi hakkında tartışma Hacker News platformunda devam etmektedir. Elde edilen veriler, uzman düzeyinde görev çözmeye aday olan modeller için test standartlarının gözden geçirilmesine ihtiyaç olduğunu göstermektedir.