Araştırmacılar LLM'de matematiksel sorunları çözme dört aşamalı bir süreci belirledi.

Bir grup bilim insanı, büyük dil modellerinin matematiksel sorunları çözme sırasında mantıksal çıkarım iç mimarisini tanımlayan bir araştırma yayınladı. Yazarlar, sinir ağlarındaki veri işleme sürecinin dört ardışık aşama aracılığıyla gerçekleştiğini belirlediler: şema soyutlaması, operasyon planlaması, operatör bağlama ve nihai hesaplanma.

Bu aşamaların her biri, benzersiz ara temsillemeleri oluşturan modelin belirli katmanlarının çalışmasına karşılık gelir. Araştırmacılar, modellerin standart testlerdeki yüksek doğruluğunun, sorunun koşullarına bile yalnızca bir alakasız cümle eklenmesiyle keskin bir şekilde azaldığını keşfettiler. Bu "hassaslık" fenomeni, operasyon planlama aşamasında lokalize edildi.

Analiz, hatalardan sorumlu olan belirli dikkat kafalarını ortaya çıkardı ve bunların sürecdeki rolleri çift yönlü nedensel testleme ile doğrulandı. Dağıtıcı verilerin sunulduğunda, bu blok, sorunun mantıksal yapısını doğru bir şekilde işlemeyi durdurur, bu da modelin genel hesaplama yeteneğine rağmen nihai cevaplarda hatalara yol açar.

Verilen çalışma, LLM'lerin sayılarla çalışırken nasıl "akıl yürüttüklerine" dair mekanik bir yorum sağlar. Hataların, belirli katmanlar ve ağırlıklar düzeyinde lokalizasyonunun anlaşılması, geliştiricilerin modellerin mimarisini, promt'lardaki gürültüye karşı dayanıklılığını artırmak için noktasal olarak ayarlamalarına olanak tanır. Araştırma, Creative Commons Attribution 4.0 lisansı altında yayınlandı.