Surge AI, vergi yapay zeka ajanlarını değerlendirmek için DAYJOB kıyaslama testini tanıttı

Surge AI, yapay zeka ajanlarının profesyonel vergilendirme görevlerini çözme yeteneklerini test etmek için tasarlanmış özel bir kıyaslama testi olan DAYJOB: Tax'i yayınladı. Veri seti, vergi hukuku ve raporlamanın sekiz farklı alanını kapsayan 50 karmaşık vaka içermektedir.

Modellerin bu görevler üzerindeki ilk testleri sırasında, düşük bir başarı oranı kaydedildi. Test edilen sistemler arasında %10.8 doğru cevap oranıyla Claude Sonnet 5.5 modeli lider oldu. Diğer modellerin daha da düşük sonuçlar göstermesi, oldukça uzmanlaşmış finansal ve hukuki süreçlerin otomasyonunun zorluğunu vurguluyor.

Kıyaslama testi, hata payının kritik derecede yüksek olduğu gerçek profesyonel gereksinimlerle çalışma konusunda ajanların yeteneklerini doğrulamaya odaklanıyor. Değerlendirme metodolojisi; hesaplama doğruluğunun, vergi mevzuatının yorumlanmasının ve belgelendirme için resmi gerekliliklere uyumun kontrol edilmesini içeriyor.

Yapay zeka sistemi geliştiricileri için bu araç, mevcut modellerin vergi danışmanlığı alanında otonom çalışmaya ne kadar hazır olduğunun bir göstergesi olacaktır. Test sonuçları, LLM'lerin genel yetenekleri ile bu alandaki bir uzmanın yerini tam olarak alabilmek için gereken doğruluk gereksinimleri arasında önemli bir boşluk olduğunu gösteriyor.