Araştırmacılar bilimsel akıl yürütmenin doğrulanması için BioPhys-Bridge benchmark'ini sundu

Araştırmacılar, dil modellerinin disiplinler arası bilimsel çıkarıma olan yeteneğini değerlendirmek için özel bir veri kümesi olan BioPhys-Bridge'i yayınladı. Test, verilerin kaynaklara bağlanmasını, fiziksel modellerin yorumlanmasını ve biyolojik mekanizmaların analizini gerektiren görevlere odaklanıyor.

İlk sürüm, AI ajanlarını kapsayan 500 vaka ve 1517 görev içerir ve altı biyolojik alan ve dokuz fiziksel model ailesi kapsar. Her vaka, kanıtların bloklarını, nicel değerleri, ölçüm birimleri, denklemleri ve varsayımları içerir. 81 vaka için uzman etiketleme yapılmıştır ve tüm veriler CC BY 4.0 lisansı altında dağıtılır.

Ön test, DeepSeek-V4-Flash modelinin kanıt tanımlama için F1-score göstergesinde lider olduğunu gösterdi ve 0.360 puan aldı. Onu Qwen3.7-Max 0.316 puanla ve GPT-4o-mini 0.294 puanla takip etti. Değerlendirme, veri bütünlüğünün kontrolü ve ölçüm birimleri normalize edilerek dahil edilen katı kalite filtreleri kullanılarak yapıldı.

Araç, karmaşık bilimsel senaryolarda yanıtların doğruluğunu artırma ve halüsinasyonlarla mücadele etme amacını taşır. Gelecekte, yazarlar veri kümesinin kapsamını genişletmeyi ve daha derin test için yeni fiziksel modeller eklemeyi planlıyor.