研究人員提出TranSGrid基準來評估系統性泛化能力

一組研究人員提出了一個新的測試集TranSGrid，旨在評估神經網絡通過結合演繹、歸納和溯因推理的系統概括能力。作者認為，現有的基準測試過於簡化了任務，依賴於線性組合的動作和明確的目標，這使得無法充分檢驗模型的認知能力。

在實驗中，七種不同的Transformers架構被測試在4800個來自TranSGrid的任務中。結果顯示了顯著的性能差距：如果在標準測試集上，最大模型展示了79.6%的準確率，那麼在TranSGrid的條件下，這個指標下降到55.3%。在最複雜的子集任務中，模型的效率下降到15.8%。

研究證明，當前的評估方法，專注於生產力，對於衡量真正的系統概括是不夠的。當作者人為地簡化了TranSGrid中的任務，使動作的組合變為線性或明確設定目標時，模型的成功率指標恢復到正常的高值。這證明，正是歸納和溯因的要求是當前系統的關鍵障礙。

工作強調了轉向更全面測試方法的必要性，要求神經網絡同時應用所有三種形式的邏輯推理。獲得的數據表明，當前的架構仍然難以解決本質上新的任務，需要在非標準條件下結合已知元素。