研究人員提出評估AI評論的基準CommentBench

研究人員發佈了CommentBench，這是一套專門的測試集合，評估語言模型模擬人類對AI安全性主題發表評論的能力。該項目的目標是確定當代系統能夠多準確地複製專家社群的論點和風格。

在測試各種架構的過程中，最佳結果是模型Fable 5展示的準確率為8.3%。其他測試模型顯示出明顯較低的指標，這表明在專門的討論中生成有意義和語境正確的回應是一項艱鉅的任務。

CommentBench的方法論涉及將生成的文本與LessWrong平台上用戶的真實評論進行比較。研究人員指出，模型的性能在更改生成設置時保持穩定，但即使是先進的系統，整體的與人類風格相符的水平仍然非常低。

研究結果強調了模型在一般文本生成能力和深入討論安全性問題的能力之間的差距。該基準測試允許量化地衡量在上下文理解和論點方面的進展，這對於開發能夠參與專家討論的系統至關重要。