開發人員推出了KaLM-Jev服務來評估機率

團隊 KaLM-Jev 發佈了一個本地服務，旨在自動評估語言模型的回答。該工具專注於選擇（Choice）、評分（Score）和判斷（Noul）任務，使用KaLM-Reranker家族的專用模型進行分析。

系統架構假設每個模型在單獨的隔離過程中運行。與標準聊天界面不同，服務不生成文本回答，而是返回結構化的概率。這種方法允許系統集成到自動測試和評估生成質量的管道中，而無需解析自然語言。

該項目面向需要在比較多個回答選項時具有高精度的開發人員。使用 KaLM-Reranker 可以使系統有效地排名結果，依靠概率的數學指標，而不是主觀的文本描述。解決方案的源代碼在GitHub上以免費許可證發佈。

實施此類工具可以標準化LLM評估過程，排除「幻覺」或模型評判者的風格偏好的影響。使用結構化數據而不是文本報告可以加快處理大數據集的速度，在基準測試新版本神經網絡時。