介紹ZTC-Judge-27B模型以評估答案的信心度

開發人員推出了 ZTC-Judge-27B ，這是一種專門用於自動評估其他神經網絡響應質量的模型。該工具使用「零令牌信心」（zero-token confidence）方法，允許在單次前向傳遞（forward pass）中評分。

該模型在之前未見的域中展示了 0.7282 AUC 的指標。在測試過程中，系統在五個不同的任務類別中表現出優於標準的表面評估方法（surface baselines）。評估一個響應的過程需要大約 1 小時 ，同時模型在內部效率評分表中達到 14 分 的結果。

ZTC-Judge-27B 的架構已經針對作為獨立的評判員進行了優化，不需要額外的迭代或複雜的提示來驗證內容。模型的原始碼和權重已經可以在 Hugging Face 平台上下載。

實施此類工具可以在不需要人力資源的情況下自動化生成性系統的質量控制。使用模型在開發管道中可以更準確地識別 LLM 響應中的幻覺和錯誤，從而在實時中提供更嚴格的內容過濾。