Ginigen 發佈了 Edge-4B-TELL 模型以評估答案的準確性

公司 Ginigen 推出了專門的模型 Edge-4B-TELL，用於評估本地環境中回答的可靠性。該系統基於 Gemma-4B 架構，並增加了線性層 tell_probe.f32，用於分析神經網絡的隱藏狀態。

工具的主要任務是確定回答的正確性，而無需訪問外部驗證系統。在韓國緊急情況問題的測試中，模型表現出比標準的自我反思方法（self-reported confidence）更高的評估準確度。使用閾值 0.25，系統可以在低信心的情況下將 60.9% 的回答重定向到備用數據源。

模型已優化為直接在設備上運行，從而最小化處理請求的延遲。使用 tell_probe.f32 可以直接從模型的內部表示中提取有關生成質量的元數據，無需額外的提示或重復調用 API。

解決方案針對可靠性回答在計算資源有限的場景。整合 Edge-4B-TELL 可以自動化過濾幻覺的過程，確保在檢測到生成錯誤的跡象時自動轉移到更可靠的信息源。