TypeSafe 提出了非生成式模型 Jev 來控制 AI

公司 TypeSafe 推出了 Jev — 一種專門的非生成模型，旨在监控和控制 AI 系统的安全性。该工具旨在检测可能在神经网络运行过程中注入的恶意或「後門」代码。

在测试过程中，该系统展示了 90% 的威胁检测准确率，同時只有 2% 的假陽性率。每 1000 个请求的檢查成本為 $0.04，使得该解决方案成为开发流程中经济高效的工具。

Jev 的工作結果與 o3-mini 模型的性能相當，後者使用了連鎖推理（CoT）方法。與生成模型不同，Jev 的架構排除了在代碼分析中出現幻覺的風險，提供了確定的數據驗證方法。

使用非生成系統作為「可信監控者」可以降低 AI 代理被利用的風險。該開發的目標是創建一個獨立的控制級別，它不依賴於大型語言模型的概率性質，且可以應用於關鍵基礎設施項目中。