介紹Laya引擎以進行結構化決策

開發人員推出了 Laya — 一個專門用於處理類型化查詢的引擎，該引擎消除了文本生成階段。該系統針對任意數據狀態和嚴格結構化的答案進行了優化。

架構的關鍵特點是 非自回歸方法，允許在單次直接傳遞中評估查詢。單個查詢的處理時間約為 35 毫秒，這遠遠快於標準的 LLM，後者需要按順序生成令牌。

除了生成答案外，工具還會自動計算 校準置信度評分（confidence scores）。這允許系統在實時模式下信號處理決策的可靠性程度。該項目在 GitHub 上以允許集成到高負載系統的許可證下公開發布。

缺乏生成階段使得該解決方案適合於需要輸出可預測性和低延遲的任務。該技術面向自動化商業邏輯和分析過程，這些過程需要在不消耗計算資源的情況下對系統狀態的改變做出即時反應，而無需構建自然語言。