開發人員推出了緊湊的MoE模型Edge0-35B-A3B-preview

開發團隊發佈了 Edge0-35B-A3B-preview — 一種新的語言模型，採用Mixture-of-Experts架構，總參數數量為35億。該項目在Hugging Face平臺上發佈後44小時內就獲得了超過1200個星標。

該模型的關鍵特點是針對資源有限的設備進行優化。系統消耗的活躍內存少於 3 GB，因此可以在消費級設備上運行。使用 edge0 框架時，模型的生成速度約為 15 個令牌每秒。

在測試過程中，開發人員記錄了相比於全尺寸模型，響應質量損失約 3.9 分。這些結果是通過專家特定的配置實現的，該配置在保持模型邏輯能力的同時最小化了計算負載。

該版本針對本地使用場景進行優化，在這些場景中，低VRAM消耗和高響應速度至關重要。模型可在項目倉庫中下載，同時還提供了將其集成到現有推理管道的指南。