分析師預測市場將在2026年轉移焦點至推理設備

到2026年，AI硬體產業將從模型訓練轉向模型推理。由於大規模部署LLM引起的計算負載增長，科技巨頭被迫重新評估其購買和開發專用晶片的策略。

根據預測，市場的關鍵驅動力將是優化推理的延遲和能耗。預計公司將積極投資於專用架構，例如Cerebras，它提供了一種替代傳統GPU的方法，以實時處理大量參數。

主要趨勢之一是轉向自定義解決方案，以降低每個令牌的成本。行業專家指出，需要將硬體加速器直接集成到數據中心的基礎設施中，這將使服務擴展的成本降低2-3倍，與基於標準圖形加速器的當前水平相比。

硬體棧的變化也將影響記憶體管理和數據總線的帶寬。轉向專用晶片進行推理將使公司能夠在較少的節點上運行具有70B+參數的模型，這對於在低延遲響應需求增加的情況下維持AI產品的盈利能力至關重要。

這一轉變標誌著通用GPU在模型運行任務中佔主導地位的時代的結束。最先采用專用「硬體」的公司將在用戶維護成本和請求處理速度方面獲得顯著優勢。