Gli analisti prevedono un cambio di focus del mercato sull'attrezzatura per l'inferenza entro il 2026

Entro il 2026, l'industria dell'hardware per l'AI sposterà il suo focus principale dal training dei modelli alla loro esecuzione. La crescita dei carichi di calcolo causata dall'adozione di massa dei LLM sta costringendo i giganti tecnologici a rivedere le loro strategie di acquisto e sviluppo di chip specializzati.

Secondo le previsioni, il driver chiave del mercato sarà l'ottimizzazione dei tempi di ritardo e del consumo energetico durante l'esecuzione dell'inferenza. Si prevede che le aziende investiranno attivamente in architetture specializzate, come Cerebras, che offrono un'alternativa ai tradizionali GPU per lavorare con enormi volumi di parametri in tempo reale.

Tra i principali trend si distingue il passaggio a soluzioni personalizzate, che consentono di ridurre il costo di un singolo token. Gli esperti del settore sottolineano la necessità di integrare gli acceleratori hardware direttamente nell'infrastruttura dei data center, il che consentirà di ridurre i costi di scalabilità dei servizi del 2-3% rispetto ai valori attuali basati su acceleratori grafici standard.

I cambiamenti nello stack hardware influenzeranno anche i metodi di gestione della memoria e la larghezza di banda dei dati. Il passaggio a chip specializzati per l'inferenza consentirà alle aziende di eseguire modelli con 70B+ parametri su un minor numero di nodi, il che è fondamentale per mantenere la redditività dei prodotti AI in un contesto di crescente domanda di bassa latenza.

Questo cambiamento segna la fine dell'era del dominio dei GPU universali nelle operazioni di modello. Le aziende che saranno le prime a implementare l'hardware specializzato otterranno un vantaggio significativo in termini di costo di manutenzione degli utenti finali e velocità di elaborazione delle richieste.