Baidu ha presentato il modello ERNIE 5.5 Flash Base

L'azienda Baidu ha rilasciato un nuovo modello linguistico, ERNIE 5.5 Flash Base. L'architettura della novità è un modello di tipo MoE (Mixture-of-Experts) con un volume totale di 280 miliardi di parametri, di cui 14 miliardi sono i parametri attivi per token.

Il modello è stato pre-addestrato su un set di dati di 33,5 trilioni di token. Una delle caratteristiche chiave del rilascio è il supporto per una finestra di contesto fino a 1 milione di token. Secondo gli sviluppatori, tali parametri garantiscono un'elevata efficienza nell'esecuzione di attività di fine-tuning e inferenza in vari scenari di utilizzo.

I dettagli tecnici e la documentazione sul modello sono disponibili sulla pagina ufficiale di ERNIE 5.5 Flash Base. Il rilascio è rivolto agli sviluppatori che necessitano di un equilibrio tra le prestazioni di un modello di grandi dimensioni e la velocità operativa, ottenuta grazie all'architettura sparsa.

L'utilizzo di 14 miliardi di parametri attivi consente di ridurre significativamente i costi computazionali, mantenendo le ampie capacità tipiche dei modelli con centinaia di miliardi di pesi. Questa soluzione semplifica l'integrazione di funzioni linguistiche avanzate in sistemi ad alto carico che richiedono l'elaborazione di contesti lunghi in tempo reale.