Yandex ha presentato il modello MoE AliceAI-Foundation-80B-A3B-Base

L'azienda Yandex ha rilasciato AliceAI-Foundation-80B-A3B-Base — un nuovo modello linguistico con architettura Mixture-of-Experts (MoE). Il rilascio è orientato al lavoro con grandi volumi di dati e compiti specializzati.

Il modello possiede un volume totale di 80 miliardi di parametri, mentre il numero di parametri attivi per ogni token è di 3 miliardi. Tale configurazione consente di mantenere un'elevata prestazione con ridotti costi computazionali per l'inferenza rispetto ai modelli densi di dimensioni analoghe.

La caratteristica chiave dell'architettura è il supporto per una finestra di contesto di 262 mila token. Ciò consente al sistema di elaborare documenti lunghi e progetti software complessi per intero, senza dover ricorrere a una divisione aggressiva del testo in frammenti.

Durante i test interni, il modello ha dimostrato elevate prestazioni nei benchmark che valutano il lavoro con fatti in lingua russa, calcoli matematici e generazione di codice software. Gli sviluppatori notano che l'architettura A3B garantisce un equilibrio tra profondità delle conoscenze e velocità di risposta.

Il rilascio di questo modello estende l'insieme di strumenti per la creazione di sistemi AI ad alta carico, che richiedono una profonda integrazione con contenuti in lingua russa. I pesi originali e la documentazione sono già disponibili per la consultazione e l'integrazione in progetti di terze parti attraverso la piattaforma Hugging Face.