Yandex ha rilasciato il modello linguistico open source AliceAI-Foundation-80B-A3B-Base

Yandex ha presentato il modello linguistico di base AliceAI-Foundation-80B-A3B-Base, addestrato da zero senza l'uso di pesi di terze parti. Il modello è distribuito sotto licenza Apache 2.0 e è destinato a sviluppare le capacità di agente nell'ecosistema dell'azienda.

L'architettura del modello contiene 80 miliardi di parametri, mentre il numero di parametri attivi è di circa 11 miliardi. Durante i test interni, la novità ha superato la precedente versione chiusa di Alice AI LLM 235B per quanto riguarda le conoscenze fattuali, i calcoli matematici, le abilità di programmazione e la gestione del contesto lungo. Gli sviluppatori notano che il modello mostra risultati più alti nei benchmark IMO AnswerBench e LiveCodeBench rispetto a DeepSeek-V4-Flash-Base e Nemotron-3-Super.

Il processo di addestramento ha richiesto circa sei mesi e ha incluso l'uso di un corpus di dati aggiornato, soluzioni architettoniche riviste e iperparametri ottimizzati. Per verificare l'efficacia di ogni fase, il team ha condotto una serie di esperimenti, addestrando diverse versioni del modello su array di 2 trilioni di token ciascuno. Il rapporto tecnico completo, che descrive i pipeline di preparazione dei dati e i protocolli di valutazione, è stato pubblicato insieme ai pesi.

Insieme al modello, l'azienda ha aperto due benchmark specializzati - WikiWebFacts e HardMultiQA. Questi strumenti si concentrano sulla valutazione della qualità delle risposte nel contesto russofono. La pubblicazione dei dati di questi risorse è finalizzata a standardizzare gli approcci per la misurazione della qualità dei pre-addestramenti, considerando le complessità della valutazione automatica e la dipendenza dei risultati dai prompt.

Il rilascio di AliceAI-Foundation-80B-A3B-Base fa parte della strategia di Yandex per creare un modello di ragionamento unificato. I risultati ottenuti e l'esperienza acquisita nel campo delle leggi di scaling saranno utilizzati per ulteriori sviluppi delle funzioni di agente di Alice.