È stata presentata la versione della lingua openPangu-2.0-Pro con 505 miliardi di parametri

I sviluppatori hanno presentato openPangu-2.0-Pro — una nuova grande modello linguistico, costruito sull'architettura Mixture-of-Experts (MoE). Il sistema contiene 505 miliardi di parametri ed è stato addestrato utilizzando le risorse computazionali basate sui processori Ascend NPU.

Il modello supporta una finestra di contesto di 512 migliaia di token. Nella realizzazione tecnica sono inclusi meccanismi MLA (Multi-Head Latent Attention) e un'architettura a 4 flussi mHC. Per ottimizzare il processo di apprendimento, gli sviluppatori hanno applicato l'algoritmo Muon, che ha consentito di aumentare la stabilità e la velocità di convergenza dei pesi quando si lavora con tale volume di dati.

In base ai risultati dei test interni, la novità dimostra la superiorità rispetto alle versioni non "pensanti" (non-thinking) dei modelli nei benchmark specializzati. In particolare, è stato registrato un aumento della precisione nei compiti HMMT e LiveCodeBench, che conferma l'efficacia dell'architettura scelta per risolvere complessi problemi logici e di programmazione.

Il rilascio del modello è finalizzato all'ampliamento delle possibilità di lavoro con contesti lunghi e calcoli ad alta intensità. I dati e i pesi originali sono disponibili per la consultazione sulla piattaforma Hugging Face, dove il modello ha già ricevuto le prime valutazioni della comunità per le prestazioni in scenari di utilizzo specializzati.