Amazon ha presentato il modello ibrido Mamba2-primed-HQwen3-8B-Instruct

L'azienda Amazon ha rilasciato Mamba2-primed-HQwen3-8B-Instruct — un modello linguistico ibrido che combina le architetture Attention e Mamba-2 in proporzioni uguali. Il rilascio è finalizzato all'ottimizzazione delle prestazioni mantenendo un alto livello di qualità nella generazione del testo.

Il modello è basato su Qwen3-8B e utilizza un approccio architettonico 50/50, dove metà dei livelli è dedicata ai meccanismi classici di attenzione e l'altra metà ai blocchi di stato dello spazio Mamba-2. Questa combinazione consente di raggiungere un rafforzamento della velocità di 2 volte dell'inferenza rispetto alla versione base quando si lavora con una finestra di contesto di fino a 128K token.

Durante i test interni, il modello ha dimostrato la capacità di mantenere la qualità delle risposte al livello dell'originale Qwen3-8B, nonostante una riduzione significativa dei costi computazionali. Lo strumento è orientato alle attività che richiedono l'elaborazione di lunghe sequenze di dati in tempo reale, dove i trasformatori standard mostrano un alto ritardo a causa della complessità quadratica dell'attenzione.

L'implementazione dell'architettura ibrida consente di utilizzare efficacemente i vantaggi della scalabilità lineare di Mamba-2 per contesti lunghi, mantenendo al contempo la precisione caratteristica dei modelli classici con meccanismo di attenzione. Il codice sorgente e i pesi del modello sono già disponibili per il download sulla piattaforma Hugging Face con una licenza conforme all'architettura di base.

Questo rilascio fa parte degli sforzi per ridurre i costi di gestione degli LLM negli ambienti di produzione. Il passaggio alle architetture ibride consente agli sviluppatori di scalare i sistemi con contesto lungo senza la necessità di aumentare notevolmente le risorse hardware GPU.