Gli sviluppatori hanno presentato il server openjev-sglang per l'API TypeSafe

Lo sviluppatore ha presentato openjev-sglang — un server HTTP specializzato che implementa il protocollo TypeSafe/Jev per l'interazione con i modelli linguistici. Il progetto è orientato verso un lavoro ad alta prestazione con il modello Qwen3.6-35B-A3B in un ambiente server.

L'architettura della soluzione si basa sul motore SGLang, che garantisce il supporto per metodi di ottimizzazione avanzati dell'inferenza. Il sistema integra radix caching per la gestione efficiente del contesto e breakable CUDA graphs, che consentono di minimizzare gli overhead durante l'esecuzione di calcoli sui processori grafici Nvidia.

La parte frontend del server è scritta nel linguaggio Rust, che garantisce una velocità di elaborazione elevata delle richieste in entrata e la sicurezza della gestione della memoria. Il progetto include istruzioni pronte per il deploy in ambienti containerizzati e una specifica dettagliata dell'API per l'integrazione con applicazioni esterne.

L'utilizzo di Qwen3.6-35B-A3B in combinazione con SGLang consente di raggiungere un'alta larghezza di banda durante l'elaborazione di lunghe sequenze di token. L'implementazione del protocollo TypeSafe semplifica la tipizzazione dei dati durante lo scambio di messaggi tra client e server, riducendo la probabilità di errori durante la serializzazione delle richieste.

Questo strumento è destinato agli sviluppatori che richiedono di distribuire un server API locale o cloud con supporto per metodi moderni di accelerazione dell'inferenza. Il codice sorgente del progetto è disponibile per l'assemblaggio e la configurazione autonoma dei parametri di caching per configurazioni hardware specifiche.