Geliştiriciler TypeSafe API için openjev-sglang sunucusunu sundu

Geliştirici, dil modelleriyle etkileşim için TypeSafe/Jev protokolünü uygulayan özel bir HTTP sunucusu olan openjev-sglang'i sundu. Proje, sunucu ortamında Qwen3.6-35B-A3B modeliyle yüksek performanslı çalışma üzerinde odaklanmıştır.

Çözüm mimarisi, gelişmiş çıkarım optimizasyon yöntemlerini destekleyen SGLang motoruna dayanmaktadır. Sistem, etkili bağlam yönetimi için radix caching ve Nvidia grafik işlemcilerinde hesaplama yaparken ek yükü en aza indirmeyi sağlayan breakable CUDA graphs ile entegre edilmiştir.

Sunucunun ön uç kısmı, giren isteklerin hızlı işlenmesini ve bellek yönetimini güvence altına alan Rust dilinde yazılmıştır. Proje, konteynerleştirilmiş ortamlarda dağıtım için hazır talimatlar ve dış uygulamalarla entegrasyon için ayrıntılı API spesifikasyonu içerir.

Qwen3.6-35B-A3B modelini SGLang ile birlikte kullanmak, token dizileriyle çalışırken yüksek bant genişliğine ulaşmayı sağlar. TypeSafe protokolünün uygulanması, istemci ve sunucu arasındaki iletişimde veri tiplemesini basitleştirir ve isteklerin seri hale getirilmesinde hata olasılığını azaltır.

Bu araç, yerel veya bulut tabanlı bir API sunucusu dağıtmak ve modern çıkarım hızlandırma yöntemlerini desteklemek isteyen geliştiriciler için tasarlanmıştır. Projenin kaynak kodu, özel donanım yapılandırmaları için derleme ve önbelleğe alma parametrelerinin ayarlanması amacıyla mevcuttur.