Geliştiriciler yerel olarak modellerle çalışmak için OpenJev aracını sundu

Geliştiriciler, TypeSafe'in Jev arayüzü modelini yerel olarak çalıştırmak için OpenJev adlı aracı yayınladı. Çözüm, Qwen3.5-4B gibi kompakt dil modellerini, bulut API'lerine başvurmadan yapılandırılmış verileri işlemek için kullanmayı sağlar.

Projenin temel amacı, tip hóa edilmiş seçenek puanlamasının uygulanmasını sağlamaktır. Yazarların ifadesine göre, OpenJev mimarisi, standart JSON çıktısı kullanan generatif baseline çözümlerine kıyasla 5 kat daha hızlı çalışmayı sağlar. Araç, yerel olarak görevleri gerçekleştirmek için optimize edilmiştir, bu da isteklerin işlenmesinde gecikmeleri azaltır.

OpenJev'in işlevselliği, paylaşılan durum paralellik desteğini (shared-state parallelism) içerir. Bu, birden fazla veri akışıyla çalışırken hesaplama yükünü etkili bir şekilde dağıtmayı sağlar. Projenin kaynak kodu GitHub'da yayımlanmıştır ve yerel veri işleme.pipeline'larına entegre edilmeye hazırdır.

Tip hóa edilmiş arayüzlerle yerel modellerin kullanılması, geliştiricilerin öngörülebilir otomasyon sistemleri oluşturmasına olanak tanır. Standart LLM ajanlarına kıyasla, serbest metin oluşturma odaklı olmayan OpenJev, yanıt yapılarının sıkı bir şekilde izlenmesine odaklanır, bu da AI'ı yazılım arayüzlerine ve uygulama iş mantığına entegre etmek için kritiktir.