Geliştiriciler self-hosted API jeff'i GLiFormer temelinde sundu

Geliştiriciler, yerel dağıtıma yönelik olarak tasarlanmış TypeSafe System One API'yi uygulamak için jeff sistemini sundu. Araç, GLiFormer mimarisine dayanmaktadır ve 400 milyon parametre ile seçim, değerlendirme ve noul işlemlerini desteklemektedir.

Sistem, izole ortamlarda çalışmak üzere tasarlanmıştır ve Modal platformu veya yerel çalıştırma aracılığıyla dağıtımını desteklemektedir. Projenin çalışması için Python 3.12 ve uv paket yöneticisi gereklidir. Test sırasında çözüm, görevleri 3 saat içinde tamamlayarak 8 puan elde etmiştir.

API'nin uygulanması, geliştiricilerin kendi AI iş akışlarına tip güvenli operasyonları dış bulut sağlayıcılarına bağımlı olmadan entegre etmelerine olanak tanır. GLiFormer kullanımı, belirtilen operasyonlar kapsamında hesaplamaların karmaşıklığı ile işleme doğruluğu arasında bir denge sağlar.

Proje, modellerle etkileşim için öngörülebilir arayüzler oluşturmayı hedeflemektedir, burada veri tiplemesi kritik bir gereksinimdir. Yerel uygulama, veri iletimi sırasında gecikmeleri ortadan kaldırır ve tüm istek işleme döngüsünün kullanıcı altyapısı içinde kontrol edilmesini sağlar.