Geliştiriciler LFM modelleriyle çalışma için yerel bir API olan jev_local sundu

Geliştiriciler, metin ve görsel sorguların işlenmesi için tasarlanmış yerel bir API arayüzü olan jev_local'i sundu. Araç, llama.cpp motorunun olanaklarını kullanarak Choice, Score veya Noul formatlarında olasılıksal değerlendirmeler elde edilmesini sağlar.

Sistem, LFM 2.5 ailesinin modelleriyle çalışma desteği sunar ve hem metin verileri hem de görüntü analizi için entegrasyonu sağlar. Performans testi sırasında çözüm, 8 saatlik kesintisiz çalışma sırasında sorguların işlenmesinde 8 puanlık bir sonuç gösterdi.

Araç için setup.sh ve run.sh otomasyon betikleri sağlanmıştır ve bunlar yerel çalıştırma için ortamı yapılandırır. Çözüm mimarisi, dış bulut sunucularına başvurmadan kullanıcı tarafında hesaplamaların yapılmasını hedefler.

Araç, olasılıksal analizi yerel veri işleme.pipeline'larına entegre etmeyi sağlar. jev_local kullanımıyla içerik sınıflandırması veya JSON formatında yapılandırılmış bilgi çıkarımı sırasında modellerin çıktısını standartlaştırma olanağı sağlanır.