Gli sviluppatori hanno presentato un API locale jev_local per lavorare con i modelli LFM

I sviluppatori hanno presentato jev_local — un'interfaccia API locale destinata all'elaborazione di richieste testuali e visive. Lo strumento consente di ottenere valutazioni probabilistiche nei formati Choice, Score o Noul, utilizzando le funzionalità del motore llama.cpp.

Il sistema supporta il lavoro con modelli della famiglia LFM 2.5, garantendo l'integrazione sia per i dati testuali che per l'analisi delle immagini. Durante il test delle prestazioni, la soluzione ha dimostrato un risultato di 8 punti nell'elaborazione delle richieste in 8 ore di lavoro continuo.

Per il deploy dello strumento sono previsti script di automazione setup.sh e run.sh, che configurano l'ambiente per l'esecuzione locale. L'architettura della soluzione è orientata all'esecuzione dei calcoli direttamente sul lato dell'utente senza accedere a server cloud esterni.

Lo strumento consente di integrare l'analisi probabilistica nelle pipeline di elaborazione dei dati locali. L'utilizzo di jev_local offre la possibilità di standardizzare l'output dei modelli durante la classificazione del contenuto o l'estrazione di informazioni strutturate nel formato JSON.