Gli sviluppatori hanno presentato il servizio KaLM-Jev per la valutazione delle probabilità

Il team di KaLM-Jev ha rilasciato un servizio locale destinato alla valutazione automatizzata delle risposte dei modelli linguistici. Lo strumento si specializza in compiti di scelta (Choice), assegnazione di punteggi (Score) e giudizi (Noul), utilizzando per l'analisi modelli specializzati della famiglia KaLM-Reranker.

L'architettura del sistema prevede l'avvio di ogni modello in un processo isolato separato. A differenza delle interfacce di chat standard, il servizio non genera risposte testuali, ma restituisce probabilità strutturate. Questo approccio consente di integrare il sistema nelle pipeline di test automatico e valutazione della qualità della generazione senza la necessità di analizzare il linguaggio naturale.

Il progetto è rivolto agli sviluppatori che richiedono una alta precisione nel confronto di più varianti di risposte. L'utilizzo di KaLM-Reranker consente al sistema di classificare efficacemente i risultati in base a indicatori matematici di probabilità, anziché a descrizioni testuali soggettive. Il codice sorgente della soluzione è stato pubblicato su GitHub con licenza gratuita.

L'adozione di strumenti simili consente di standardizzare il processo di valutazione degli LLM, escludendo l'influenza delle "allucinazioni" o delle preferenze stilistiche del modello di valutazione. L'utilizzo di dati strutturati anziché report testuali accelera l'elaborazione di grandi quantità di dati durante il benchmarking delle nuove versioni delle reti neurali.