Ginigen ha rilasciato il modello Edge-4B-TELL per valutare la precisione delle risposte

L'azienda Ginigen ha presentato un modello specializzato Edge-4B-TELL, progettato per valutare l'attendibilità delle risposte in ambienti locali. Il sistema si basa sull'architettura Gemma-4B e viene integrato con un livello lineare di lettura tell_probe.f32, che analizza gli stati nascosti della rete neurale.

L'obiettivo principale dello strumento è determinare la correttezza delle risposte senza ricorrere a sistemi di verifica esterni. Durante i test su domande coreane relative a situazioni di emergenza, il modello ha mostrato una maggiore accuratezza di valutazione rispetto ai metodi standard di autovalutazione (self-reported confidence). Utilizzando un valore soglia di 0.25, il sistema può reindirizzare il 60.9% delle risposte a una fonte di dati di riserva in caso di bassa fiducia.

Il modello è stato ottimizzato per funzionare direttamente sul dispositivo, il che consente di minimizzare i ritardi durante l'elaborazione delle richieste. L'utilizzo di tell_probe.f32 consente di estrarre i metadati sulla qualità della generazione direttamente dalle rappresentazioni interne del modello, evitando la necessità di ulteriori prompt o richieste API ripetute.

La soluzione è orientata a scenari in cui è fondamentale l'affidabilità delle risposte con risorse computazionali limitate. L'integrazione di Edge-4B-TELL consente di automatizzare il processo di filtraggio delle allucinazioni, garantendo un passaggio automatico a fonti di informazione più affidabili quando si rilevano segni di errore nella generazione.