Manticore Search ha implementato il chunking automatico per la ricerca vettoriale

Il team di Manticore Search ha aggiunto il supporto integrato per la suddivisione automatica dei documenti in parti durante l'esecuzione della ricerca vettoriale. La nuova funzionalità è attivata tramite il parametro chunk_strategy e consente di elaborare lunghi testi che in precedenza potevano perdere rilevanza durante la conversione in embedding nel loro complesso.

Gli sviluppatori hanno accesso a cinque strategie di segmentazione dei dati: fixed, sentence, paragraph, word e none. Il metodo fixed consente di impostare la dimensione esatta del chunk in caratteri, mentre sentence e paragraph utilizzano i confini logici del testo per formare i frammenti. Ciò consente al sistema di indicizzare blocchi di informazioni più piccoli e semanticamente più precisi.

L'utilizzo del chunking direttamente all'interno del motore di ricerca aumenta il valore di recall (completezza della ricerca) per i documenti di grandi dimensioni. Ora gli utenti non devono più elaborare i dati sul lato dell'applicazione: Manticore Search si occupa della suddivisione del testo e della successiva rappresentazione vettoriale di ciascun frammento nell'ambito di una singola query.

L'aggiornamento è finalizzato a semplificare l'architettura dei sistemi RAG (Retrieval-Augmented Generation). L'integrazione della logica di suddivisione nel database riduce il carico sul codice client e garantisce l'uniformità dell'elaborazione dei documenti durante l'indicizzazione e l'esecuzione delle operazioni di ricerca.