Manticore Search vektör arama için otomatik chunking uyguladı

Manticore Search ekibi vektör araması yapılırken belgelerin otomatik olarak parçalara bölünmesine yönelik yerleşik desteği ekledi. Yeni işlevsellik chunk_strategy parametresi aracılığıyla etkinleştirilir ve daha önce tüm olarak gömme dönüşümünde ilgiliğini kaybedebilen uzun metinleri işleme olanak tanır.

Geliştiriciler için beş segmentasyon stratejisi mevcuttur: fixed, sentence, paragraph, word ve none. fixed yöntemi, parçanın karakter cinsinden kesin boyutunu belirleme olanağı sunarken, sentence ve paragraph metnin mantıksal sınırlarını kullanarak parçaları oluşturur. Bu, sistem tarafından daha küçük ve anlamsal olarak daha doğru bilgi bloklarının dizine eklenmesine olanak tanır.

Arama motoru içerisinde doğrudan chunking kullanımı, hacimli belgeler için recall (arama tamamlama) oranını artırır. Kullanıcıların artık verileri uygulamada önceden işleme zorunluluğu yoktur: Manticore Search, metni dilimleme ve her parçanın vektör temsilini tek bir sorgu kapsamında üstlenir.

Güncelleme, RAG sistemlerinin (Retrieval-Augmented Generation) mimarisini basitleştirmeyi amaçlar. Veritabanına bölme mantığının entegre edilmesi, istemci kodundaki yükü azaltır ve belge işleme birliğini, hem dizinleme hem de arama operasyonlarının gerçekleştirilmesinde sağlar.