Manticore Search 實裝了自動分塊技術以用於向量搜索

Manticore Search 團隊新增了內建的自動文件分割功能，當執行向量搜索時，可自動將文件分割成小塊。這項新功能通過 chunk_strategy 參數啟用，允許處理長文本文件，之前這些文件在轉換為嵌入式時可能會失去相關性。

開發人員可以使用 五種 分段策略：fixed、sentence、paragraph、word 和 none。fixed 方法允許設定固定大小的文件塊， 而 sentence 和 paragraph 則使用邏輯文本邊界來形成文件塊。這使得系統可以索引更小、更具語義的信息塊。

在搜索引擎中直接使用分割功能可以提高 recall（搜索完整性）指標，特別是對於大型文件。現在，使用者不需要在應用程序端預先處理數據：Manticore Search 負責文本分割和隨後的向量表示，每個文件塊都在單個查詢中處理。

此更新旨在簡化 RAG 系統（Retrieval-Augmented Generation）的架構。將分割邏輯集成到數據庫中可以減少客戶端代碼的負擔，同時確保文件在索引和搜索操作期間的一致性處理。