Hugging Face 更新了 Sentence Transformers 庫為多向量模型

團隊 Hugging Face 推出了更新的工具集，用于在 Sentence Transformers 庫中訓練和微調多向量模型。更新允許開發人員創建可以為單個輸入文本生成多個向量的編碼器，从而提高在複雜語義任務中搜索的準確性。

新的功能支持使用 ColBERT 和類似的方法進行深度令牌匹配的架構。實現了使用 Contrastive Loss 和 Multiple Negatives Ranking Loss 進行訓練的支持，適應多向量輸出。開發人員可以使用內置方法有效地壓縮向量，從而在索引大數據集時降低內存消耗。

工具集包括用於調整超參數的腳本，允許在使用大數據集時將訓練時間縮短 25-30%。支持與 Hugging Face Hub 集成，用于版本化模型權重和自動加載配置。庫現在可以正確地處理長上下文，通過將其分段進行並行處理。

轉換為多向量表示允許搜索系統不僅考慮文檔的整體意義，还考慮使用標準嵌入時丟失的具體細節。這次更新簡化了在搜索系統和 RAG 應用中實施高級排名方法的過程，同時確保與現有數據處理管道的兼容性。