Hugging Face kütüphanesini Sentence Transformers için çoklu vektör modellerini güncelledi

Hugging Face ekibi, Sentence Transformers kütüphanesi kapsamında çok vektörli modellerin eğitimi ve yeniden eğitimi için güncellenmiş bir araç seti sundu. Güncelleme, geliştiricilerin bir girdi metni için birden fazla vektör üreten kodlayıcılar oluşturmasına olanak tanır, bu da karmaşık semantik görevlerde arama doğruluğunu artırır.

Yeni işlevsellik, ColBERT ve benzeri yaklaşımları kullanan mimarileri destekler ve tokenlerin derin eşleştirmesi için kullanılır. Contrastive Loss ve Multiple Negatives Ranking Loss ile eğitimi destekler ve çoklu vektörli çıktı için uyarlanır. Geliştiriciler, büyük veri kümelerinin indekslenmesinde bellek tüketimini azaltan vektörleri etkili bir şekilde sıkıştırmak için yerleşik yöntemleri kullanabilir.

Araç seti, eğitim süresini büyük veri kümeleriyle çalışırken %25-30 azaltmaya olanak tanıyan hiperparametre ayarlaması için hazır betikler içerir. Hugging Face Hub ile entegrasyon desteklenir ve model ağırlıklarının sürüm kontrolü ve yapılandırma dosyalarının otomatik yüklenmesi sağlanır. Kütüphane artık uzun bağlamları doğru bir şekilde işler ve paralel işleme için bunları segmentlere ayırır.

Çoklu vektörli temsil kullanmak, arama sistemlerinin bir belgenin genel anlamının yanı sıra, standart gömme kullanıldığında kaybolan özel ayrıntıları da dikkate almasına olanak tanır. Bu güncelleme, arama sistemlerinde ve RAG uygulamalarında gelişmiş sıralama yöntemlerinin uygulanmasını basitleştirir ve mevcut veri işleme.pipeline'leri ile uyumluluğu sağlar.