Papers with Code sistemini Hugging Face altyapısını kullanarak güncelledi

Papers with Code platformu, arama sistemini Hugging Face araçlarını kullanarak, Inference Endpoints, Jobs ve Buckets'i içerecek şekilde güncelledi. Güncelleme, bilimsel makalelerin indekslenmesini otomatikleştirmeyi ve kullanıcı sorgularının işlenmesini hızlandırmayı sağladı.

Yeni mimarinin temelinde Inference Endpoints yatmaktadır. Bunlar, gerçek zamanlı olarak vektörsel temsil ( gömme ) oluşturmak için modellerin barındırılmasını sağlar. Verilerin toplu işlenmesi ve dizinlerin düzenli olarak güncellenmesi için Jobs kullanılır, bunlar, sürekli bir sunucu altyapısı desteğine gerek kalmadan zamanlamalı olarak hesaplamalı görevleri çalıştırma olanağı sağlar.

Veri depolaması, Buckets aracılığıyla organize edilir, bunlar Hugging Face ekosistemi ile entegre edilmiştir, böylece model ağırlıklarına ve veri kümelerine hızlı erişim sağlanır. Bu bileşenlerin birleşimi, arama sisteminin yanıt süresini azaltmış, böylece projenin veritabanına yeni yayınlar eklendiğinde, arama sonuçlarının güncellenmesini sağlamıştır.

Bulut hizmetlerinin kullanımı, geliştiricilerin kendi GPU kümelerini yönetme ihtiyacını ortadan kaldırmıştır. Artık arama dizinini güncelleme süreci, PDF dosyalarından metin çıkarmadan, vektörleştirme ve veritabanına kaydetmeye kadar tamamen otomatik hale gelmiştir, bu da makalelerin yayınlanmasından arama sonuçlarında görünmesine kadar olan gecikmeleri en aza indirir.

Hugging Face altyapı çözümlerine geçiş, bilimsel verilerin özel arama motorlarını ölçeklendirme olanaklarını göstermektedir. Bileşenlerin entegrasyonu, yayınlarda artan hacmi etkili bir şekilde işlerken, aynı zamanda kullanıcılar için yüksek doğruluklu semantik arama sonuçlarının korunmasını sağlar.