Papers with Code 更新了基於 Hugging Face 基礎設施的搜索系統

平台 Papers with Code 將其搜索系統轉換為使用 Hugging Face 的工具，包括 Inference Endpoints、Jobs 和 Buckets。更新使得科學論文的索引自動化，並加速用戶請求的處理。

新的架構基礎是 Inference Endpoints，它們提供了實時生成向量表示（嵌入）的模型主機。批量數據處理和定期更新索引使用 Jobs，允許根據時間表運行計算任務，而無需維護永久的伺服器基礎設施。

數據存儲通過 Buckets 組織，它們與 Hugging Face 生態系統集成，實現快速訪問模型權重和數據集。這種組件的組合減少了搜索系統的響應時間，確保了當項目數據庫中添加新出版物時的相關性。

使用 Hugging Face 平台的雲服務使開發人員可以放棄管理自己的 GPU 集群。現在，搜索索引更新的過程完全自動化：從 PDF 文件中提取文本到向量化和寫入數據庫，這最小化了出版物發布和出現在搜索結果之間的延遲。

轉向 Hugging Face 的基礎設施解決方案展示了為科學數據量身定制的搜索引擎的可擴展性。組件的集成允許有效地處理日益增大的出版物量，同时保持對用戶資源的高精度語義搜索。