Üniversite laboratuvarı yerel olarak AI çalıştırmak için araçlar yayınladı

Araştırma laboratuvarı, gelişmiş dil modellerini běž tüketici ekipmanlarında çalıştırmaya olanak tanıyan açık kaynaklı bir araç seti sundu. Sürüm, daha önce sunucu güçlerine ihtiyaç duyan Qwen 3.8 ve DeepSeek V4.1 mimarileri için optimize edilmiş yöntemleri içerir.

Pakete, programlama kodunu otomatik olarak optimize etmek için tasarlanmış bağımsız bir araştırma ajanı dahildir. Sistem, görevlerin doğru bir şekilde gerçekleştirildiğini doğrulamak için yerleşik mekanizmaları kullanarak, insan müdahalesi olmadan algoritmaları yinelemeli olarak iyileştirebilir. Araç seti, ağır sinir ağları ile çalışırken bulut API'lerine bağımlılığı azaltmaya çalışan geliştiriciler için tasarlanmıştır.

Teknik uygulama, yeni kuantum ve bellek yönetimi yöntemlerine dayanır, bu da frontier sınıfı model ağırlıklarının standart GPU yapılandırmaları içinde yerleştirilmesine olanak tanır. Geliştiriciler, bu çözümlerin kullanımının推論 sırasında gecikmeleri azalttığını ve kişisel çalışma istasyonlarında yerel olarak işlenen verilere tam kontrol sağladığını belirtiyorlar.

Proje, mevcut geliştirme.pipeline'larına laboratuvar repertuarı aracılığıyla entegre edilmek üzere mevcuttur. Bu tür teknolojilerin uygulanması, yükseltilmiş gizlilik ve ağ kısıtlamaları olmadan hesaplama operasyonlarının gerçekleştirilmesini gerektiren görevler için kritik olan izole bir ortamda karmaşık mantıksal zincirleri ve ajan sistemlerini çalıştırmaya olanak tanır.