Çıkış yapılmış kuantize edilmiş sürüm MiniMax-M3 modeli

Geliştiriciler, MiniMax-M3-uncensored-GGUF adlı büyük bir dil modelinin sansürlenmemiş bir sürümünü, llama.cpp kütüphanesi aracılığıyla çalıştırmak için optimize edilmiş olarak sundular. Orijinal MiniMax-M3 mimarisi, 427B parametreye sahip olup, yerel olarak dağıtmak için önemli hesaplama kaynakları gerektiriyor.

Tüketici ve sunucu ekipmanlarında çalışmasını sağlamak için model, çeşitli kuantum seviyeleri kullanarak GGUF formatına dönüştürüldü. Kullanıcılara IQ2_S ile Q8_0 arasında sıkıştırma seçenekleri sunuluyor. Ürün gamındaki en kompakt seçenek, 189.13 GiB boyutundaki IQ4_XS sürümüdür.

Kuantumlaştırma işlemi, model ağırlıklarının operatif belleği etkili bir şekilde kullanırken orijinal çalışma mantığını korurken uyarlanmasını sağladı. GGUF formatının kullanılması, llama.cpp nin güncel sürümleriyle uyumlu çalışmayı sağlıyor ve mevcut donanım kapasitelerine bağlı olarak CPU ve GPU arasında yük dağıtımı yapılmasına olanak tanıyor.

Verilen sürüm, 427B parametreli modelin filtresiz cevaplarına yerel ortamda erişmesi gereken araştırmacılar ve meraklılar için tasarlandı. Geniş bir kuantum sürüm yelpazesi, nesne oluşturma doğruluğu ile işgal edilen video belleği veya RAM arasındaki optimal dengeyi seçmeyi mümkün kılıyor.