IFM kuantum modeli K2-Horizon-7B-FP8'i piyasaya sürdü

Geliştirici ekibi, K2-Horizon-7B-FP8 adlı, 7B mimarisi ile donatılmış ve FP8 formatı için optimize edilmiş yeni bir dil modeli sürümünü sundu. Sürüm, BF16 formatının karakteristik olduğu hesaplama doğruluğunu korurken video belleği gereksinimlerini azaltmaya odaklanıyor.

Modelin ana özelliği, 512K token hacminde bir bağlam penceresi desteğidir. FP8 kuantalamasının kullanılması, belirtilen veri türünü destekleyen donanım üzerinde推理 sürecini önemli ölçüde hızlandırırken, model yoğunluğu (dense) ağırlık yapısını korur.

İç testler sırasında model, geliştiricilerin dahili metriğine göre 10 puan alan yüksek bir performans gösterdi ve işleme süresi 1 saat olarak ölçüldü. Model, Hugging Face platformunda indirilmeye hazır ve sınırlı GPU kaynaklarına sahip ortamlarda dağıtıma yönelik olarak tasarlandı.

FP8 formatına geçmek, modern LLM'leri optimize etmek için bir standart haline geliyor ve tüketici ve sunucu donanımında önemli bir kalite kaybı olmadan daha uzun bağlamları çalıştırmanıza olanak tanıyor. Bu sürüm, yüksek yüklenen metin işleme sistemleri ile çalışan geliştiriciler için araç setini genişletiyor.