Geliştirici, Kimi K3 modelini C99 kullanarak standart bir bilgisayarda çalıştırdı

Bir meraklı, 2,78 trilyon parametreli bir dil modelinin C99 dilindeki uygulaması olan Kimi K3 in C projesini tanıttı. Proje, toplam kontrol noktası boyutu 1,56 TB olan modelin çıkarımını, sadece 8 GB RAM'e sahip standart bir kişisel bilgisayarda çalıştırmaya olanak tanıyor.

Çözümün temel özelliği, verilerin doğrudan depolama biriminden belleğe aktarılması mekanizmasıdır. Sistem, modelin tamamını yüklemek yerine, hesaplamalar sırasında gerekli ağırlıkları okuyarak donanım kısıtlamalarını aşmayı başarıyor. Kod, işlem yükünü en aza indirmek için saf C diliyle yazılmıştır.

Uygulama, Kimi K3 model mimarisiyle çalışmaya odaklanmıştır. Disk alanının RAM genişletmesi olarak kullanılması, video belleği veya RAM kapasitesinin ağırlıkların tamamını barındırmaya yetmediği tüketici tipi yapılandırmalarda bile son derece ağır modellerin çalıştırılmasını mümkün kılıyor.

Bu durum, daha önce onlarca terabayt bellek gerektiren kümelerle çalıştırılabilen modellerin yerel olarak çalıştırılabilmesi anlamına geliyor. Disk sürücülerinin bant genişliği sınırlamaları nedeniyle üretim hızının düşük olması beklense de proje, devasa sinir ağlarını erişilebilir donanımlarda çalıştırmak için "disk tabanlı çıkarım" yönteminin uygulanabilirliğini kanıtlıyor.