Nvidia, sentetik veriler için NeMo Data Designer çerçevesini tanıttı.

Nvidia şirketi NeMo Data Designer (NDD) - çoklu modal sentetik veri oluşturma için açık bir çerçeve yayınladı. Araç, metin, program kodu, yapılandırılmış yanıtlar, resimler ve gömme dahil veri kümeleri oluşturmak için tasarlanmıştır.

NDD mimarisi, kullanıcıların veya AI ajanlarının her bir veri kümesi sütununu ayrıntılı olarak tanımlamasına olanak tanıyan deklaratif yapılandırma formatına dayanır. Sistem, veri çeşitliliğini kontrol etmek için istatistiksel parametrelerin esnek bir şekilde ayarlanmasını destekler. Yerleşik eklenti sistemi, yeni veri türleri eklemeye ve özel görevler için işlevselliği genişletmeye olanak tanır.

NDD'deki çalışma akışı, "görünüm ve revizyon" iteratif döngüsüne dayanır. Kullanıcılar, kaliteyi kontrol etmek için küçük kayıt örnekleri oluşturabilir, spécifikasyonları ayarlayabilir ve tam ölçekli oluşturmayı başlatabilir. Çalışma aşamasında, çerçeve otomatik olarak bağımlılıkları çözer, model API çağrılarını yönetir ve istek hatalarında yeniden deneme yapar.

Geliştiriciler, Nemotron ailesi modellerinin oluşturulmasında ve çeşitli kurumsal projelerde NDD'yi kullandılar. Çerçevenin yapılandırma dosyaları, doğrulanabilir artefaktlardır, bu da iş akışlarının paylaşılmasını kolaylaştırır ve eğitim sonuçlarının yeniden üretilebilirliğini sağlar. Projenin kaynak kodu Creative Commons Attribution 4.0 lisansı altında dağıtılır.

Benzer araçların uygulanması, özel modeller için kaliteli eğitim örneklerinin hazırlanmasını otomatikleştirmeye olanak tanır. Sentetik verilerin kullanımı, endüstride bir standart haline geliyor ve işaretli gerçek verilere erişime ilişkin kısıtlamaları aşmayı ve alan çözümlerinin geliştirilmesini hızlandırıyor.