OpenAI, modellerdeki tutarsızlıkları izlemek için bir çerçeve tanıttı.

OpenAI yeni bir izleme sistemi başlatma planını açıkladı, bu sistem şirketin yapay sinir ağlarının davranışlarındaki "uyumsuzluk" (misalignment) vakalarını tespit etmek ve kamuoyu ile paylaşmak için tasarlandı. Çerçeve, büyük dil modellerinin çalışması sırasında ortaya çıkan risklerin raporlanmasını standartlaştırmayı amaçlıyor.

Sistemin temelinde altı dahili vaka yatıyor, şirket bu vakaları potansiyel güvenlik tehditlerini belirlemek için analiz etti. Metodoloji, modelin belirli talimatlardan nasıl sapmaya başladığını veya karmaşık görevleri gerçekleştirirken istenmeyen davranış kalıpları sergileyip sergilemediğini ayrıntılı olarak izleme sürecini içeriyor.

Geliştirme, şirketin düzenleyiciler önünde şeffaflık göstermesini sağlayan bir öz düzenleme aracı olarak tasarlandı. Bu tür standartların uygulanması, OpenAI tarafından AI güvenliği alanında küresel politika yönünü belirleme ve devlet düzeyinde katı yasaların kabul edilmesini önleme girişimi olarak görülüyor.

Çerçevenin çalışması kapsamında elde edilen veriler, model eğitim süreçlerini düzeltmek ve modellerin öngörülebilirliğini artırmak için kullanılacak. Şirket, bu mekanizmayı tüm gelecek geliştirme aşamalarına entegre etmeyi planlıyor, böylece sistemden kaynaklanan kontrolsüz yanıtların risklerini en aza indirmeyi hedefliyor.

Bu adım, güvenliği değerlendirmeye yönelik yaklaşımı değiştiriyor: şirket, kapalı iç testlerden formalize edilmiş bir raporlama sistemine geçiş yapıyor. Bu, diğer geliştiriciler için bir örnek oluşturuyor ve endüstrinin yapay sinir ağlarının mantık hataları hakkında bilgi açıklama standartlarına uymasını zorunlu kılıyor.