Su Replicate è stato avviato uno strumento per la rilevazione automatica di contenuti NSFW in video

I sviluppatori hanno presentato video-nsfw-filter — uno strumento specializzato basato sull'architettura Stable Diffusion, progettato per la ricerca automatica di contenuti inappropriati nel flusso video.

Il sistema analizza il video sequenza per sequenza, assegnando a ogni frammento un coefficiente di probabilità della presenza di materiali NSFW. In output, l'utente riceve un report JSON strutturato che contiene valutazioni complessive per ogni fotogramma controllato, nonché screenshot opzionali con violazioni rilevate.

L'implementazione tecnica del modello si basa sul metodo del campionamento selettivo: l'algoritmo controlla non ogni fotogramma del video, ma singoli frammenti, il che consente di ottimizzare i costi computazionali durante l'elaborazione di clip lunghe. È importante considerare che la versione attuale dello strumento si concentra esclusivamente sulla sequenza visiva e ignora la traccia audio.

Lo strumento è disponibile per l'integrazione attraverso la piattaforma Replicate, che consente agli sviluppatori di integrare la moderazione automatica nei propri servizi video o sistemi di controllo della qualità dei contenuti. L'utilizzo del modello richiede richieste API all'infrastruttura cloud della piattaforma.

Simili soluzioni automatizzano il processo di pre-moderazione dei contenuti utente, riducendo il carico sui servizi di controllo manuali. L'utilizzo di Stable Diffusion come classificatore garantisce un'elevata precisione nel riconoscimento di immagini, adattata alle specifiche dei dati video.