bourbiza mohamed
E se esistesse un sistema per fregare l’intelligenza artificiale? Un sistema che possa ingannare l’addestramento dei cosiddetti LLM, i large language model, e di ogni altro algoritmo allenato sulla base di incredibili moli di dati raccolti online?
In effetti c’è, e per ora riguarda le opere d’arte e quelle di creatività. È ancora una sorta di esperimento di disobbedienza civile, anzi un tentativo di far valere i propri diritti influenzando direttamente il carburante sul quale questi modelli generativi vengono messi a punto. Si chiama Nightshade e l’ha inventato Ben Zhao, un professore dell’Università di Chicago.
La storia
Privacy e riconoscimento facciale: gli abiti avversativi di una startup italiana ci nasconderanno dalle IA
Nightshade, che presto verrà integrato in un altro tool gemello, consente di modificare in modo minimale e impercettibile all’occhio umano i pixel delle immagini prima di farne l’upload online su siti, social e altre piattaforme. Incorporando un messaggio che i sistemi di intelligenza artificiale leggeranno in modo diverso: se e quando quel file sarà incluso in un dataset di allenamento per l’IA di qualche gigante hi-tech o di qualche startup specializzata, potrebbe essere in grado di sabotare dall’interno il modello. Producendo esiti opposti a quelli che gli sviluppatori e gli utenti potrebbero aspettarsi.
C’è chiaramente un intento politico di fondo: combattere contro le compagnie specializzate in IA (o che stanno sviluppando modelli potenti e su larga scala) che raccolgono qualsiasi cosa dal Web senza andare troppo per il sottile (si chiama scraping e l’avevamo spiegato qui). E in particolare nei modelli cosiddetti Text-to-Image, quelli come Midjourney o Dall-E 3 di OpenAI che partoriscono immagini o illustrazioni sulla base di un semplice input testuale e che sono affamati proprio di immagini, opere d’arte, creazioni artistiche e altri contenuti del genere. Servono appunto come piattaforma di allenamento per rendere i sistemi sempre più precisi, in grado di riprodurre stili e approcci diversi.
In un certo senso, Nightshade avvelena i pozzi, compromettendo i dati di partenza e serbando il potenziale (se la comunità artistica su larga scala impiegasse questo strumento) per creare parecchi problemi a Stable Diffusion e compagnia. Per capirci, i cani diventano gatti, le auto sembrano vacche e così via, grazie alle informazioni contenute nei pixel modificati che veicolano informazioni diverse rispetto all’effettivo contenuto dell’immagine. Almeno agli occhi delle macchine.
Una prima prova sul campo del sistema è stata presentata, al fine di essere esaminata, alla conferenza di sicurezza informatica Usenix: la MIT Technology Review l’ha visionata in anteprima scoprendo come, sia testata su una IA sviluppata internamente sia su Stable Diffusion, anche un numero relativamente basso di immagini così compromesse possano creare notevoli grattacapi. D’altronde i gruppi al lavoro sul tema, da OpenAI a Meta, passando per Google e Stability AI, sono alle prese in tutto il mondo con una serie di cause intentate da artisti e creativi (fra le prime, lo scorso gennaio, quella di Sarah Andersen, Kelly McKernan e Karla Ortiz), che accusano queste società di utilizzare materiale protetto da diritto d’autore e informazioni personali senza richiedere il permesso e senza offrire un compenso. Per Zhao, Nightshade potrebbe essere un deterrente.
L’esperto ha fra l’altro sviluppato anche Glaze, un altro strumento che consente di mascherare lo stile di un’opera. Dunque non di modificare i metadati che veicola ma passare all’algoritmo un’informazione incoerente sullo stile del lavoro. Così da fare in modo che un utente, con una riga mal scritta di input, possa facilmente riprodurre opere nello stile di qualche artista, anche inconsapevolmente. Anche in questo caso, modificando i pixel delle immagini in modi non percepibili dall’occhio umano, questi contenuti sono in grado di manipolare i modelli di apprendimento automatico per interpretare l’immagine come qualcosa di diverso da ciò che effettivamente mostra.
Approfondimento
L’IA generativa ha un problema con la bellezza femminile, ma non è (solo) colpa sua
Il team di sviluppo vuole integrare Nightshade in Glaze e rendere questo pacchetto open source, così da svilupparne altre versioni. La convinzione è che più gli artisti useranno questi sistemi, più il loro impatto diventerà significativo agli occhi dei colossi che stanno sviluppando i modelli di IA generativa e che si fondano su miliardi di immagini. Anche perché ogni elemento corrotto, cioè ogni immagini passata per le mani di Nightshade, andrebbe individuato e rimosso individualmente.
Non mancano ovviamente anche i rischi che di queste tecniche se ne possa abusare, ovviamente: “Ancora non sappiamo se (le aziende, ndr) dispongano di difese robuste contro questi attacchi. Non abbiamo ancora assistito ad attacchi di questo genere contro i moderni modelli di machine learning, ma potrebbe essere solo questione di tempo – ha commentato Vitaly Shmatikov, professore alla Cornell University che studia la sicurezza dei modelli di IA e non è stato coinvolto nel progetto – Questo è il momento di lavorare sulle difese”.
