L'anno scorso, un gruppo di informatici tedeschi ha fatto onde dimostrando un nuovo algoritmo informatico in grado di trasformare qualsiasi immagine fissa digitale in opera d'arte che imita gli stili pittorici di maestri come Vincent van Gogh, Pablo Picasso e Edvard Munch. Sebbene sia un'impresa impressionante, applicare la stessa tecnica alle immagini in movimento sembrava scandaloso in quel momento. Ma ora, un altro gruppo di ricercatori l'ha capito, producendo rapidamente e senza soluzione di continuità capolavori digitali in movimento, Carl Engelking scrive per Discover .
Contenuto relativo
- Questo film animato su Van Gogh è interamente realizzato con dipinti ad olio
- Questa rete neurale artificiale genera linee di raccolta assurde
In una dimostrazione video, i programmatori mettono in mostra le capacità artistiche del loro algoritmo trasformando scene di film e programmi televisivi come L'era glaciale e Miss Marple in animazioni simili a dipinti con il clic di un mouse. Ma sviluppare l'algoritmo non è stata un'impresa da poco.
Per creare una trasformazione così dettagliata, l'informatica Leon Gatys e i suoi colleghi dell'Università di Tubinga hanno sviluppato un algoritmo di apprendimento profondo che scorre su una rete neurale artificiale. Imitando il modo in cui i neuroni nel cervello umano creano connessioni, questi sistemi di apprendimento automatico possono svolgere compiti molto più complicati rispetto a qualsiasi vecchio laptop.
Ecco come funziona: quando guardi un'immagine di un dipinto o guardi un film sul tuo laptop, stai assistendo al computer che decodifica le informazioni in un file e le presenta nel modo corretto. Ma quando queste immagini vengono elaborate attraverso una rete neurale, il computer è in grado di prendere i diversi strati di informazioni contenuti in questi file e selezionarli pezzo per pezzo.
Ad esempio, un layer potrebbe contenere le informazioni per i colori di base nella Notte stellata di van Gogh, mentre il successivo aggiunge un po 'più di dettagli e texture, e così via, secondo la MIT Technology Review . Il sistema può quindi modificare i diversi livelli singolarmente prima di rimetterli insieme per creare un'immagine completamente nuova.
"Siamo in grado di manipolare entrambe le rappresentazioni in modo indipendente per produrre nuove immagini percettivamente significative." Gatys ha scritto in uno studio pubblicato sul server arXiv di prestampa.
Applicando questo sistema di apprendimento basato sui livelli ai dipinti di Picasso e van Gogh, solo per citarne alcuni, i ricercatori sono stati in grado di sviluppare un algoritmo che "insegnava" al computer a interpretare tutte queste informazioni in un modo che separa il contenuto di un dipingendo dal suo stile. Una volta capito come Van Gogh usava le pennellate e il colore, poteva quindi applicare quello stile come un filtro Photoshop a un'immagine e ricrearlo efficacemente nel suo stile iconico, Matt McFarland ha scritto per il Washington Post . Ma applicare questa tecnica ai video ha presentato una serie completamente nuova di problemi.
"In passato, ridisegnare manualmente un'immagine in un certo stile artistico richiedeva un artista professionista e molto tempo", scrive Manuel Ruder e il suo team dell'Università di Friburgo nel loro nuovo studio, anch'esso pubblicato su arXiv. "Fare questo per una sequenza video da solo è stato oltre ogni immaginazione."
Quando Ruder e i suoi colleghi hanno provato per la prima volta ad applicare l'algoritmo ai video, il computer ha sfornato gobbledygook. Alla fine, si sono resi conto che il programma trattava ogni fotogramma del video come un'immagine fissa separata, causando uno sfarfallio irregolare del video. Per superare questo problema, i ricercatori hanno posto dei vincoli all'algoritmo che ha impedito al computer di deviare troppo tra i frame, scrive Engelking. Ciò ha permesso al programma di sistemarsi e applicare uno stile coerente in tutto il video.
L'algoritmo non è perfetto e spesso ha difficoltà a gestire movimenti più grandi e più veloci. Tuttavia, ciò rappresenta ancora un importante passo avanti nel modo in cui i computer possono eseguire il rendering e modificare il video. Mentre è nelle sue fasi iniziali, i futuri algoritmi potrebbero essere in grado di applicare questo effetto ai video ripresi tramite un'app per smartphone, o addirittura rendere le versioni di realtà virtuale dei tuoi quadri preferiti, riporta il MIT Technology Review .
L'idea di ridurre lo stile di un artista a una serie di punti dati può mettere in difficoltà alcune persone, ma apre anche le porte a tutti i nuovi tipi di arte mai ritenuti possibili prima.
