Sidste år lavede en gruppe tyske computerforskere bølger ved at demonstrere en ny computeralgoritme, der kunne omdanne et hvilket som helst digitalt stillbillede til kunst, der efterligner de maleriske stilarter af mestre som Vincent van Gogh, Pablo Picasso og Edvard Munch. Skønt en imponerende præstation virkede det samme på det tidspunkt at anvende den samme teknik på bevægelige billeder. Men nu har en anden gruppe forskere regnet ud af det og hurtigt og problemfrit producerer bevægelige digitale mesterværker, skriver Carl Engelking til Discover .
Relateret indhold
- Denne animerede film om Van Gogh er lavet helt af oljemalerier
- Dette kunstige neurale netværk genererer absurde afhentningslinjer
I en video-demonstration viser programmererne deres algoritmes kunstneriske evner ved at omdanne scener fra film og tv-shows som Ice Age og Miss Marple til maleri-lignende animationer med et museklik. Men at udvikle algoritmen var ingen lille bedrift.
For at skabe en så detaljeret transformation udviklede computerforsker Leon Gatys og hans kolleger ved Universitetet i Tübingen en dyb-læringsalgoritme, der løber ud for et kunstigt neuralt netværk. Ved at efterligne de måder, som neuroner i den menneskelige hjerne opretter forbindelser, kan disse maskinlæringssystemer udføre meget mere komplicerede opgaver end nogen gammel bærbar computer.
Sådan fungerer det: Når du ser på et billede af et maleri eller ser en film på din bærbare computer, ser du din computer afkode oplysningerne i en fil og præsentere dem på den rigtige måde. Men når disse billeder behandles gennem et neuralt netværk, er computeren i stand til at tage de mange forskellige lag af information, der er indeholdt i disse filer, og plukke dem fra hinanden stykke for stykke.
For eksempel kan et lag muligvis indeholde oplysningerne om de grundlæggende farver i van Goghs Starry Night, mens det næste tilføjer lidt mere detaljer og tekstur, og så videre, ifølge MIT Technology Review . Systemet kan derefter ændre hvert forskellige lag individuelt, før de sættes sammen igen for at skabe et helt nyt billede.
”Vi kan manipulere begge repræsentationer uafhængigt af hinanden for at producere nye, perceptuelt meningsfulde billeder.” Gatys skrev i en undersøgelse, der blev offentliggjort til prepress arXiv-serveren.
Ved at anvende dette system med lagbaseret læring på malerier af Picasso og van Gogh, for at nævne nogle få, var forskerne i stand til at udvikle en algoritme, der "lærte" computeren at fortolke al denne information på en måde, der adskiller indholdet af en maleri ud fra sin stil. Når den først forstod, hvordan van Gogh brugte penselstrøg og farve, kunne den derefter anvende denne stil som et Photoshop-filter på et billede og effektivt genskabe den i sin ikoniske stil, skrev Matt McFarland til Washington Post . Men anvendelse af denne teknik til video præsenterede et helt nyt sæt problemer.
”Tidligere krævede manuel tegning af et billede i en bestemt kunstnerisk stil en professionel kunstner og lang tid, ” skriver Manuel Ruder og hans team fra University of Freiburg i deres nye undersøgelse, der også blev offentliggjort på arXiv. "At gøre dette til en videosekvens med en hånd, var uden fantasi."
Da Ruder og hans kolleger først prøvede at anvende algoritmen på videoer, blev computeren slukket. Til sidst indså de, at programmet behandlede hver enkelt billedramme som et separat stillbillede, hvilket fik videoen til at flimre uregelmæssigt. For at komme forbi dette emne satte forskerne begrænsninger for algoritmen, der forhindrede computeren i at afvige for meget mellem rammer, skriver Engelking. Det gjorde det muligt for programmet at slå sig ned og anvende en ensartet stil på tværs af hele videoen.
Algoritmen er ikke perfekt og har ofte problemer med at håndtere større og hurtigere bevægelser. Dette er dog stadig et vigtigt skridt fremad på måder, computere kan gengive og ændre video på. Mens det er i de tidlige stadier, kan fremtidige algoritmer muligvis anvende denne effekt på videoer, der er taget via en smartphone-app, eller endda blive gengivet virtual reality-versioner af dine yndlingsmalerier, rapporterer MIT Technology Review .
Ideen om at koge en kunstners stil ned til et sæt datapunkter kan rangere nogle mennesker, det åbner også dørene til al ny art, som aldrig før blev antaget som mulig.
