https://frosthead.com

Software skaber et billede, der siger det hele

Hver dag uploader brugerne mere end 350 millioner fotos til Facebook. Denne tilstrømning af billeder har fået analytikere til at estimere, at 10 procent af verdens 3, 5 billioner fotos er taget i det sidste år. Alle de data, der oversvømmer Internettet, betyder, at hvis du leder efter et bestemt billede eller objekt - hvordan ser en orange tabbykat ud, for eksempel - er du positivt oversvømmet med søgeresultater.

Sidste måned afslørede forskere ved University of California, Berkeley ny software, AverageExplorer, der giver brugerne mulighed for at se det "gennemsnitlige" billede, der repræsenterer det, de leder efter. I stedet for et billede, der er værd tusind ord, er det et billede, der er værd at have tusind - eller flere - billeder.

”Når du går ind i en Google-billedsøgning, siver du gennem sider og sider med billeder, ” forklarer Jun-Yan Zhu, UC Berkeley-kandidatstuderende og hovedforfatter af papiret, præsenteret på dette års internationale konference og udstilling om computergrafik og interaktive teknikker i Vancouver. ”Det er enormt og svært at sammenfatte; du kan ikke få en fornemmelse af, hvad der sker. ”

Til sit første tilbud indsamlede Zhu og hans team fotografier gennem Flickr-, Google- og Bing-billedsøgninger. Softwaren er lavt nok til at køre på et gennemsnitligt skrivebord og kan knuse omkring 10.000 billeder samtidigt.

Brugere finjusterer deres søgninger på et par forskellige måder. De kan tegne og farve en form, der ligner tegning i Adobe Photoshop eller Illustrator, for at skærpe deres gennemsnitlige billedresultater. For eksempel at farve baggrunden på et gennemsnitligt billede af Eiffeltårnet vil selv vælge det gennemsnitlige billede for kun at trække billeder taget om natten. Eller du kan tegne vinklede linjer for at kontrollere orienteringen af ​​en sommerfugl i kompositten.

Sukkenes bro fra dag til nat Ved at raffinere farverne i et gennemsnitExplorer-billede af Sukkenes bro kan du ændre scenen fra dag til skumring til aften. (Høflighed UC Berkeley)

Når et gennemsnitbillede er oprettet, en proces, der kan tage op til et minut, kan brugerne yderligere forfine resultatet ved hjælp af det, teamet kalder Explorer-tilstand. I denne tilstand, hvis du klikker på en bestemt del af et billede - siger, en katte næse - vil afsløre andre almindelige muligheder eller forbedringer for det sted - måske blå eller sorte næser, eller dem, der er afrundet i stedet for vinklet. I en demovideo, for eksempel, forfinede teamet et billede af børn på julemandens skød ved kun at vælge billeder, hvor julemanden har et barn på hver arm.

Hvor systemet bliver særlig kraftfuldt, siger Zhu, er som et værktøj til at træne computervisionsalgoritmer, ligesom dem, der er ansat af Google Goggles eller Amazon Firefly-apps, som kan identificere, hvad et kamera peger på. ”Inden for computervision bruger folk en masse penge på at kommentere genstande, ” forklarer han. ”Nu kan du anvende kommentaren på det gennemsnitlige billede. Tanken er, at du kun behøver at arbejde på et billede for at udbrede alle billederne i et datasæt. ”

Finding af katteacer Ved at finjustere måderne for et søgeresultat kan forskere finde specifikke katteracer, herunder (fra venstre til højre) Ragdoll, Siamese, Maine Coon og Sphinx (Høflighed UC Berkeley)

Oprettelse af illustrationer er den lavthængende frugt til AverageExplorer. Holdet hentede inspiration fra nye medie-kunstnere som Jason Salavon, som omhyggeligt har skabt gennemsnitlige fotografier for hånd. Det kan også bruges til at oprette et Facebook-plug-in, der lader brugere tænke på det gennemsnitlige billede af sig selv.

Forskernes ambitioner er endnu mere brede og virkningsfulde. Sociologer kunne bruge systemet til at få øje på og undersøge sociale tendenser; for eksempel kunne et gennemsnitligt billede bevise, at brude ofte står til højre for brudgommen i bryllupsportrætter. AverageExplorer kan muligvis også være et nyttigt værktøj til medieanalytikere, der prøver at dissekere tv-dækning - ændrer Stephen Colberts holdning sig, når han taler om George W. Bush versus Barack Obama?

Ved at give brugerne mulighed for at interagere intuitivt med visuelle data i stedet for at kæmpe for at indtaste den korrekte streng med nøgleord, vil brugerne være i stand til at bygge bro over, hvad Zhus rådgiver og gennemsnitlige eksplorer medskaber, Alexei Efros, kalder "sprogflaskehals."

Holdet forestiller sig en pakke af brugerdefinerede værktøjer designet til specifikke, vanskeligt at artikulere opgaver. En shoppingapplikation, for eksempel, vil give en bruger mulighed for at edderkoppe nettet efter et par hæle med den nøjagtige farve, hælform og højde, hun er på efter. Zhu ser for sig et værktøj, der integreres med politiets skitsekunstneres arbejdsgang, der giver et vidne mulighed for at søge i ansigtsdatabaser efter funktioner, der matcher gerningsmanden og konstruere et sammensat portræt.

En grundlæggende version af AverageExplorer frigives i efteråret.

Software skaber et billede, der siger det hele