Med et kamera i enhver lomme og ansigtsgenkendelsessoftware indbygget i vores smartphones og sociale netværk er det undertiden let at glemme, at det ikke altid var så enkelt at tage fotos og identificere ansigter i dem. Uanset om tabt, beskadiget eller simpelthen umærket, kan processen med at identificere mennesker på gamle fotos være kedelig. Men som Kurt Luther, adjunkt i datalogi ved Virginia Tech, fandt ud af, kan oplevelsen også være ret bevægende.
Luther var på udstillingen "Pennsylvania's Civil War" på Pittsburghs senator John Heinz History Center i 2013, da han snublede over et foto af hans oldemor, onkel, Oliver Croxton. Han har beskrevet at se på billedet, som var det ældste familiefoto, han havde set, som rejser gennem tiden.
Allerede en historiebuffet med interesse for den amerikanske borgerkrig, det øjeblik, der hørte fast med Luther, og han begyndte at undre sig over, hvordan man bringer den samme oplevelse til tusinder af andre historieentusiaster.
”Jeg begyndte at lære mere om borgerkrigsfotografering, ” siger Luther, ”og om, hvordan man identificerer [mennesker] ved hjælp af forskellige visuelle spor, som uniform, insignier eller fotografens studiooplysninger. I mellemtiden lavede jeg en masse research inden for crowddsourcing som datalogiprofessor og tænkte måske, at der er en måde at bringe disse to ting sammen på. ”
Luther snublede over et foto af sin oldemor, onkel, Oliver Croxton. (Med tilladelse fra Ken Turner-samlingen) Resultatet er en gratis online software kaldet Civil War Photo Sleuth, der bruger crowddsourcing og ansigtsgenkendelse til at hjælpe brugere med at identificere ukendte emner på fotografier fra Civil War era. Lige før den officielle frigivelse i 2018 vandt teknologien både den øverste pris på $ 25.000 i Microsofts Cloud AI Research Challenge for sin anvendelse af Microsofts ansigtsgenkendelsessoftware og Best Demo Award på konferencen Human Computation and Crowdsourcing 2018. Denne uge præsenterer Luther på Association for Computing Machinery's Intelligent User Interfaces-konference i Los Angeles.
Photo Sleuth er designet med hjælp fra doktorgrads- og bachelorstuderende ved Virginia Tech, herunder projektleder Vikram Mohanty, og i samarbejde med Virginia Techs historiafdeling bruger Photo Sleuth en flerformet tilgang til at antyde de mest nøjagtige identifikationer.
Det første afgørende trin i processen var at opbygge en stor database med allerede identificerede fotos. Til dato har Photo Sleuth cirka 17.000 identificerede fotos fra nationale arkiver som det amerikanske militærhistoriske institut såvel som private samlinger, der ikke kun inkluderer borgerkrigssoldater, men også civile og andet militært personale i tiden.
Luther siger, at de var heldige at have støtte fra et allerede entusiastisk samfund af borgerkrigshistorikere med adgang til disse fotos, fordi uden en solid base af allerede identificerede fotos ville det have været næsten umuligt for softwaren at være nyttig.
"Det er ikke som i Field of Dreams, " siger Luther, "Hvis vi havde lanceret webstedet uden billeder og bare håbede, at brugerne ville tilføje dem alle, ville vi stå over for det kolde startproblem, hvor du bare ikke har noget indhold. ”
Databasen over identificerede fotos tjener en væsentlig rolle i at hjælpe brugerne med at identificere fotos, de uploader selv. Brugere mærker manuelt specielle visuelle egenskaber, såsom pelsfarve, ansigtshår eller militær rangbetegnelse, og fotoet passerer gennem en ansigtsgenkendelsesalgoritme for at analysere og logge unikke ansigtsforhold, såsom afstand mellem ansigtsmærker som næsen og øjnene. Photo Sleuth sammenligner de visuelle data for det ukendte foto med allerede identificerede fotos i databasen og præsenterer brugeren, hvad den mener er de bedste matcher baseret på ansigtslighed og information, der stammer fra de andre metadata, såsom soldater, der ser ud til at være i samme enhed baseret på deres uniformer. Mens softwaren tager bevidste skridt på vejen for at begrænse muligheden for en falsk identifikation, siger Luther, at det i slutningen af dagen er op til brugeren at foretage den endelige identifikation, når den præsenteres for softwarens bedste gæt.
"Vi var meget bekymrede over at forhindre forkert identifikation, " siger Luther, "fordi når du taler om internettet, når du først har lagt nogle forkerte oplysninger derude, er det meget vanskeligt at slippe af med det eller ændre det."
For at forsikre, at deres software gav brugerne de bedst foreslåede identifikationer, udførte Luther en analyse af softwarens første måned med foreslåede identifikationer ved hjælp af metoder, der er skitseret i kolonner, som han har bidraget til Civil War-magasinet Military Images . Bedøm identifikationerne fra 'bestemt ikke en kamp', 'sandsynligvis ikke en kamp', 'sandsynligvis en kamp' og 'bestemt en kamp', analysen fandt, at 85 procent af de foreslåede identifikationer enten var sandsynligvis eller bestemt en kamp. På konferencen i denne uge siger Luther, at han planlægger at fremhæve konklusionerne fra holdets seneste forskning på Photo Sleuth, herunder en opdagelse foretaget af Dave Morin, en samler af New Hampshire Civil War-billeder, om et portræt af en uidentificeret anden løjtnant i Unionen . Photo Sleuth foreslog, at manden i portrættet var William H. Baldwin fra den 1. New York Engineers. Morin, der bekræftede, at Baldwin var indfødt i New Hampshire, siger, at han aldrig ville have fundet den pågældende granitstatsingeniør uden hjælp fra Photo Sleuth.
Kurt Luther er adjunkt i datalogi ved Virginia Tech. (Amy Loeffler) Forskningen understreger også de supplerende styrker af menneskelige historikere og selve softwaren. På trods af deres bedste indsats, siger Luther, at softwaren kun kan gå så langt, når de identificerer korrekte kampe og er afhængig af brugere til at hjælpe med at identificere ledetråde, der er i ansigtsalgoritmens blinde pletter.
”[Algoritmen] er trænet til generel ansigtsgenkendelse [på] for det meste moderne billeder, ” siger Luther. ”AI har det svært, når et ansigt vendes til siden [i profil]. Det er på en måde et usædvanligt portræt efter nutidens standarder, men i midten af det 19. århundrede var det almindeligt. ”
Holdet fandt også, at brugerne var meget mere succesrige end algoritmen alene med at identificere andre unikke producenter som skæg og ar.
Patrick Lewis, en borgerkrigshistoriker og administrerende redaktør af videnskabelige ressourcer og udgivelse i Kentucky Historical Society, som ikke har været en del af Photo Sleuths udvikling, siger, at Civil War Photo Sleuth vil være et godt værktøj til ikke kun at bringe disse glemte historier til livet, men at hjælpe med at fortsætte med at opbygge et samarbejdsnetværk af borgerkrigshistorikere rundt om i landet.
”Jeg kan godt lide at gå ind og se på de nye fotos, der er mærket med Kentucky, ” siger Lewis. ”[Og spørg] hvem er de mennesker, der er derude, der samler sig? Er deres individuelle samlere jeg burde være opmærksom på, og skal jeg komme i kontakt med dem for at se, om de har andre materialer, der kan være af forskningsinteresse? ”
Selvom han endnu ikke har kontaktet nogen individuelle samlere gennem Photo Sleuth, siger Lewis, at Kentucky Historical Society selv har arbejdet for at oprette poster over kendte onlinearkiver, og at en software som Photo Sleuth dramatisk ville forbedre deres evne til at fortsætte dette arbejde.
Fremover siger Luther, at de søger at "fordoble [den] menneskelige styrke" af softwaren, herunder tilføje en "Second Opinion" -mulighed, der vil lade flere brugere samarbejde om den endelige identifikation af et foto samt arbejde på at udvide fysisk opsøgende og samfundsstyring for at udvide brugerbasen til Photo Sleuth. Softwaren vil også se nogle ansigtslifter, inklusive en ny funktion, der giver brugerne mulighed for at uploade og identificere personer i et gruppefoto.
"Vores ultimative mål er at identificere hvert ukendt foto fra borgerkrig, " siger Luther, "og få [Photo Sleuth] større og bedre, fordi 25.000 billeder kun er et dråbe i spanden."
