Con una fotocamera in ogni tasca e software di riconoscimento facciale integrato nei nostri smartphone e social network, a volte è facile dimenticare che scattare foto e identificare i volti in esse non è sempre stato così semplice. Se perso, danneggiato o semplicemente senza etichetta, il processo di identificazione delle persone nelle vecchie foto può essere noioso. Ma, come ha scoperto Kurt Luther, assistente professore di informatica alla Virginia Tech, l'esperienza può anche essere abbastanza commovente.
Luther era alla mostra "Pennsylvania's Civil War" al Senatore John Heinz History Center di Pittsburgh nel 2013 quando si imbatté in una foto del suo prozio prozio Oliver Croxton. Ha descritto guardando la foto, che era la più antica foto di famiglia che avesse visto, come viaggiare nel tempo.
Già appassionato di storia con interesse per la guerra civile americana, il momento si è bloccato con Lutero e ha iniziato a chiedersi come portare la stessa esperienza a migliaia di altri appassionati di storia.
"Ho iniziato a imparare di più sulla fotografia della guerra civile", afferma Luther, "e su come identificare [le persone] usando diversi indizi visivi, come l'uniforme, le insegne o le informazioni dello studio del fotografo. Nel frattempo, stavo facendo molte ricerche nell'area del crowdsourcing come professore di informatica, e ho pensato che forse c'era un modo per mettere insieme queste due cose. "
Luther inciampò in una foto del suo prozio prozio, Oliver Croxton. (Per gentile concessione della collezione Ken Turner) Il risultato è un software online gratuito chiamato Civil War Photo Sleuth che utilizza il crowdsourcing e il riconoscimento facciale per aiutare gli utenti a identificare soggetti sconosciuti nelle fotografie dell'era della Guerra Civile. Poco prima della sua uscita ufficiale nel 2018, la tecnologia ha vinto sia il primo premio di $ 25.000 nella Cloud AI Research Challenge di Microsoft per l'utilizzo del software di riconoscimento facciale di Microsoft sia il Best Demo Award alla conferenza Human Computation and Crowdsourcing 2018. Questa settimana, Luther presenta alla conferenza dell'Associazione per le interfacce utente intelligenti dell'Association for Computing Machinery a Los Angeles.
Progettato con l'aiuto di dottorandi e studenti universitari presso Virginia Tech, incluso il responsabile del progetto Vikram Mohanty, e in collaborazione con il dipartimento di storia di Virginia Tech, Photo Sleuth utilizza un approccio su più fronti per suggerire le identificazioni più accurate.
Il primo passo cruciale del processo è stato la creazione di un ampio database di foto già identificate. Ad oggi, Photo Sleuth ha circa 17.000 foto identificate, provenienti da archivi nazionali come l'Istituto di storia militare degli Stati Uniti e da collezioni private, che includono non solo soldati della guerra civile ma anche civili e altro personale militare dell'epoca.
Lutero afferma che sono stati fortunati ad avere il supporto di una comunità già entusiasta di storici della guerra civile con accesso a queste foto, perché senza una solida base di foto già identificate sarebbe stato quasi impossibile per il software essere utile.
"Non è come in Field of Dreams ", afferma Luther, "Se avessimo lanciato il sito senza immagini e avessimo solo sperato che gli utenti le aggiungessero tutte, avremmo dovuto affrontare il problema dell'avvio a freddo in cui semplicemente non disponevi di alcun contenuto. ”
Il database delle foto identificate svolge un ruolo essenziale nell'aiutare gli utenti a identificare le foto che si caricano da sole. Gli utenti taggano manualmente tratti visivi speciali, come il colore del mantello, i peli del viso o le insegne di rango militare, e la foto passa attraverso un algoritmo di riconoscimento facciale per analizzare e registrare rapporti facciali unici, come la distanza tra i punti di riferimento del viso come il naso e gli occhi. Photo Sleuth confronta i dati visivi della foto sconosciuta con le foto già identificate nel database e presenta all'utente ciò che ritiene siano le migliori corrispondenze basate sulla somiglianza facciale e sulle informazioni derivate dagli altri metadati, come i soldati che sembrano essere nel stessa unità basata sulle insegne delle loro uniformi. Mentre il software prende provvedimenti deliberati lungo la strada per limitare la possibilità di una falsa identificazione, Luther afferma che alla fine spetta all'utente fare l'identificazione finale quando viene presentato con le migliori ipotesi del software.
"Eravamo molto preoccupati di prevenire la falsa identificazione", afferma Luther, "perché quando parli di Internet, una volta che hai messo alcune informazioni sbagliate là fuori è molto difficile liberarsene o cambiarle".
Per assicurare che il loro software fornisse agli utenti le migliori identificazioni suggerite possibili, Luther ha effettuato un'analisi sul primo mese di identificazione del software proposto utilizzando i metodi indicati nelle colonne che ha contribuito alla rivista di storia della guerra civile Military Images . Valutare le identificazioni da "sicuramente non una corrispondenza", "probabilmente non una corrispondenza", "probabilmente una corrispondenza" e "sicuramente una corrispondenza", l'analisi ha rilevato che l'85 percento delle identificazioni proposte era probabilmente o sicuramente una corrispondenza. Alla conferenza di questa settimana, Luther afferma che intende mettere in evidenza i risultati della più recente ricerca del team su Photo Sleuth, inclusa una scoperta fatta da Dave Morin, un collezionista di immagini della guerra civile del New Hampshire, su un ritratto di un secondo tenente dell'Unione non identificato . Foto Sleuth ha suggerito che l'uomo nel ritratto era William H. Baldwin del 1 ° ingegnere di New York. Morin, che ha confermato che Baldwin era un nativo del New Hampshire, afferma che non avrebbe mai trovato l'ingegnere statale del Granito in questione senza l'aiuto di Photo Sleuth.
Kurt Luther è assistente professore di informatica alla Virginia Tech. (Amy Loeffler) La ricerca sottolinea anche i punti di forza complementari degli storici umani e il software stesso. Nonostante i loro migliori sforzi, Luther afferma che il software può andare così lontano solo quando identifica le corrispondenze corrette e si affida agli utenti per aiutare a identificare gli indizi che si trovano nei punti ciechi dell'algoritmo facciale.
"[L'algoritmo] è addestrato per il riconoscimento facciale generale [su] immagini per lo più moderne", afferma Luther. “L'intelligenza artificiale ha un momento difficile quando una faccia viene girata di lato [nel profilo]. È una specie di ritratto insolito per gli standard di oggi, ma a metà del XIX secolo era comune. "
Il team ha anche scoperto che gli utenti hanno avuto molto più successo del solo algoritmo nell'identificare altri produttori unici come barbe e cicatrici.
Patrick Lewis, storico della guerra civile e caporedattore di risorse accademiche e pubblicazione presso la Kentucky Historical Society che non ha fatto parte dello sviluppo di Photo Sleuth, afferma che Civil War Photo Sleuth sarà un ottimo strumento per non solo portare queste storie dimenticate a vita, ma per aiutare a continuare a costruire una rete collaborativa di storici della guerra civile in tutto il paese.
"Mi piace entrare e guardare le nuove foto taggate del Kentucky", afferma Lewis. “[E chiedi] chi sono le persone che stanno collezionando? Sono i loro singoli collezionisti di cui dovrei essere consapevole e dovrei contattarli per vedere se hanno altri materiali che potrebbero essere di interesse per la ricerca? "
Mentre non ha ancora avuto contatti con singoli collezionisti tramite Photo Sleuth, Lewis afferma che la stessa Kentucky Historical Society ha lavorato per creare archivi di noti archivi online e che un software come Photo Sleuth avrebbe migliorato notevolmente la loro capacità di continuare quel lavoro.
Andando avanti, Luther afferma che stanno cercando di "raddoppiare i [punti di forza umani" del software, inclusa l'aggiunta di un'opzione "Secondo parere" che consentirà a più utenti di collaborare all'identificazione finale di una foto, oltre a lavorare sull'espansione della divulgazione fisica e della gestione della comunità per far crescere la base di utenti di Photo Sleuth. Il software vedrà anche alcuni lifting, inclusa una nuova funzione che consentirà agli utenti di caricare e identificare le persone in una foto di gruppo.
"Il nostro obiettivo finale è quello di identificare ogni foto sconosciuta della Guerra Civile", afferma Luther, "e ottenere [Photo Sleuth] più grande e migliore, perché 25.000 immagini è solo una goccia nel secchio."
