Με μια φωτογραφική μηχανή σε κάθε τσέπη και λογισμικό αναγνώρισης προσώπου ενσωματωμένο στα smartphones και τα κοινωνικά δίκτυα μας, μερικές φορές είναι εύκολο να ξεχνάμε ότι η λήψη φωτογραφιών και η αναγνώριση προσώπων σε αυτά δεν ήταν πάντα τόσο απλή. Είτε χαθεί, καταστραφεί ή απλά δεν έχει επισημανθεί, η διαδικασία ταυτοποίησης των ανθρώπων σε παλιές φωτογραφίες μπορεί να είναι κουραστική. Όμως, όπως ανακάλυψε ο Kurt Luther, επίκουρος καθηγητής της επιστήμης των υπολογιστών στη Virginia Tech, η εμπειρία μπορεί επίσης να είναι αρκετά συγκινητική.
Ο Λούθερ ήταν στο εκθεσιακό εκθέμα "Εμφύλιος Πόλεμος της Πενσυλβανίας" στο Κέντρο Ιστορίας Γερουσιαστής John Heinz του Πίτσμπουργκ το 2013 όταν έπεσε σε μια φωτογραφία του έξοχου θείου του Oliver Croxton. Έχει περιγράψει να κοιτάζει τη φωτογραφία, η οποία ήταν η παλαιότερη οικογενειακή φωτογραφία που είχε δει, ταξιδεύοντας στο χρόνο.
Ήδη ένας ιστορικός τρελός με ενδιαφέρον για τον αμερικανικό εμφύλιο πόλεμο, η στιγμή κολλήθηκε με τον Λούθηρο και άρχισε να αναρωτιέται πώς να φέρει την ίδια εμπειρία σε χιλιάδες άλλους λάτρεις της ιστορίας.
«Άρχισα να μαθαίνω περισσότερα για τη φωτογραφία πολιτικού πολέμου», λέει ο Luther, «και για το πώς μπορεί να ταυτοποιήσει τους ανθρώπους χρησιμοποιώντας διαφορετικές οπτικές ενδείξεις, όπως η στολή, τα διακριτικά ή οι πληροφορίες για το στούντιο του φωτογράφου. Εν τω μεταξύ, έκανα πολλή έρευνα στον τομέα του crowdsourcing ως καθηγητής πληροφορικής και σκέφτηκα ίσως να υπάρχει ένας τρόπος να φέρει μαζί αυτά τα δύο πράγματα. "
Ο Λούθερ σκόνταψε μια φωτογραφία του υπέροχου θείου του Oliver Croxton. (Ευγενική προσφορά της συλλογής Ken Turner) Το αποτέλεσμα είναι ένα δωρεάν ηλεκτρονικό λογισμικό που ονομάζεται Civil War Photo Sleuth, το οποίο χρησιμοποιεί την υπηρεσία crowdsourcing και αναγνώρισης προσώπου για να βοηθήσει τους χρήστες να εντοπίσουν άγνωστα θέματα σε φωτογραφίες πολιτικού πολέμου. Λίγο πριν την επίσημη κυκλοφορία του το 2018, η τεχνολογία κέρδισε και το κορυφαίο βραβείο των 25.000 δολαρίων στο Cloud AI Research Challenge της Microsoft για τη χρήση του λογισμικού αναγνώρισης προσώπου της Microsoft και του Best Demo Award στο συνέδριο Human Computing και Crowdsourcing 2018. Αυτή την εβδομάδα, ο Λούθερ παρουσιάζεται στο συνέδριο του Συνδέσμου Υπολογιστικών Μηχανών της Ένωσης Υπολογιστικών Μηχανών στο Λος Άντζελες.
Σχεδιασμένο με τη βοήθεια διδακτορικών και προπτυχιακών φοιτητών της Virginia Tech, συμπεριλαμβανομένου του σχεδίου με επικεφαλής τον Vikram Mohanty, και σε συνεργασία με το τμήμα ιστορίας της Virginia Tech, το Photo Sleuth χρησιμοποιεί μια προσέγγιση πολλαπλών επιπέδων για να προτείνει τα πιο ακριβή στοιχεία ταυτοποίησης.
Το πρώτο κρίσιμο βήμα στη διαδικασία ήταν η δημιουργία μιας μεγάλης βάσης δεδομένων με ήδη προσδιορισμένες φωτογραφίες. Μέχρι στιγμής, η Photo Sleuth έχει περίπου 17.000 φωτογραφίες, από εθνικά αρχεία όπως το Αμερικανικό Ινστιτούτο Στρατιωτικής Ιστορίας, καθώς και ιδιωτικές συλλογές που περιλαμβάνουν όχι μόνο στρατιώτες πολέμου πολέμου αλλά και πολίτες και άλλο στρατιωτικό προσωπικό της εποχής.
Ο Luther λέει ότι ήταν τυχεροί που είχαν την υποστήριξη μιας ήδη ενθουσιώδους κοινότητας ιστορικών πολιτικών πολεμικών με πρόσβαση σε αυτές τις φωτογραφίες, διότι χωρίς μια σταθερή βάση ήδη προσδιορισμένων φωτογραφιών θα ήταν σχεδόν αδύνατο το λογισμικό να είναι χρήσιμο.
"Δεν είναι όπως στο Field of Dreams ", λέει ο Luther, "αν είχαμε ξεκινήσει το site χωρίς εικόνες και απλώς ελπίζαμε ότι οι χρήστες θα τα προσθέσουν όλα, θα αντιμετωπίζαμε το πρόβλημα της ψυχρής εκκίνησης όπου απλά δεν έχετε περιεχόμενο. "
Η βάση δεδομένων των αναγνωρισμένων φωτογραφιών διαδραματίζει σημαντικό ρόλο βοηθώντας τους χρήστες να προσδιορίσουν τις φωτογραφίες που ανεβάζουν οι ίδιοι. Οι χρήστες προσδιορίζουν χειροκίνητα ειδικά οπτικά χαρακτηριστικά, όπως χρώμα παλτών, τρίχες προσώπου ή στρατιωτικά διακριτικά και η φωτογραφία περνά μέσα από έναν αλγόριθμο αναγνώρισης προσώπου για να αναλύσει και να καταγράψει μοναδικές αναλογίες προσώπου, όπως η απόσταση μεταξύ σημείων προσώπου όπως η μύτη και τα μάτια. Το Photo Sleuth συγκρίνει τα οπτικά δεδομένα της άγνωστης φωτογραφίας με ήδη προσδιορισμένες φωτογραφίες στη βάση δεδομένων και παρουσιάζει τον χρήστη με αυτό που θεωρεί ότι είναι ο καλύτερος συνδυασμός που βασίζεται στην ομοιότητα του προσώπου και στις πληροφορίες που προέρχονται από τα άλλα μεταδεδομένα, όπως στρατιώτες που φαίνεται να βρίσκονται στο την ίδια μονάδα με βάση τα διακριτικά των στολών τους. Ενώ το λογισμικό παίρνει συνειδητά βήματα κατά μήκος του τρόπου να περιορίσει την πιθανότητα ενός ψευδούς ταυτοποίησης, ο Luther λέει ότι στο τέλος της ημέρας εναπόκειται στον χρήστη να κάνει την τελική ταυτοποίηση όταν παρουσιάζεται με τις καλύτερες εικασίες του λογισμικού.
"Ήμασταν πολύ ανήσυχοι για την αποτροπή της ψεύτικης ταυτοποίησης", λέει ο Luther, "γιατί όταν μιλάτε για το Διαδίκτυο, μόλις βγάλετε κάποια λάθος πληροφορία εκεί έξω είναι πολύ δύσκολο να απαλλαγείτε από αυτό ή να το αλλάξετε".
Για να εξασφαλίσουν ότι το λογισμικό τους παρέχει στους χρήστες τις καλύτερες προτεινόμενες δυνατότητες ταυτοποίησης, ο Luther πραγματοποίησε μια ανάλυση στον πρώτο μήνα του προτεινόμενου προσδιορισμού του λογισμικού χρησιμοποιώντας μεθόδους που περιγράφονται σε στήλες που συνέβαλε στο περιοδικό Civil Military Images Military Images . Η αξιολόγηση των αναγνωρίσεων από "σίγουρα δεν είναι ένας αγώνας", "πιθανώς δεν είναι ένας αγώνας", "πιθανώς ένας αγώνας" και "σίγουρα ένας αγώνας", η ανάλυση διαπίστωσε ότι το 85% των προτεινόμενων ταυτοτήτων ήταν πιθανώς ή σίγουρα ένας αγώνας. Στο συνέδριο αυτή την εβδομάδα, ο Λούθερ λέει ότι σχεδιάζει να αναδείξει τα ευρήματα της πιο πρόσφατης έρευνας της ομάδας σχετικά με το Photo Sleuth, συμπεριλαμβανομένης μιας ανακάλυψης από τον Dave Morin, συλλέκτη εικόνων του εμφυλίου πολέμου του Νιου Χάμσαϊρ, σχετικά με ένα πορτρέτο ενός αγνώστου βοηθού . Η φωτογραφία Sleuth πρότεινε ότι ο άνθρωπος στο πορτρέτο ήταν ο William H. Baldwin από τους 1ους Μηχανικούς της Νέας Υόρκης. Ο Morin, ο οποίος επιβεβαίωσε ότι ο Baldwin ήταν ντόπιος του Νιου Χάμσαϊρ, λέει ότι ποτέ δεν θα βρήκε τον εν λόγω μηχανικό κράτους του γρανίτη χωρίς τη βοήθεια του Photo Sleuth.
Ο Kurt Luther είναι επίκουρος καθηγητής πληροφορικής στη Virginia Tech. (Amy Loeffler) Η έρευνα υπογραμμίζει επίσης τα συμπληρωματικά πλεονεκτήματα των ανθρωπίνων ιστορικών και του ίδιου του λογισμικού. Παρά τις καλύτερες προσπάθειές τους, ο Luther λέει ότι το λογισμικό μπορεί να φτάσει μέχρι στιγμής μόνο όταν εντοπίζει τους σωστούς αγώνες και βασίζεται στους χρήστες για να βοηθήσει στην αναγνώριση ενδείξεων που βρίσκονται στα τυφλά σημεία του αλγορίθμου του προσώπου.
"[Ο αλγόριθμος] εκπαιδεύεται για γενική αναγνώριση προσώπου [πάνω] κυρίως σε σύγχρονες εικόνες", λέει ο Luther. "Το AI έχει έναν σκληρό χρόνο όταν ένα πρόσωπο είναι στραμμένο προς την πλευρά [στο προφίλ]. Είναι ένα ασυνήθιστο πορτρέτο με τα σημερινά πρότυπα, αλλά στα μέσα του 19ου αιώνα ήταν κοινό. "
Η ομάδα διαπίστωσε επίσης ότι οι χρήστες ήταν πολύ πιο επιτυχημένοι από ό, τι ο αλγόριθμος και μόνο για τον εντοπισμό άλλων μοναδικών makers όπως γενειάδες και ουλές.
Ο Patrick Lewis, ιστορικός εμφύλιου πολέμου και διευθυντής εκδόσεων ακαδημαϊκών πόρων και δημοσίευσης στην Ιστορική Εταιρεία του Κεντάκυ, ο οποίος δεν έχει συμμετάσχει στην ανάπτυξη του Photo Sleuth, λέει ότι ο Civil War Photo Sleuth θα είναι ένα εξαιρετικό εργαλείο για να μην φέρει μόνο αυτές τις ξεχασμένες ιστορίες αλλά να συμβάλει στη συνέχιση της οικοδόμησης ενός συνεργατικού δικτύου ιστορικών πολιτικών πολέμων σε όλη τη χώρα.
"Μου αρέσει να μπαίνω και να κοιτάζω τις νέες ετικέτες των φωτογραφιών του Κεντάκι", λέει ο Lewis. "[Και ρωτήστε] ποιοι είναι οι άνθρωποι που είναι εκεί έξω συλλέγοντας; Πρέπει να γνωρίζουν οι μεμονωμένοι συλλέκτες τους και θα πρέπει να έρχομαι σε επαφή μαζί τους για να δούμε αν έχουν άλλα υλικά που μπορεί να έχουν ερευνητικό ενδιαφέρον ».
Ενώ δεν έχει ακόμη συνδεθεί με μεμονωμένους συλλέκτες μέσω του Photo Sleuth, ο Lewis λέει ότι η ίδια η Ιστορική Εταιρεία του Κεντάκυ εργάστηκε για να δημιουργήσει αρχεία των γνωστών σε απευθείας σύνδεση αρχείων και ότι ένα λογισμικό όπως το Photo Sleuth θα βελτίωνε δραματικά την ικανότητά τους να συνεχίσουν τη δουλειά.
Προχωρώντας προς τα εμπρός, ο Luther λέει ότι προσπαθούν να «διπλασιάσουν τα ανθρώπινα δυνατά» του λογισμικού, συμπεριλαμβανομένης της προσθήκης μιας δεύτερης γνώμης που θα επιτρέψει σε πολλούς χρήστες να συνεργαστούν για την τελική αναγνώριση μιας φωτογραφίας, σχετικά με την επέκταση της σωματικής εξάπλωσης και της διαχείρισης της κοινότητας για να αναπτυχθεί το userbase του Photo Sleuth. Το λογισμικό θα βλέπει επίσης μερικούς ανελκυστήρες προσώπου, καθώς και μια νέα λειτουργία που θα επιτρέπει στους χρήστες να φορτώνουν και να αναγνωρίζουν άτομα σε μια ομαδική φωτογραφία.
"Ο απώτερος στόχος μας είναι να εντοπίσουμε κάθε άγνωστη φωτογραφία του εμφυλίου πολέμου", λέει ο Luther, "και να πάρει [Photo Sleuth] μεγαλύτερο και καλύτερο, επειδή 25.000 εικόνες είναι μόνο μια σταγόνα στον κάδο."
