Τι είναι δίκαιο;
Φαίνεται μια απλή ερώτηση, αλλά είναι μια χωρίς απλές απαντήσεις. Αυτό είναι ιδιαίτερα αληθινό στον τοξοειδή κόσμο της τεχνητής νοημοσύνης (AI), όπου η έννοια των έξυπνων μηχανών χωρίς συναισθήματα που παίρνουν αποφάσεις εξαιρετικά απαλλαγμένες από προκατάληψη εξαφανίζεται γρήγορα.
Ίσως η πιο δημοφιλής αντίληψη αυτής της αντίληψης ήρθε με μια έρευνα ProPublica του 2016 που κατέληξε στο συμπέρασμα ότι τα δεδομένα που οδηγούν σε ένα σύστημα AI που χρησιμοποιούν οι δικαστές για να καθορίσουν εάν ένας καταδικασθείς εγκληματίας είναι πιθανό να διαπράττουν περισσότερα εγκλήματα φαίνεται να είναι προκατειλημμένος έναντι των μειονοτήτων. Το Northpointe, η εταιρεία που δημιούργησε τον αλγόριθμο, γνωστή ως COMPAS, αμφισβήτησε την ερμηνεία των αποτελεσμάτων της ProPublica, αλλά η σύγκρουση προκάλεσε τόσο συζήτηση όσο και ανάλυση σχετικά με το πόσο θα πρέπει να εμπιστευθούν ακόμη και οι πιο έξυπνες μηχανές.
"Είναι ένα πολύ καυτό θέμα - πώς μπορείτε να κάνετε τους αλγόριθμους δίκαιους και αξιόπιστους", λέει ο Daniel Neill. "Είναι ένα σημαντικό ζήτημα."
Ο Neill βρίσκεται πλέον στη μέση αυτής της συζήτησης. Ένας επιστήμονας υπολογιστών στο πανεπιστήμιο Carnegie Mellon, ο ίδιος και ένας άλλος ερευνητής, ο Will Gorr, ανέπτυξαν ένα εργαλείο λογισμικού πρόληψης εγκλημάτων που ονομάζεται CrimeScan πριν από αρκετά χρόνια. Η αρχική τους αντίληψη ήταν ότι κατά κάποιο τρόπο το βίαιο έγκλημα είναι σαν μια μεταδοτική ασθένεια, που τείνει να ξεσπάσει σε γεωγραφικές ομάδες. Επίσης, πίστευαν ότι τα μικρότερα εγκλήματα μπορούν να είναι προάγγελοι περισσότερων βίαιων, έτσι έχτισαν έναν αλγόριθμο χρησιμοποιώντας ένα ευρύ φάσμα δεδομένων "κύριου δείκτη", συμπεριλαμβανομένων των αναφορών για εγκλήματα, όπως απλές επιθέσεις, βανδαλισμούς και ατασθαλίες συμπεριφορές και 911 καλεί για πράγματα όπως πυροβολισμένα πυροβόλα ή πρόσωπο που βλέπει με όπλο. Το πρόγραμμα περιλαμβάνει επίσης τις εποχιακές τάσεις και τις τάσεις της ημέρας των εβδομάδων, συν βραχυπρόθεσμες και μακροπρόθεσμες τιμές σοβαρών βιαιοπραγιών.
Η ιδέα είναι να εντοπιστούν οι σπινθήρες πριν ξεσπάσει μια πυρκαγιά. «Εξετάζουμε τα πιο μικρά εγκλήματα», λέει ο Νιλ. "Οι απλές επιθέσεις θα μπορούσαν να σκληρυνθούν σε επιθετικές επιθέσεις. Ή μπορεί να έχετε ένα κλιμάκιο βίας ανάμεσα σε δύο συμμορίες. "
Πρόβλεψη πότε και πού
Το CrimeScan δεν είναι το πρώτο λογισμικό που έχει σχεδιαστεί για αυτό που είναι γνωστό ως προληπτική αστυνόμευση. Ένα πρόγραμμα που ονομάζεται PredPol δημιουργήθηκε πριν από οκτώ χρόνια από επιστήμονες της UCLA που συνεργάζονται με το Αστυνομικό Τμήμα του Λος Άντζελες, με στόχο να δουν πώς η επιστημονική ανάλυση των στοιχείων του εγκλήματος θα μπορούσε να βοηθήσει τα πρότυπα εγκληματικής συμπεριφοράς. Τώρα που χρησιμοποιούνται από περισσότερα από 60 αστυνομικά τμήματα σε όλη τη χώρα, το PredPol εντοπίζει περιοχές σε μια γειτονιά όπου είναι πιθανότερο να εμφανιστούν σοβαρά εγκλήματα κατά τη διάρκεια μιας συγκεκριμένης περιόδου.
Η εταιρεία ισχυρίζεται ότι η έρευνά της έχει βρει ότι το λογισμικό είναι διπλάσιο από την ακρίβεια των ανθρώπινων αναλυτών όταν πρόκειται να προβλέψει πού θα γίνουν τα εγκλήματα. Ωστόσο, καμία ανεξάρτητη μελέτη δεν επιβεβαίωσε αυτά τα αποτελέσματα.
Τόσο το PredPol όσο και το CrimeScan περιορίζουν τις προβλέψεις τους για το πού μπορούν να εμφανιστούν τα εγκλήματα και αποφύγουμε να κάνουμε το επόμενο βήμα για να προβλέψουμε ποιος θα μπορούσε να τους δεσμευτεί - μια αμφιλεγόμενη προσέγγιση που η πόλη του Σικάγο έχει χτίσει γύρω από έναν "κατάλογο στρατηγικών θεμάτων" σε μελλοντικούς πυροβολισμούς, είτε ως σκοπευτής είτε ως θύμα.
Η Αμερικανική Ένωση Πολιτικών Ελευθεριών [ACLU], το Κέντρο Δικαιοσύνης του Brennan και διάφορες οργανώσεις για τα δικαιώματα του ανθρώπου έθεσαν όλες τις ερωτήσεις σχετικά με τον κίνδυνο μεροληψίας στο λογισμικό. Τα ιστορικά δεδομένα από αστυνομικές πρακτικές, υποστηρίζουν οι επικριτές, μπορούν να δημιουργήσουν έναν βρόχο ανατροφοδότησης μέσω του οποίου οι αλγόριθμοι λαμβάνουν αποφάσεις που αντανακλούν και ενισχύουν τις αντιλήψεις σχετικά με το ποιες γειτονιές είναι «κακές» και ποιες είναι «καλές». Γι 'αυτό, το AI που βασίζεται κυρίως σε συλλήψεις δεδομένων, ο κίνδυνος μεροληψίας - είναι περισσότερο αντανακλαστικό στις αποφάσεις της αστυνομίας, σε αντίθεση με τα πραγματικά αναφερόμενα εγκλήματα. Το CrimeScan, για παράδειγμα, παραμένει μακριά από την προσπάθεια πρόβλεψης εγκλημάτων τα οποία, όπως τονίζει ο Neill, "θα τα βρείτε μόνο αν τα αναζητήσετε".
"Δεν μπορώ να πω ότι είμαστε απαλλαγμένοι από προκατάληψη", λέει ο Neill, "αλλά είναι σίγουρα πιο μειωμένος από ό, τι αν προσπαθούσαμε να προβλέψουμε την κατοχή ναρκωτικών".
Στη συνέχεια, υπάρχει η άλλη πλευρά του βρόχου ανάδρασης. Εάν ένα εργαλείο πρόβλεψης δημιουργεί προσδοκίες για εγκλήματα σε μια συγκεκριμένη γειτονιά, θα αστυνομεύσει εκείνους που περιπολούν εκεί πιο επιθετικοί όταν κάνουν συλλήψεις;
"Υπάρχει πραγματικός κίνδυνος, με κάθε είδους αστυνόμευση δεδομένων, να ξεχνάμε ότι υπάρχουν άνθρωποι και στις δύο πλευρές της εξίσωσης", σημειώνει ο Andrew Ferguson, καθηγητής Νομικής στο Πανεπιστήμιο της Επαρχίας της Κολούμπια και συγγραφέας του βιβλίο, Η άνοδος της μεγάλης αστυνόμευσης δεδομένων: επιτήρηση, φυλή και το μέλλον της επιβολής του νόμου. "Οι αξιωματικοί πρέπει να είναι σε θέση να μεταφράσουν αυτές τις ιδέες που δείχνουν ότι διαφορετικές γειτονιές έχουν διαφορετικές βαθμολογίες απειλών. Και εστιάζοντας στους αριθμούς αντί του ανθρώπου μπροστά σου αλλάζει τη σχέση σου με αυτούς ».
Μέσα στο μαύρο κουτί
Η πραγματικότητα είναι ότι η τεχνητή νοημοσύνη παίζει τώρα - αν και συχνά στο παρασκήνιο - πολλές αποφάσεις που επηρεάζουν την καθημερινή ζωή - βοηθώντας τις εταιρείες να επιλέξουν ποιοι να νοικιάσουν για να καθορίσουν βαθμολογίες πιστοληπτικής ικανότητας για την αξιολόγηση των εκπαιδευτικών. Δεν αποτελεί έκπληξη το γεγονός ότι εντάθηκε ο δημόσιος έλεγχος του τρόπου με τον οποίο δημιουργούνται οι αλγόριθμοι μάθησης μηχανών, ποιες ακούσιες συνέπειες προκαλούν και γιατί γενικά δεν υποβάλλονται σε πολύ ανασκόπηση.
Για αρχάριους, μεγάλο μέρος του λογισμικού είναι ιδιόκτητο, οπότε υπάρχει ελάχιστη διαφάνεια πίσω από τον τρόπο λειτουργίας των αλγορίθμων. Και καθώς η μηχανική μάθηση γίνεται πιο εξελιγμένη, θα γίνει όλο και πιο δύσκολο ακόμα και για τους μηχανικούς που δημιούργησαν ένα σύστημα AI για να εξηγήσουν τις επιλογές που έκαναν. Αυτή η αδιαφανής διαδικασία λήψης αποφάσεων, με ελάχιστη λογοδοσία, είναι συνέπεια των λεγόμενων αλγορίθμων "μαύρου κουτιού".
"Το κοινό δεν έχει ποτέ την ευκαιρία να ελέγξει ή να συζητήσει τη χρήση τέτοιων συστημάτων", λέει ο Meredith Whittaker, συνιδρυτής του Ινστιτούτου AI Now, ενός ερευνητικού οργανισμού στο Πανεπιστήμιο της Νέας Υόρκης που επικεντρώνεται στον αντίκτυπο της AI στην κοινωνία. "Και τα δεδομένα και οι λογικές που διέπουν τις προβλέψεις που γίνονται είναι συχνά άγνωστες ακόμη και σε αυτούς που τις χρησιμοποιούν, πόσο μάλλον στους ανθρώπους των οποίων οι ζωές επηρεάζονται".
Σε έκθεση που εκδόθηκε το περασμένο φθινόπωρο, η AI Now προχώρησε τόσο πολύ ώστε να μην συστήσει στους δημόσιους οργανισμούς που είναι αρμόδιοι για θέματα όπως η ποινική δικαιοσύνη, η υγειονομική περίθαλψη, η ευημερία και η εκπαίδευση να χρησιμοποιούν συστήματα μαύρου κουτιού AI. Σύμφωνα με το AI Now, σπάνια υπάρχουν νομικά και ηθικά ζητήματα που δίνουν μεγάλη προσοχή κατά τη δημιουργία του λογισμικού.
«Ακριβώς όπως δεν θα εμπιστευθήκατε έναν δικαστή να χτίσει ένα βαθύ νευρωνικό δίκτυο, θα πρέπει να σταματήσουμε να υποθέτουμε ότι ένα πτυχίο μηχανικής είναι αρκετό για να κάνει πολύπλοκες αποφάσεις σε τομείς όπως η ποινική δικαιοσύνη», λέει ο Whittaker.
Ένας άλλος οργανισμός, το Κέντρο για τη Δημοκρατία και την Τεχνολογία, δημιούργησε ένα εργαλείο "ψηφιακών αποφάσεων" για να βοηθήσει τους μηχανικούς και τους επιστήμονες υπολογιστών να δημιουργήσουν αλγόριθμους που παράγουν θεμιτά και αμερόληπτα αποτελέσματα. Το εργαλείο θέτει πολλές ερωτήσεις για να τους αναγκάσει να σταθμίσουν τις υποθέσεις τους και να προσδιορίσουν τα απρόβλεπτα αποτελέσματα κυμάτωσης.
«Θέλαμε να δώσουμε στους ανθρώπους μια συγκεκριμένη αφετηρία για να σκεφτούν θέματα όπως το πόσο αντιπροσωπευτικά είναι τα δεδομένα τους, ποιες ομάδες ανθρώπων θα μπορούσαν να αφεθούν έξω και εάν τα αποτελέσματα του μοντέλου τους θα έχουν απρόβλεπτες αρνητικές συνέπειες», λέει η Natasha Duarte, η εργασία.
Ποιος είναι υπεύθυνος;
Παρόλο που υπήρξε ώθηση για να καταστούν οι προγραμματιστές πιο ενημερωμένοι για τις πιθανές επιπτώσεις των αλγορίθμων τους, άλλοι επισημαίνουν ότι και οι δημόσιοι οργανισμοί και οι εταιρείες που εξαρτώνται από το AI πρέπει επίσης να λογοδοτούν.
"Υπάρχει αυτή η έμφαση στους σχεδιαστές που κατανοούν ένα σύστημα. Αλλά είναι και για τους ανθρώπους που διαχειρίζονται και εφαρμόζουν το σύστημα ", λέει ο Jason Schultz, καθηγητής Νομικής στο Πανεπιστήμιο της Νέας Υόρκης που συνεργάζεται με το Ινστιτούτο AI Now για νομικά και πολιτικά ζητήματα. "Εκεί όπου το καουτσούκ συναντά το δρόμο στην υπευθυνότητα, μια κυβερνητική υπηρεσία που χρησιμοποιεί το AI έχει την μεγαλύτερη ευθύνη και πρέπει να το καταλάβει, αν δεν καταλαβαίνετε την τεχνολογία, δεν θα πρέπει να μπορείτε να τη χρησιμοποιήσετε".
Για το σκοπό αυτό, η AI Now προωθεί τη χρήση «αλγοριθμικών εκτιμήσεων επιπτώσεων», οι οποίες θα απαιτούσαν από τους δημόσιους οργανισμούς να αποκαλύψουν τα συστήματα που χρησιμοποιούν και να επιτρέψουν σε εξωτερικούς ερευνητές να τις αναλύσουν για ενδεχόμενα προβλήματα. Όσον αφορά τα αστυνομικά τμήματα, ορισμένοι νομικοί εμπειρογνώμονες πιστεύουν ότι είναι επίσης σημαντικό για αυτούς να διευκρινίσουν με σαφήνεια πώς χρησιμοποιούν την τεχνολογία και να είναι πρόθυμοι να το μοιραστούν με την τοπική κοινότητα.
"Εάν τα συστήματα αυτά σχεδιάζονται από την άποψη της λογοδοσίας, της δικαιοσύνης και της ορθής διαδικασίας, το άτομο που εφαρμόζει το σύστημα πρέπει να καταλάβει ότι έχει ευθύνη", λέει ο Schultz. "Και όταν σχεδιάζουμε πώς θα υλοποιήσουμε αυτά τα πράγματα, μία από τις πρώτες ερωτήσεις είναι:" Πού πηγαίνει αυτό στο εγχειρίδιο της αστυνομίας; " Αν δεν πρόκειται να το έχετε κάπου στο εγχειρίδιο αστυνομίας, ας πάμε πίσω, ανθρώπους. "
Ο Άντριου Φέργκιουσον θεωρεί ότι υπάρχει ανάγκη για αυτό που αποκαλεί "σύνοδο κορυφής επιτήρησης".
"Τουλάχιστον μία φορά το χρόνο, θα πρέπει να υπάρχει μια στιγμή λογοδοσίας για την αστυνομική τεχνολογία σε κάθε τοπική δικαιοδοσία", λέει. "Ο αρχηγός της αστυνομίας, ο δήμαρχος ή ίσως ο επικεφαλής του δημοτικού συμβουλίου θα πρέπει να εξηγήσει στην κοινότητα τι χρησιμοποιούν τα δολάρια των φορολογουμένων όσον αφορά την εποπτεία και την τεχνολογία, γιατί πιστεύουν ότι είναι καλή χρήση των χρημάτων, τι «κάνει για να το ελέγξει και να προστατεύσει τα δεδομένα, ποιες είναι οι συνέπειες για την προστασία της ιδιωτικής ζωής. Και η κοινότητα θα είναι εκεί για να κάνει ερωτήσεις. "
Ο Daniel Neill, ο δημιουργός του CrimeScan, λέει ότι δεν θα αντιταχθεί στην ιδέα των τακτικών ελέγχων των αποτελεσμάτων της AI, παρόλο που έχει επιφυλάξεις σχετικά με αυτό πριν από έναν επαρκώς δοκιμασμένο αλγόριθμο. Αυτή τη στιγμή συνεργάζεται με το Γραφείο Αστυνομίας του Πίτσμπουργκ σε μια δίκη CrimeScan και τουλάχιστον αρχικά υπήρξε μια πρόκληση με το να «πάρεις τη σωστή ένταση περιπολίας για τα προβλεπόμενα καυτά σημεία».
Ήταν μια μαθησιακή διαδικασία, λέει, να προσαρμόσει το CrimeScan έτσι ώστε οι αστυνομικοί στο επίπεδο του δρόμου να πιστεύουν ότι είναι χρήσιμο. "Πρέπει να δείξουμε ότι όχι μόνο μπορούμε να προβλέψουμε το έγκλημα, αλλά και ότι μπορούμε πραγματικά να το αποτρέψουμε", σημειώνει ο Νιλ. "Εάν ρίξετε ακριβώς το εργαλείο πάνω στον τοίχο και ελπίζετε για το καλύτερο, ποτέ δεν λειτουργεί τόσο καλά."
Αναγνωρίζει επίσης τον κίνδυνο να αναβληθεί πάρα πολύ ένας αλγόριθμος.
"Ένα εργαλείο μπορεί να βοηθήσει τους αστυνομικούς να κάνουν σωστές αποφάσεις", λέει. "Δεν πιστεύω ότι τα μηχανήματα πρέπει να παίρνουν αποφάσεις. Θα πρέπει να χρησιμοποιούνται για τη λήψη αποφάσεων. "
Ο Νιλλ προσθέτει: «Καταλαβαίνω ότι, στην πράξη, αυτό δεν συμβαίνει συνέχεια».
