Είναι δύσκολο να αμφισβητηθεί η δύναμη της επιστήμης. Από μελέτες που αξιολογούν την τελευταία διατροφική τάση σε πειράματα που φωτίζουν τους παράγοντες πρόβλεψης της ευτυχίας, οι άνθρωποι έρχονται όλο και περισσότερο να εξετάζουν τα επιστημονικά αποτελέσματα ως συγκεκριμένα και αξιόπιστα γεγονότα που μπορούν να καθορίσουν τον τρόπο σκέψης και δράσης μας.
σχετικό περιεχόμενο
- Οι επιστήμονες αντιπροσώπευαν 100 μελέτες ψυχολογίας και λιγότερα από τα μισά έχουν τα ίδια αποτελέσματα
Όμως, τα τελευταία χρόνια, μια αυξανόμενη ομάδα επιστημόνων έχει αρχίσει να αμφισβητεί την αποδεκτή αλήθεια της δημοσιευμένης έρευνας - ακόμα και αφού έχει ξεκαθαρίσει τα εμπόδια της αξιολόγησης από ομοτίμους και εμφανίζεται σε ευρέως σεβαστά περιοδικά. Το πρόβλημα είναι μια διαδεδομένη ανικανότητα να αναπαράγεται ένα μεγάλο μέρος των αποτελεσμάτων σε διάφορους κλάδους.
Το 2005, για παράδειγμα, ο Ιωάννης Ιωαννίδης, καθηγητής της ιατρικής στο Πανεπιστήμιο του Στάνφορντ, χρησιμοποίησε αρκετές προσομοιώσεις για να δείξει ότι οι επιστημονικοί ισχυρισμοί είναι πιθανότερο να είναι ψευδείς παρά αληθινές. Και αυτό το καλοκαίρι ο Brian Nosek, καθηγητής ψυχολογίας στο Πανεπιστήμιο της Βιρτζίνια, προσπάθησε να αναπαράγει τα ευρήματα 100 μελετών ψυχολογίας και διαπίστωσε ότι μόνο το 39% των αποτελεσμάτων κράτησε υπό αυστηρή επανελέγχου.
"Υπάρχουν πολλαπλές ενδείξεις, τόσο θεωρητικές όσο και εμπειρικές, που έχουν αρχίσει να θέτουν υπό αμφισβήτηση την αναπαραγωγικότητα ενός σημαντικού τμήματος επιστημονικής βιβλιογραφίας", λέει ο Ιωαννίδης. "Παίρνουμε εκατομμύρια χαρτιά που δεν πηγαίνουν πουθενά."
Αυτά τα προκαταρκτικά ευρήματα έχουν δημιουργήσει ένα εντελώς νέο πεδίο που ονομάζεται μετα-έρευνα-η επιστημονική μελέτη της επιστήμης.
Αυτή την εβδομάδα, το τμήμα βιολογίας της Δημόσιας Βιβλιοθήκης της Επιστήμης (PLOS), ένας μη κερδοσκοπικός οργανισμός εκδότη και υπεράσπισης, ξεκίνησε ένα νέο τμήμα αποκλειστικά αφιερωμένο στη μετα-έρευνα. Το τμήμα θα διερευνήσει θέματα όπως η διαφάνεια στην έρευνα, τα μεθοδολογικά πρότυπα, οι πηγές μεροληψίας, η ανταλλαγή δεδομένων, η χρηματοδότηση και οι δομές παροχής κινήτρων.
Ο Ιωαννίδης και οι συνεργάτες του αξιολόγησαν ένα τυχαίο δείγμα 441 βιοϊατρικών άρθρων που δημοσιεύθηκαν μεταξύ 2000 και 2014. Έλεγαν αν αυτά τα έγγραφα παρείχαν δημόσια πρόσβαση σε ακατέργαστα δεδομένα και πειραματικά πρωτόκολλα, επαναλήφθηκαν σε μετέπειτα μελέτες, τα αποτελέσματά τους ενσωματώθηκαν σε συστηματικά ανασκοπήσεις μιας θεματικής περιοχής και περιλάμβανε τεκμηρίωση των πηγών χρηματοδότησης και άλλες πιθανές συγκρούσεις συμφερόντων.
Τα αποτελέσματά τους ήταν ελάχιστα ανησυχητικά. Για παράδειγμα, μόνο μία μελέτη παρείχε πλήρη πειραματικά πρωτόκολλα και μηδενικές μελέτες παρείχαν άμεσα διαθέσιμα ακατέργαστα δεδομένα.
"Αυτοί είναι δύο βασικοί πυλώνες αναπαραγωγιμότητας", λέει ο Ιωαννίδης. "Αν δεν είναι διαθέσιμα τα δεδομένα και το πλήρες πρωτόκολλο, δεν μπορεί κανείς να αναπαραγάγει τίποτα." Σε τελική ανάλυση, χωρίς αυτές τις βασικές πληροφορίες, πώς μπορεί μια άλλη ομάδα να γνωρίζει ακριβώς τι πρέπει να κάνει και πώς τα αποτελέσματά τους διαφέρουν από αυτά του αρχικού πειράματος;
Η ομάδα διαπίστωσε επίσης ότι οι ισχυρισμοί μόνο οκτώ από τα ερωτηθέντα άρθρα επιβεβαιώθηκαν αργότερα από μετέπειτα μελέτες. Και παρόλο που πολλές από τις μελέτες υποστήριζαν ότι έχουν νέα ευρήματα, τα αποτελέσματα μόνο 16 άρθρων συμπεριλήφθηκαν σε μεταγενέστερα άρθρα ανασκόπησης, τα οποία χρησιμεύουν ως δοκιμασία για την πραγματική επίδραση μιας μελέτης σε ένα συγκεκριμένο θέμα.
"Οι αριθμοί που παίρνουμε είναι αρκετά τρομακτικοί", λέει ο Ιωαννίδης. "Αλλά μπορείτε να το δείτε ως σημείο αναφοράς για το πού είμαστε τώρα και υπάρχει αρκετό περιθώριο για βελτίωση".
Ωστόσο, δεν ήταν όλα τα αποτελέσματα αποθαρρυντικά. Το ποσοστό των άρθρων χωρίς δήλωση σύγκρουσης συμφερόντων μειώθηκε από 94, 4% το 2000 σε 34, 6% το 2014 - πιθανώς ως αποτέλεσμα της αυξανόμενης επίγνωσης των ολέθριων επιπτώσεων της μεροληψίας στα αποτελέσματα της έρευνας.
Σε μια δεύτερη μετα-ερευνητική μελέτη, μια γερμανική ομάδα ανέλυσε πώς η απώλεια ζώων κατά τη διάρκεια προκλινικών δοκιμών θα μπορούσε να συμβάλει στην ευρεία αδυναμία μετάφρασης των εργαστηριακών ευρημάτων σε χρήσιμα κλινικά φάρμακα.
Τα πειραματόζωα μπορεί να εξαφανιστούν από μια μελέτη τυχαία - για παράδειγμα, επειδή το ζώο πέθανε - ή με λεπτές προκατειλημμένες ενέργειες, όπως να αφαιρεθεί από τη δοκιμή για την εξάλειψη δεδομένων που υπονομεύουν τα αναμενόμενα αποτελέσματα. Η ομάδα απέδειξε ότι η μεροληπτική απομάκρυνση των ζώων μπορεί να προκαλέσει αποτελέσματα και να αυξήσει σημαντικά την πιθανότητα ενός ψευδώς θετικού - όταν ένα νέο φάρμακο θεωρείται ότι λειτουργεί αλλά στην πραγματικότητα δεν το κάνει.
Σε μια ξεχωριστή ανάλυση των προκλινικών μελετών για το εγκεφαλικό επεισόδιο και τον καρκίνο, οι ίδιοι ερευνητές διαπίστωσαν ότι οι περισσότερες μελέτες δεν ανέφεραν επαρκώς την απώλεια ζώων και ότι οι θετικές επιδράσεις πολλών φαρμάκων που εξετάζονται μπορεί να υπερεκτιμηθούν σε μεγάλο βαθμό.
Γιατί λοιπόν συμβαίνει αυτή η κρίση της διαφάνειας και της αναπαραγωγιμότητας;
Ενώ ορισμένα θέματα μπορεί να βρίσκονται σε συνειδητές ή ασυνείδητες μεροληπτικές έρευνες, είναι πιθανό ότι οι περισσότερες μελέτες που φτάνουν στη δημοσιότητα είναι μοναδικές λόγω της τρέχουσας δομής κινήτρων στην επιστήμη.
Στον παγκόσμιο ακαδημαϊκό κόσμο, ο πρωταρχικός δείκτης επιτυχίας είναι ο αριθμός των μελετών που ένας ερευνητής παίρνει σε αναγνωρισμένα περιοδικά. Ως αποτέλεσμα, οι επιστήμονες υπόκεινται στην πίεση να ξοδεύουν το μεγαλύτερο μέρος του χρόνου τους αποκτώντας τα ανακαλύπτοντα αποτελέσματα τα οποία είναι πιθανότερο να δημοσιευθούν.
"Ενώ εκτιμούμε την αναπαραγωγικότητα στην έννοια, δεν την εκτιμούμε στην πράξη", λέει ο Nosek, ο οποίος είναι επίσης συν-διευθυντής του Κέντρου για την Ανοιχτή Επιστήμη, μιας μη κερδοσκοπικής τεχνολογικής εκκίνησης που λειτουργεί για να προάγει τη διαφάνεια και την αναπαραγωγικότητα στην επιστημονική έρευνα.
"Τα πραγματικά κίνητρα που οδηγούν τη συμπεριφορά μου ως επιστήμονας είναι να καινοτομούν, να κάνουν νέες ανακαλύψεις και να σπάσουν νέο έδαφος - να μην επαναλάβω τι έχουν κάνει οι άλλοι. Αυτό είναι το βαρετό μέρος της επιστήμης. "
Οι επιστήμονες βλέπουν επίσης ελάχιστα κίνητρα για να παρέχουν τις πληροφορίες που είναι απαραίτητες για τους άλλους να αναπαράγουν το έργο τους, γεγονός που αποτελεί έναν από τους κύριους λόγους για τους οποίους οι ισχυρισμοί πολλών μελετών παραμένουν αβέβαιοι.
"Δεν είμαι επιβραβευμένος που καθιστούσε τα δεδομένα μου διαθέσιμα ή εξήγησε τη μεθοδολογία μου σε οποιοδήποτε βάθος περισσότερο από ό, τι απαιτείται για να μπει σε μια δημοσίευση", λέει ο Nosek.
Πολλά περιοδικά ζητούν από τους επιστήμονες να παρέχουν λεπτομερή εξήγηση των μεθόδων τους και να μοιράζονται τα δεδομένα, αλλά οι πολιτικές αυτές σπάνια εφαρμόζονται και δεν υπάρχουν καθολικά πρότυπα δημοσίευσης.
"Αν ήξερα ότι δεν θα υπήρχαν ποτέ αστυνομικοί στους δρόμους, θα έμενα πάντα στο όριο ταχύτητας; Όχι, είναι ανθρώπινη φύση », λέει ο Ivan Oransky, συνιδρυτής του Watch Retraction, ένας οργανισμός που προάγει την υπευθυνότητα και τη διαφάνεια εντοπίζοντας τις ανακλήσεις στην επιστημονική βιβλιογραφία. "Αν ξέρετε ότι κανείς δεν πρόκειται να σας επιβάλει κυρώσεις, τότε δεν πρόκειται να μοιραστείτε δεδομένα."
Οι επιστήμονες που επιθυμούν να διεξάγουν εργασίες αναδιπλασιασμού και είναι σε θέση να αποκτήσουν πειραματικές λεπτομέρειες, είναι απίθανο να βρουν χρηματοδότηση από δημόσιους οργανισμούς όπως το NIH, οι οποίοι κρίνουν πρωτίστως αιτήσεις επιχορηγήσεων βασισμένες στην καινοτομία και την καινοτομία.
"Οι πιθανότητες είναι σαφώς να μην αντιγραφούν", λέει ο Ιωαννίδης.
Εκείνο που μπορεί να φτάσει ο αναδυόμενος τομέας της μετα-έρευνας. Οργανισμοί όπως το Κέντρο για την Ανοιχτή Επιστήμη και το Κέντρο Καινοτομίας Μεταναστών στο Stanford (METRICS) εργάζονται για να βοηθήσουν στην επανευθυγράμμιση του συστήματος ανταμοιβής και να θέσουν αυστηρά καθολικά πρότυπα που θα ενθαρρύνουν την ευρύτερη διάδοση πρακτικές διαφάνειας και αναπαραγωγιμότητας.
"Εάν τα επίπεδα χρηματοδότησης ή η προώθηση εξαρτάται από το τι συνέβη με την προηγούμενη έρευνα σας - αν ήταν αντιγράψιμο, αν οι άνθρωποι μπορούσαν να την κατανοήσουν, αν οι άνθρωποι μπορούσαν να μεταφράσουν το σε κάτι χρήσιμο και όχι μόνο σε πόσες δημοσιεύσεις - αυτό θα ήταν ένα πολύ ισχυρό κίνητρο για την αλλαγή της έρευνας ώστε να γίνει πιο αναπαραγώγιμη ", λέει ο Ιωαννίδης, ο οποίος είναι συν-διευθυντής της METRICS.
«Είμαι αισιόδοξος ότι αυτοί οι δείκτες θα βελτιωθούν», προσθέτει. "Και για μερικούς από αυτούς, δεν υπάρχει άλλη δυνατότητα παρά να ανεβαίνουμε, γιατί αρχίζουμε από το μηδέν."
