Οι ψυχολογικές μελέτες βρέθηκαν ψευδείς σε περισσότερο από το 50% των περιπτώσεων

2024 Συγγραφέας: Seth Attwood | [email protected]. Τελευταία τροποποίηση: 2023-12-16 16:02

Υπάρχουν «δυνατές στάσεις» που χτίζουν αυτοπεποίθηση και μειώνουν τις ορμόνες του στρες. Όταν οι άνθρωποι κρατούν ένα φλιτζάνι ζεστό ρόφημα στα χέρια τους, γίνονται πιο φιλικοί με τους γύρω τους. Η δύναμη της θέλησης είναι ένας πόρος που ξοδεύουμε όταν αντιστεκόμαστε στον πειρασμό. Η ικανότητα αναβολής της ανταμοιβής καθορίζει τη μελλοντική επιτυχία του παιδιού.

Αυτές οι δηλώσεις μοιάζουν πολύ μεταξύ τους: πίσω από αυτές βρίσκονται γνωστές ψυχολογικές έρευνες, δημοφιλείς επιστημονικές μπεστ σέλερ, στήλες σε δημοφιλή περιοδικά και ομιλίες TED.

Έχουν επίσης ένα ακόμη κοινό: αποδείχτηκαν όλοι λάθος.

Η κρίση της αναπαραγωγιμότητας έχει θέσει υπό αμφισβήτηση ολόκληρους τομείς της επιστήμης. Πολλά από τα αποτελέσματα, τα οποία αναφέρθηκαν ευρέως στα μέσα ενημέρωσης, θεωρούνται πλέον υπερβολικά ή ψευδή. Όταν οι επιστήμονες προσπάθησαν να επαναλάβουν τόσο κλασικά όσο και πρόσφατα ψυχολογικά πειράματα, τα αποτελέσματα ήταν εκπληκτικά συνεπή, με περίπου τις μισές περιπτώσεις να είναι επιτυχείς και οι άλλες μισές να αποτυγχάνουν.

Η κρίση έγινε τελικά εμφανής το 2015, όταν επιστήμονες με επικεφαλής τον Brian Nosek έλεγξαν 100 ψυχολογικές μελέτες. Κατάφεραν να επιτύχουν αρχικά αποτελέσματα μόνο σε 36 περιπτώσεις. Ο αρχισυντάκτης του Lancet, Richard Horton, δήλωσε σύντομα:

«Οι κατηγορίες κατά της επιστήμης είναι αρκετά ξεκάθαρες: τουλάχιστον η μισή επιστημονική βιβλιογραφία είναι απλά λάθος. Υποφέροντας από μελέτες με μικρό μέγεθος δείγματος, λιγοστό αποτέλεσμα και λανθασμένες αναλύσεις, καθώς και από εμμονή με αμφίβολης σημασίας τάσεις της μόδας, η επιστήμη έχει πάρει μια στροφή προς την άγνοια.

Η αναπαραγωγιμότητα είναι μία από τις βασικές απαιτήσεις για την επιστημονική γνώση. Όσο καλύτερα αναπαράγεται το αποτέλεσμα, τόσο πιο αξιόπιστο είναι - αυτός είναι ο μόνος τρόπος για να διαχωρίσετε τα πραγματικά μοτίβα από τις απλές συμπτώσεις

Αλλά αποδείχθηκε ότι αυτή η απαίτηση δεν πληρούται πάντα.

Η κρίση ξεκίνησε με την ιατρική, αλλά περισσότερο επηρέασε την ψυχολογία. Το καλοκαίρι του 2018, οι επιστήμονες προσπάθησαν να αναπαράγουν μια επιλογή ψυχολογικών μελετών που δημοσιεύτηκαν στα Science and Nature, τα πιο διάσημα επιστημονικά περιοδικά του κόσμου. Από 21 πειράματα, μόνο 13 επιβεβαιώθηκαν - και ακόμη και σε αυτές τις περιπτώσεις, τα αρχικά αποτελέσματα ήταν υπερβολικά κατά περίπου 50%.

Συχνά, το τεστ αναπαραγωγιμότητας αποτυγχάνει από εκείνες τις μελέτες που επαναλήφθηκαν ευρέως στα μέσα ενημέρωσης και κατάφεραν να επηρεάσουν τη συνείδηση του κοινού. Για παράδειγμα, τα έργα που οι μηχανές αναζήτησης βλάπτουν τη μνήμη και η ανάγνωση μυθοπλασίας αναπτύσσει την ικανότητα ενσυναίσθησης. Εάν τα επαναλαμβανόμενα πειράματα αποτύχουν, αυτό δεν σημαίνει ότι οι αρχικές υποθέσεις είναι άχρηστες. Αλλά τώρα χρειάζεται καλύτερη έρευνα για να τα αποδείξει.

Πώς να προβλέψετε το μέλλον με στατιστικά

Το 2011, ο διάσημος Αμερικανός ψυχολόγος Daryl Boehm δημοσίευσε ένα άρθρο που απέδειξε την πιθανότητα της διόρασης. Το συμπέρασμα αυτό δεν ήταν προϊόν της βίαιης φαντασίας του, αλλά βασίστηκε σε έρευνες δεκαετιών, στις οποίες συμμετείχαν εκατοντάδες άνθρωποι. Πολλοί υποψιάστηκαν ότι ο Boehm αποφάσισε να κανονίσει κάτι σαν την απάτη του Sokal και να αποκαλύψει την ψυχολογία με ένα ψεύτικο άρθρο με εσκεμμένα παράλογα συμπεράσματα. Αλλά με όλα τα μεθοδολογικά πρότυπα, το άρθρο ήταν πολύ πειστικό.

Σε ένα από τα πειράματα του Behm, δύο οθόνες τοποθετήθηκαν μπροστά από τους συμμετέχοντες - έπρεπε να μαντέψουν ποια εικόνα κρυβόταν πίσω. Η εικόνα δημιουργήθηκε τυχαία αμέσως μετά την επιλογή. Εάν οι συμμετέχοντες έκαναν καλή δουλειά, θα έδειχνε ότι μπορούν με κάποιο τρόπο να προβλέψουν το μέλλον. Το πείραμα χρησιμοποίησε δύο τύπους εικόνων: ουδέτερες και πορνογραφικές.

Ο Boehm πρότεινε ότι εάν η έκτη αίσθηση υπάρχει, πιθανότατα έχει αρχαία εξελικτική προέλευση. Αν ναι, τότε είναι πιο πιθανό να είναι προσαρμοσμένο στις αρχαιότερες ανάγκες και ορμές μας

Οι συμμετέχοντες μάντευαν πορνογραφικές εικόνες το 53% των περιπτώσεων - ελαφρώς πιο συχνά από ό,τι θα έπρεπε αν ήταν καθαρά τυχαίο. Δεδομένου του μεγάλου αριθμού πειραμάτων, ο Boehm θα μπορούσε να ισχυριστεί ότι υπάρχει πρόβλεψη.

Αργότερα, οι ειδικοί ανακάλυψαν ότι κατά την ανάλυση των αποτελεσμάτων, χρησιμοποίησε όχι εντελώς σωστές μεθόδους. Κατά κανόνα, ένα ερευνητικό αποτέλεσμα θεωρείται αξιόπιστο εάν η πιθανότητα να προκύψει κατά λάθος δεν υπερβαίνει το 5%. Υπάρχουν όμως πολλοί τρόποι για να μειωθεί αυτή η τιμή στο απαιτούμενο επίπεδο: αλλαγή των αρχικών παραμέτρων της ανάλυσης, προσθήκη ή αφαίρεση του απαιτούμενου αριθμού παραδειγμάτων από το δείγμα, χρήση πιο επιτυχημένων υποθέσεων μετά τη συλλογή των δεδομένων.

Το πρόβλημα είναι ότι όχι μόνο ο Boehm, αλλά και πολλοί άλλοι επιστήμονες χρησιμοποίησαν τις ίδιες τεχνικές. Σύμφωνα με έρευνα του 2011, σχεδόν οι μισοί ψυχολόγοι το παραδέχτηκαν

Όταν κυκλοφόρησε το οξυδερκές άρθρο, οι κοινωνικοί επιστήμονες Joseph Simmons, Leaf Nelson και Uri Simonson συνειδητοποίησαν ότι η επιστήμη οδεύει προς τη δική της καταστροφή. Κατασκεύασαν πολλά μοντέλα υπολογιστών και διαπίστωσαν ότι χρησιμοποιώντας αρκετά τυπικές στατιστικές τεχνικές, μπορείτε να αυξήσετε το επίπεδο των ψευδώς θετικών αποτελεσμάτων αρκετές φορές. Αυτό σημαίνει ότι μέθοδοι που είναι τυπικά επιστημονικές μπορούν εύκολα να οδηγήσουν σε εντελώς παράλογα συμπεράσματα.

Για να το καταδείξουν αυτό, οι επιστήμονες πραγματοποίησαν ένα πείραμα που επιβεβαίωσε ότι η ακρόαση του τραγουδιού «When I'm Sixty-four» κάνει τον ακροατή ενάμιση χρόνο νεότερος.

«Όλοι ήξεραν ότι ήταν λάθος να χρησιμοποιούμε τέτοιες τεχνικές, αλλά θεώρησαν ότι αυτό ήταν μια παραβίαση στη σημασία της - όπως το να διασχίσεις το δρόμο σε λάθος μέρος. Αποδείχθηκε ότι έμοιαζε περισσότερο με ληστεία τράπεζας», κατέληξε ο Simmons.

Πώς να ξεχωρίσετε την κακή έρευνα από την καλή

Σύντομα έγινε σαφές ότι τα ζητήματα αναπαραγωγιμότητας δεν περιορίζονταν στην ψυχολογία. Στην έρευνα για τον καρκίνο, τα επιστημονικά στοιχεία υποστηρίζονται στο 10-25% των περιπτώσεων. Στα οικονομικά, 7 από τα 18 εργαστηριακά πειράματα δεν μπόρεσαν να αναπαραχθούν. Η έρευνα τεχνητής νοημοσύνης δείχνει επίσης σημάδια κρίσης.

Αλλά η απώλεια της πίστης στην επιστήμη, φαίνεται, εξακολουθεί να μην αξίζει τον κόπο. Οι επιστήμονες έχουν ήδη βρει διάφορους τρόπους που έχουν βελτιώσει σημαντικά την αξιοπιστία και την ποιότητα της νέας έρευνας

Πριν από αρκετά χρόνια, σχεδόν κανείς δεν δημοσίευσε τα αποτελέσματα επαναλαμβανόμενων πειραμάτων, ακόμα κι αν είχαν πραγματοποιηθεί. Αυτό δεν έγινε αποδεκτό, δεν έφερε επιχορηγήσεις και δεν συνέβαλε σε μια επιτυχημένη επιστημονική καριέρα. Σύμφωνα με μια έρευνα του Nature, περισσότερο από το 70% των ψυχολόγων προσπάθησαν και απέτυχαν να αναπαράγουν την έρευνα άλλων ανθρώπων, περίπου οι μισοί δεν κατάφεραν να επαναλάβουν τη δική τους και σχεδόν κανείς δεν επιδίωξε να δημοσιοποιήσει αυτά τα αποτελέσματα.

Όταν εμφανίστηκε η κρίση της αναπαραγωγιμότητας, πολλά έχουν αλλάξει. Η επαναλαμβανόμενη έρευνα έγινε σταδιακά κοινός τόπος. πειραματικά δεδομένα άρχισαν να δημοσιεύονται όλο και πιο συχνά στο δημόσιο τομέα. Τα περιοδικά άρχισαν να δημοσιεύουν αρνητικά αποτελέσματα και να καταγράφουν το συνολικό σχέδιο της έρευνας ακόμη και πριν ξεκινήσουν.

Η έρευνα έχει γίνει πιο εκτεταμένη - ένα δείγμα 30–40 ατόμων, που ήταν αρκετά τυπικό στην ψυχολογία, ταιριάζει πλέον σε πολύ λίγους ανθρώπους. Μεγάλοι διεθνείς οργανισμοί - όπως το Psychological Science Accelerator - δοκιμάζουν τις ίδιες υποθέσεις σε πολλά εργαστήρια σε όλο τον κόσμο.

Πριν ελέγξουν τα άρθρα από το Nature and Science, για τα οποία γράψαμε στην αρχή, ζητήθηκε από τους επιστήμονες να στοιχηματίσουν στους κληρώσεις. Έπρεπε να προβλέψουν ποια έρευνα θα περνούσε το τεστ και ποια θα αποτύγχανε. Συνολικά, οι τιμές ήταν πολύ ακριβείς. «Αυτό σημαίνει, πρώτον, ότι η επιστημονική κοινότητα μπορεί να προβλέψει ποιες εργασίες θα μπορούν να επαναληφθούν και, δεύτερον, ότι η αδυναμία αναπαραγωγής της μελέτης δεν ήταν απλή σύμπτωση», λένε οι διοργανωτές του πειράματος.

Οι επιστήμονες είναι γενικά καλοί στη διάκριση της αξιόπιστης από την αναξιόπιστη έρευνα - αυτά είναι καλά νέα. Τώρα ειδικοί από το Κέντρο Ανοιχτής Επιστήμης, μαζί με την υπηρεσία DARPA, προσπαθούν να δημιουργήσουν έναν αλγόριθμο που θα εκτελεί την ίδια εργασία χωρίς ανθρώπινη παρέμβαση.

Υπάρχουν πάρα πολλά άρθρα που δημοσιεύονται κάθε χρόνο για να ελεγχθεί ξανά με μη αυτόματο τρόπο, ακόμη και ένα μικρό κλάσμα από αυτά. Εάν η τεχνητή νοημοσύνη αρχίσει να λειτουργεί, όλα θα είναι πολύ πιο εύκολα.

Ήδη στις πρώτες δοκιμές, το AI αντιμετώπισε με επιτυχία προβλέψεις στο 80% των περιπτώσεων.

Τι κάνει την έρευνα πιο συχνά αναξιόπιστη; Μικρά δείγματα, ασυνέπειες στους αριθμούς, πολύ όμορφη επιβεβαίωση υποθέσεων. Και επίσης - η επιθυμία για αισθήσεις και πολύ απλές απαντήσεις σε δύσκολες ερωτήσεις.

Πάρα πολύ καλό για να είναι αληθινό

Ο ευκολότερος τρόπος για να δημιουργήσετε εντυπωσιακή έρευνα είναι μέσω της εξαπάτησης. Ο διάσημος κοινωνικός ψυχολόγος Diederik Stapel χρησιμοποίησε κατασκευασμένα δεδομένα σε αρκετές δεκάδες επιστημονικά άρθρα. Η έρευνα του Στάπελ εξαπλώθηκε στις εφημερίδες και τα περιοδικά με μεγάλη ταχύτητα, έλαβε πολλά έγκριτα επιστημονικά βραβεία, δημοσιεύτηκε στο Science και θεωρούνταν ένας από τους μεγαλύτερους ειδικούς στον τομέα του.

Μόλις αποδείχθηκε ότι για μεγάλο χρονικό διάστημα ο Stapel δεν έκανε καθόλου έρευνα, αλλά απλώς επινόησε δεδομένα και τα έδωσε στους μαθητές για ανάλυση.

Αυτό είναι πολύ σπάνιο στην επιστήμη. Πολύ πιο συχνά οι δυνατές, αλλά εσφαλμένες δηλώσεις προκύπτουν για άλλους λόγους. Οι άνθρωποι αναζητούν απεγνωσμένα απλές, κατανοητές και αποτελεσματικές απαντήσεις σε συναρπαστικές ερωτήσεις. Μπορεί να είναι πολύ εύκολο να μπείτε στον πειρασμό να σκεφτείτε ότι έχετε αυτές τις απαντήσεις, ακόμα κι αν πραγματικά δεν τις έχετε. Η επιδίωξη της απλότητας και της βεβαιότητας είναι ένας από τους κύριους λόγους για τους οποίους πολλές μελέτες αποτυγχάνουν να ελέγξουν την αναπαραγωγιμότητα. Ακολουθούν μερικά αξιοσημείωτα παραδείγματα.

Πείραμα Marshmallow

Σε ένα πείραμα, ζητήθηκε από τα παιδιά να επιλέξουν μεταξύ μιας μικρής ανταμοιβής - όπως marshmallows - που θα μπορούσε να ληφθεί αμέσως, και μιας διπλής ανταμοιβής αν μπορούσαν να περιμένουν λίγο. Αργότερα αποδείχθηκε ότι τα παιδιά που έλαβαν το δεύτερο βραβείο έγιναν πιο επιτυχημένα στην ενήλικη ζωή. Η μελέτη έγινε πολύ δημοφιλής και επηρέασε ορισμένα σχολικά προγράμματα σπουδών.

Το 2018, το πείραμα επαναλήφθηκε σε ένα ευρύτερο δείγμα. Αποδείχθηκε ότι ο πλούτος στην οικογένεια είναι ένας πολύ πιο σημαντικός παράγοντας, από τον οποίο εξαρτάται και το επίπεδο αυτοελέγχου.

"Πόσεις Δύναμης" και "Πόσεις Αδυναμίας"

Οι συμμετέχοντες στο πείραμα πήραν μία από τις δύο στάσεις για δύο λεπτά: έγειραν πίσω σε μια καρέκλα και πέταξαν τα πόδια τους στο τραπέζι («πόζα δύναμης») ή σταύρωσαν τα χέρια τους στο στήθος τους («πόζα αδυναμίας»). Ως αποτέλεσμα, οι συμμετέχοντες από την πρώτη ομάδα ένιωσαν μεγαλύτερη αυτοπεποίθηση και πιο συχνά συμφώνησαν να ρισκάρουν στον τζόγο. Όσοι κάθονταν σε δυνατή θέση αύξησαν τα επίπεδα τεστοστερόνης τους και όσοι κάθονταν σε αδύναμη θέση αύξησαν την κορτιζόλη. Σε επαναλαμβανόμενα πειράματα, αναπαράχθηκε μόνο ένα αποτέλεσμα: οι «στάσεις δύναμης» βοήθησαν τους συμμετέχοντες να αισθάνονται μεγαλύτερη αυτοπεποίθηση, αλλά δεν άλλαξαν τη συμπεριφορά ή τις ορμονικές τους παραμέτρους.

Οι συνειρμοί με τα γηρατειά σε κάνουν να κινείσαι πιο αργά

Ζητήθηκε από τους συμμετέχοντες στο πείραμα να λύσουν αρκετούς γρίφους. Αν έμπαιναν σε αυτά λέξεις που συνδέονται με τα γηρατειά - «ξεχασιάρης», «ηλικιωμένος», «μοναχικός» - τότε οι συμμετέχοντες έφευγαν από την αίθουσα με πιο αργό ρυθμό.

Σε πρόσφατες δοκιμές, το πείραμα αναπαράχθηκε με επιτυχία μόνο σε μία περίπτωση: αν οι ίδιοι οι πειραματιστές γνώριζαν ότι στις δοκιμές οι συμμετέχοντες υπαινίχθηκαν τα γηρατειά. Το ίδιο το αποτέλεσμα παρέμεινε, αλλά οι λόγοι ήταν ήδη διαφορετικοί.

Τα ζεστά αντικείμενα κάνουν τους ανθρώπους πιο φιλικούς

Οι συμμετέχοντες στο πείραμα αφέθηκαν να κρατήσουν ένα φλιτζάνι ζεστό ή κρύο καφέ για μικρό χρονικό διάστημα και στη συνέχεια ζητήθηκε να βαθμολογήσουν την προσωπικότητα του ατόμου χρησιμοποιώντας μια σύντομη περιγραφή. Οι συμμετέχοντες που κρατούσαν ένα ζεστό φλιτζάνι καφέ βαθμολόγησαν το άτομο ως πιο συμπαθητικό. Σε ένα άλλο πείραμα, οι συμμετέχοντες έλαβαν ένα αντικείμενο σε ζεστή ή κρύα συσκευασία και στη συνέχεια ζητήθηκε να το κρατήσουν ή να το δώσουν σε έναν φίλο. Εάν το αντικείμενο ήταν τυλιγμένο σε ζεστή συσκευασία, οι συμμετέχοντες ήταν πιο πιθανό να επιλέξουν τη δεύτερη επιλογή. Επαναλαμβανόμενα πειράματα με ευρύτερο δείγμα δεν έδωσαν τέτοια αποτελέσματα. Φαίνεται ότι τα ζεστά ρούχα δεν θα σε κάνουν αλτρουιστή.

Η δύναμη της θέλησης εξαντλείται όταν αντιστεκόμαστε στους πειρασμούς

Μπροστά από τους συμμετέχοντες στο πείραμα τοποθετήθηκαν δύο πιάτα - με μπισκότα και ραπανάκια. Στην πρώτη ομάδα, οι συμμετέχοντες είχαν τη δυνατότητα να φάνε μπισκότα και στη δεύτερη μόνο ραπανάκια. Στη συνέχεια ζητήθηκε από κάθε συμμετέχοντα να λύσει ένα αδύνατο παζλ. Οι συμμετέχοντες που έτρωγαν μόνο ραπανάκια στο πρώτο μέρος του πειράματος τα παράτησαν πολύ νωρίτερα από άλλους. Σε επαναλαμβανόμενα πειράματα, τα αποτελέσματα δεν επιβεβαιώθηκαν.

Σε ορισμένες περιπτώσεις, η ικανότητα αυτοελέγχου δεν εξαντλήθηκε, αλλά εντάθηκε με την πάροδο του χρόνου. Πολλοί ψυχολόγοι θεωρούν πλέον την έννοια της «δύναμης της θέλησης» πολύ απλοϊκή.

Πολλά έχουν ήδη γίνει στην παγκόσμια ψυχολογία για να γίνει η έρευνα πιο αξιόπιστη και αναπαραγώγιμη. Στη Ρωσία, αυτό το πρόβλημα δεν έχει ακόμη κατανοηθεί.

«Στη ρωσική ψυχολογία, τα προβλήματα της κρίσης αφορούν κυρίως την επιστημονική νεολαία, η οποία είναι σε μεγάλο βαθμό προσανατολισμένη στη δυτική επιστήμη», είπε στο Knife ο Ivan Ivanchey, αναπληρωτής καθηγητής στο RANEPA. - Ο έλεγχος της ποιότητας των δημοσιεύσεων στα ρωσικά δεν είναι γενικά πολύ υψηλός. Τα περιοδικά σπάνια απορρίπτουν άρθρα, επομένως δημοσιεύονται πολλές έρευνες χαμηλής ποιότητας. Συχνά χρησιμοποιούνται μικρά δείγματα, γεγονός που μειώνει επίσης την πιθανότητα επιτυχούς αναπαραγωγής. Υπάρχει η υποψία ότι, αν κάποιος ασχοληθεί σοβαρά με το θέμα της αναπαραγωγιμότητας των ρωσόφωνων έργων, μπορεί να ανακαλυφθούν πολλά προβλήματα. Κανείς όμως δεν εμπλέκεται άμεσα σε αυτό».

Τον Ιανουάριο του 2019, έγινε γνωστό ότι η ρωσική κυβέρνηση πρόκειται να επεκτείνει σημαντικά τις απαιτήσεις για τους επιστήμονες όσον αφορά τον αριθμό των δημοσιεύσεων: ο ελάχιστος αριθμός άρθρων που δημοσιεύονται ανά έτος θα πρέπει να αυξηθεί κατά 30-50%.

Επιστήμονες από την επιρροή ακαδημαϊκή «Λέσχη 1 Ιουλίου» επέκριναν την πρωτοβουλία: «Το καθήκον της επιστήμης δεν είναι να παράγει τον μέγιστο αριθμό δημοσιεύσεων, αλλά να εξερευνήσει το σύμπαν και να επωφεληθεί από τη γνώση που αποκτήθηκε για την ανθρωπότητα». Πιθανότατα, οι νέες απαιτήσεις απλώς θα αυξήσουν την κλίμακα του προβλήματος.

Η ιστορία για την κρίση της αναπαραγωγιμότητας δεν είναι μια ιστορία για την επερχόμενη αποκάλυψη και την εισβολή των βαρβάρων. Αν δεν είχε συμβεί η κρίση, όλα θα ήταν πολύ χειρότερα: θα εξακολουθούσαμε να αναφερόμαστε σε λανθασμένες έρευνες με πλήρη εμπιστοσύνη ότι γνωρίζουμε την αλήθεια. Ίσως η εποχή των τολμηρών τίτλων όπως «οι Βρετανοί επιστήμονες έχουν αποδείξει» πλησιάζει στο τέλος της. Αλλά οι φήμες ότι η επιστήμη είναι νεκρή πρέπει να θεωρούνται κάπως υπερβολικές.