Περίπου το 50% των επιστημονικών πειραμάτων αποδείχθηκε ότι ήταν ΜΗ αναπαραγώγιμα

2024 Συγγραφέας: Seth Attwood | [email protected]. Τελευταία τροποποίηση: 2023-12-16 16:02

Κατά τύχη, σε μια ροή ειδήσεων και πληροφοριών, έπεσα πάνω σε ένα άρθρο στο Nature Scientific Reports. Παρουσιάζει στοιχεία από έρευνα 1.500 επιστημόνων σχετικά με την αναπαραγωγιμότητα των αποτελεσμάτων της επιστημονικής έρευνας. Αν νωρίτερα αυτό το πρόβλημα είχε τεθεί για βιολογική και ιατρική έρευνα, όπου αφενός είναι εξηγήσιμο (ψευδείς συσχετίσεις, η γενική πολυπλοκότητα των υπό μελέτη συστημάτων, ενίοτε κατηγορείται και επιστημονικό λογισμικό), αφετέρου έχει φαινομενολογικό χαρακτήρα (για παράδειγμα, τα ποντίκια τείνουν να συμπεριφέρονται διαφορετικά με επιστήμονες διαφορετικών φύλων (1 και 2)).

Ωστόσο, δεν είναι όλα ομαλά και με περισσότερο φυσικές επιστήμες όπως η φυσική και η μηχανική, η χημεία, η οικολογία. Φαίνεται ότι αυτοί οι ίδιοι κλάδοι βασίζονται σε «απολύτως» αναπαραγώγιμα πειράματα που πραγματοποιήθηκαν υπό τις πιο ελεγχόμενες συνθήκες, δυστυχώς, ένα εκπληκτικό -με όλη τη σημασία της λέξης- αποτέλεσμα της έρευνας: έως 70% αντιμετώπισαν ερευνητές Μη αναπαραγώγιμη πειράματα και αποτελέσματα που λαμβάνονται όχι μόνο από άλλες ομάδες επιστημόνων, ΑΛΛΑ και από τους συγγραφείς / συν-συγγραφείς δημοσιευμένων επιστημονικών εργασιών!

Κάθε αμμουδιά υμνεί τον βάλτο του;

Αν και το 52% των ερωτηθέντων επισημαίνει μια κρίση αναπαραγωγιμότητας στην επιστήμη, λιγότερο από το 31% θεωρεί ότι τα δημοσιευμένα δεδομένα είναι θεμελιωδώς λανθασμένα και η πλειοψηφία δήλωσε ότι εξακολουθεί να εμπιστεύεται τη δημοσιευμένη εργασία.

Φυσικά, δεν θα πρέπει να ξεγελαστείτε και να λιντσάρετε όλη την επιστήμη ως τέτοια μόνο με βάση αυτήν την έρευνα: οι μισοί από τους ερωτηθέντες εξακολουθούσαν να είναι επιστήμονες που συνδέονται, με τον έναν ή τον άλλον τρόπο, με βιολογικούς κλάδους. Όπως σημειώνουν οι συγγραφείς, στη φυσική και τη χημεία, το επίπεδο αναπαραγωγιμότητας και εμπιστοσύνης στα αποτελέσματα που λαμβάνονται είναι πολύ υψηλότερο (βλ. παρακάτω γράφημα), αλλά και πάλι όχι 100%. Στην ιατρική όμως τα πράγματα είναι πολύ άσχημα σε σχέση με τα υπόλοιπα.

Ένα αστείο μου έρχεται στο μυαλό:

Ο Μάρκους Μουνάφο, βιολογικός ψυχολόγος στο Πανεπιστήμιο του Μπρίστολ της Αγγλίας, έχει μακροχρόνιο ενδιαφέρον για την αναπαραγωγιμότητα των επιστημονικών δεδομένων. Αναπολώντας τις φοιτητικές του μέρες, λέει:

Μια φορά προσπάθησα να αναπαράγω ένα πείραμα από τη λογοτεχνία που μου φαινόταν απλό, αλλά δεν τα κατάφερα. Είχα μια κρίση αυτοπεποίθησης, αλλά μετά κατάλαβα ότι η εμπειρία μου δεν ήταν και τόσο σπάνια.

Πρόβλημα βάθους γεωγραφικού πλάτους και μήκους

Φανταστείτε ότι είστε επιστήμονας. Συναντάτε ένα ενδιαφέρον άρθρο, αλλά τα αποτελέσματα / πειράματα δεν μπορούν να αναπαραχθούν στο εργαστήριο. Είναι λογικό να γράψετε για αυτό στους συντάκτες του αρχικού άρθρου, να ζητήσετε συμβουλές και να κάνετε διευκρινιστικές ερωτήσεις. Σύμφωνα με την έρευνα, λιγότερο από 20% το έχουν κάνει ποτέ στην επιστημονική τους καριέρα!

Οι συντάκτες της μελέτης σημειώνουν ότι, ίσως, τέτοιες επαφές και συνομιλίες είναι πολύ δύσκολες για τους ίδιους τους επιστήμονες, επειδή αποκαλύπτουν την ανικανότητα και την ασυνέπειά τους σε ορισμένα θέματα ή αποκαλύπτουν πάρα πολλές λεπτομέρειες του τρέχοντος έργου.

Επιπλέον, μια απόλυτη μειοψηφία επιστημόνων προσπάθησε να δημοσιεύσει μια διάψευση μη αναπαραγώγιμων αποτελεσμάτων, ενώ αντιμετώπισε την αντίθεση από εκδότες και κριτές που απαίτησε υποβαθμίζουν τη σύγκριση με την αρχική έρευνα. Είναι περίεργο ότι η πιθανότητα να αναφερθεί η μη αναπαραγωγιμότητα των επιστημονικών αποτελεσμάτων είναι περίπου 50%.

Ίσως, λοιπόν, αξίζει τον κόπο να γίνει τουλάχιστον μια δοκιμή αναπαραγωγιμότητας εντός του εργαστηρίου; Το πιο λυπηρό είναι ότι το ένα τρίτο των ερωτηθέντων ακόμη ΠΟΤΕ και δεν σκέφτηκε τη δημιουργία μεθόδων επαλήθευσης δεδομένων για αναπαραγωγιμότητα. Μόνο 40% ανέφεραν ότι χρησιμοποιούν τακτικά τέτοιες τεχνικές.

Ένα άλλο παράδειγμα, μια βιοχημικός από το Ηνωμένο Βασίλειο, που δεν ήθελε να αποκαλύψει το όνομά της, λέει ότι οι προσπάθειες επανάληψης, αναπαραγωγής της εργασίας για το εργαστηριακό της έργο απλώς διπλασιάζει το κόστος χρόνου και υλικού, χωρίς να δώσει ή να προσθέσει τίποτα νέο στην εργασία. Πρόσθετοι έλεγχοι πραγματοποιούνται μόνο για καινοτόμα έργα και ασυνήθιστα αποτελέσματα.

Και, φυσικά, τα αιώνια ρωσικά ερωτήματα που άρχισαν να βασανίζουν ξένους συναδέλφους: ποιος φταίει και τι να κάνει;

Ποιος φταίει;

Οι συγγραφείς της εργασίας εντόπισαν τρία κύρια προβλήματα αναπαραγωγιμότητας των αποτελεσμάτων:

• Πίεση από τους ανωτέρους για να δημοσιευτεί έγκαιρα η εργασία
• Επιλεκτική αναφορά (προφανώς σημαίνει την απόκρυψη κάποιων δεδομένων, που «χαλάζουν» την όλη εικόνα)
• Ανεπαρκής ανάλυση δεδομένων (συμπεριλαμβανομένης της στατιστικής)

Τι να κάνω?

Από τους 1.500 ερωτηθέντες, περισσότεροι από 1.000 ειδικοί τάχθηκαν υπέρ της βελτίωσης των στατιστικών στη συλλογή και επεξεργασία δεδομένων, τη βελτίωση της ποιότητας της επίβλεψης από τα αφεντικά και τον πιο αυστηρό σχεδιασμό των πειραμάτων.

Συμπέρασμα και κάποια προσωπική εμπειρία

Πρώτα, ακόμα και για μένα, ως επιστήμονα, τα αποτελέσματα είναι εκπληκτικά, αν και έχω συνηθίσει σε έναν βαθμό μη αναπαραγωγιμότητας των αποτελεσμάτων. Αυτό είναι ιδιαίτερα εμφανές στις εργασίες που εκτελούνται από Κινέζους και Ινδούς χωρίς «έλεγχο» τρίτων με τη μορφή Αμερικανών / Ευρωπαίων καθηγητών. Είναι καλό που αναγνωρίστηκε το πρόβλημα και σκεφτόταν η λύση(ες). Θα σιωπήσω με διακριτικότητα για τη ρωσική επιστήμη, σε σχέση με το πρόσφατο σκάνδαλο, αν και πολλοί κάνουν ειλικρινά τη δουλειά τους.

κατα δευτερον, το άρθρο αγνοεί (ή μάλλον δεν εξετάζει) τον ρόλο των επιστημονικών μετρήσεων και των επιστημονικών περιοδικών με κριτές στην εμφάνιση και ανάπτυξη του προβλήματος της μη αναπαραγωγιμότητας των ερευνητικών αποτελεσμάτων. Επιδιώκοντας την ταχύτητα και τη συχνότητα των δημοσιεύσεων (ανάγνωση, αύξηση των δεικτών παραπομπών), η ποιότητα πέφτει απότομα και δεν υπάρχει χρόνος για πρόσθετη επαλήθευση των αποτελεσμάτων.

Όπως λένε, όλοι οι χαρακτήρες είναι φανταστικοί, αλλά βασισμένοι σε πραγματικά γεγονότα. Κάπως έτσι ένας μαθητής είχε την ευκαιρία να αναθεωρήσει ένα άρθρο, γιατί δεν έχει κάθε καθηγητής το χρόνο και την ενέργεια να διαβάσει προσεκτικά τα άρθρα, οπότε συλλέγεται η γνώμη 2-3-4 φοιτητών και γιατρών, από την οποία διαμορφώνεται η κριτική. Γράφτηκε μια ανασκόπηση, έδειξε την μη αναπαραγωγιμότητα των αποτελεσμάτων σύμφωνα με τη μέθοδο που περιγράφεται στο άρθρο. Αυτό φάνηκε ξεκάθαρα στον καθηγητή. Αλλά για να μην χαλάσουν οι σχέσεις με «συναδέλφους» -άλλωστε τα καταφέρνουν σε όλα- η κριτική «διορθώθηκε». Και κυκλοφορούν 2 ή 3 τέτοια άρθρα.

Αποδεικνύεται ένας φαύλος κύκλος. Ο επιστήμονας στέλνει το άρθρο στον εκδότη του περιοδικού, όπου υποδεικνύει « επιθυμητή «Και κυρίως» ανεπιθύμητος »Οι κριτικοί, δηλαδή, στην πραγματικότητα, αφήνουν μόνο εκείνους που είναι θετικά διατεθειμένοι προς την ομάδα των συγγραφέων. Εξετάζουν το έργο, αλλά δεν μπορούν να «σκάσουν στα σχόλια» και να προσπαθήσουν να επιλέξουν το μικρότερο από τα δύο κακά - εδώ είναι μια λίστα ερωτήσεων που πρέπει να απαντηθούν και στη συνέχεια θα δημοσιεύσουμε το άρθρο.

Ένα άλλο παράδειγμα, για το οποίο μίλησε ο εκδότης του Nature μόλις πριν από ένα μήνα, είναι τα ηλιακά πάνελ της Grazel. Λόγω του τεράστιου ενδιαφέροντος για αυτό το θέμα στην επιστημονική κοινότητα (εξάλλου, θέλουν ακόμα ένα άρθρο στο Nature!), οι συντάκτες έπρεπε να δημιουργήσουν ένα ειδικό ερωτηματολόγιο στο οποίο έπρεπε να υποδείξουν πολλές παραμέτρους, να δώσουν βαθμονομήσεις εξοπλισμού, πιστοποιητικά, κ.λπ. για να επιβεβαιώσετε ότι η μέθοδος μέτρησης των πινάκων απόδοσης συμμορφώνεται με ορισμένες γενικές αρχές και πρότυπα.

ΚΑΙ, τρίτος, όταν για άλλη μια φορά ακούς για ένα θαυματουργό εμβόλιο που κατακτά τα πάντα και τους πάντες, μια νέα ιστορία για τις δουλειές με τη φούστα, τις νέες μπαταρίες ή τους κινδύνους / οφέλη των ΓΤΟ ή την ακτινοβολία των smartphone, ειδικά αν προωθήθηκε από κίτρινους συγγραφείς της δημοσιογραφίας, τότε συμπεριφέρεστε με κατανόηση και μην βιάζεστε να βγάλετε συμπεράσματα. Περιμένετε την επιβεβαίωση των αποτελεσμάτων από άλλες ομάδες επιστημόνων, τη συσσώρευση του πίνακα και τα δείγματα δεδομένων.

ΥΣΤΕΡΟΓΡΑΦΟ: Το άρθρο μεταφράστηκε και γράφτηκε βιαστικά, για όλα τα λάθη και τις ανακρίβειες που παρατηρήθηκαν, παρακαλώ γράψτε στο LAN.