Jelentős mértékben befolyásolják a tudományos kutatások végeredményét az elemzés során hozott módszertani döntések - derül ki a Nature című folyóiratban szerdán közzétett nemzetközi tanulmányból.
Az Eötvös Loránd Tudományegyetem (ELTE) közleménye szerint a társadalom- és viselkedéstudományokban az elmúlt évtizedben számos reform indult annak érdekében, hogy a kutatások átláthatóbbá, megismételhetőbbé és megbízhatóbbá váljanak. Eddig azonban kevés figyelem irányult arra, hogy mennyire függenek a kutatási eredmények attól, hogy az adatokat pontosan hogyan elemzik.
A tudományos gyakorlatban egy adatállományt általában egyetlen kutató vagy kutatócsoport dolgoz fel, és a publikáció egyetlen elemzési út eredményeit mutatja be. A lektorálás ugyan ellenőrzi a módszertani elfogadhatóságot, de ritkán derül ki, hogy más, szintén védhető statisztikai döntések esetén milyen eredmények születtek volna. Pedig egy empirikus kutatás során számos döntési pont adódik: hogyan tisztítják az adatokat, miként definiálják a változókat, milyen statisztikai modellt vagy szoftvert használnak, és milyen keretben értelmezik az eredményeket. Ezek együtt adják az úgynevezett elemzési variabilitást — vagyis azt a rugalmasságot, amely alapvetően befolyásolhatja a végső következtetéseket.
Ezt a jelenséget vizsgálta egy nagyszabású nemzetközi együttműködés Aczél Balázs (ELTE) és Szászi Barnabás (Corvinus Egyetem) vezetésével.
Az elemzők ugyanazt az adatállományt és kutatási kérdést kapták meg, de teljes szabadságuk volt abban, hogyan végzik el az elemzést.
A vizsgálat kimutatta: az azonos adatokon alapuló elemzések gyakran eltérő eredményeket hoztak, ami igazolja, hogy az eredményeket jelentősen befolyásolják az elemzés során hozott módszertani döntések.
"Az eredmények nagyban különböztek. Bár az újraelemzések többsége nagy vonalakban megerősítette az eredeti tanulmányok fő állításait, a hatásméretek, a statisztikai becslések és a bizonytalanság mértéke gyakran érdemben eltért. Az eseteknek mindössze körülbelül egyharmadában jutott minden elemző pontosan ugyanarra a következtetésre, mint az eredeti szerzők" - magyarázza a közleményben Aczél Balázs.
"Az eltérések nem az elemzők felkészületlenségéből fakadtak" - teszi hozzá a közleményben Szászi Barnabás.
- fűzte hozzá.
A szerzők hangsúlyozzák: eredményeik nem a korábbi kutatások hitelességét kérdőjelezik meg. Épp ellenkezőleg. Arra hívják fel a figyelmet, hogy egyetlen elemzés bemutatása gyakran nem tükrözi a valós empirikus bizonytalanságot, és az elemzési variabilitás figyelmen kívül hagyása indokolatlan magabiztossághoz vezethet.
A tanulmány ezért a több elemzőt bevonó és a "multiverse" típusú elemzések szélesebb körű alkalmazását javasolja, különösen a tudományos vagy társadalmi szempontból kiemelten fontos kérdések esetében. Ezek a megközelítések nem egyetlen "igaz" választ keresnek, hanem láthatóvá teszik, mennyire stabilak — vagy éppen törékenyek — a tudományos következtetések - áll az ELTE közleményében.