Zašto mnoge studije obećavaju objašnjenje ili uzročnost iako njihov dizajn može da podrži samo opis ili povezanost

Uvod: problem često nije u rezultatu, nego u tvrdnji

Jedna od najupornijih grešaka u empirijskom istraživanju nije to što su podaci izmišljeni, analiza slaba ili tema nevažna. Dublja greška je to što studija tvrdi da objašnjava ili identifikuje uzrok onda kada njen dizajn zapravo dopušta samo opis ili povezanost. To se dešava u mnogim oblastima. Istraživač uoči da se dve promenljive kreću zajedno i zatim piše kao da jedna proizvodi drugu. Drugi pronađe razliku između grupa i tretira je kao dokaz efekta intervencije, iako grupe nisu učinjene uporedivim kroz dizajn. Treća studija koristi izraze kao što su „uticaj“, „efekat“, „pokretač“ ili „determinanta“, iako dokazi podržavaju jedino korelaciju. Antonakis et al. (2010) pokazuju da istraživači veoma često iznose uzročne tvrdnje bez ispunjavanja dizajnerskih i uslova ocenjivanja potrebnih da bi takve tvrdnje bile opravdane.

Ova greška je važna zato što su uzročne i eksplanatorne tvrdnje jake tvrdnje. One čitaocu ne govore samo da su dve pojave povezane, već da jedna pomaže da se druga proizvede, ili da je studija identifikovala zašto se nešto dešava. Okvir eksperimentalnog i kvazi-eksperimentalnog dizajna kod Shadish, Cook i Campbell (2002) tretira uzročno zaključivanje kao problem dizajna zasnovan na kontrafaktualnom rezonovanju, a ne kao retoričko pojačavanje koje se dodaje posle analize. Kada istraživači prebrzo pređu sa povezanosti na uzročnost, oni ne preuveličavaju samo malo. Oni menjaju samo značenje studije.

Zašto istraživači često prave ovu grešku

Istraživači često prave ovu grešku zato što uzročni jezik zvuči snažnije, korisnije i objavljivije od deskriptivnog ili asocijativnog jezika. Rečenica „X je povezan sa Y“ zvuči skromno. Rečenica „X utiče na Y“ zvuči važno. Ta razlika mnogo znači u akademskom pisanju, konkursima, izveštajima o politikama i medijskoj komunikaciji. Ali upravo privlačnost uzročnog jezika stvara pritisak da se kaže više nego što dizajn može da podnese. Antonakis et al. (2010) pokazuju da to nije marginalan problem. U njihovom pregledu veliki broj objavljenih studija nije zadovoljio uslove potrebne za validne uzročne tvrdnje.

Drugi razlog je konceptualna zbrka. Istraživači često brišu razliku između četiri nivoa tvrdnje: deskriptivne, asocijativne, eksplanatorne i uzročne. Deskriptivna tvrdnja kaže šta se dešava. Asocijativna tvrdnja kaže da dve varijable kovariraju. Eksplanatorna tvrdnja predlaže zašto se obrazac javlja. Uzročna tvrdnja kaže da bi promena jedne stvari promenila drugu. To nisu sinonimi. Hernán (2006) naglašava da uzročno zaključivanje pita šta bi se dogodilo pod drugačijim intervencijama ili uslovima, što je mnogo jače pitanje od pukog opisivanja posmatranih obrazaca. Rohrer (2018) slično upozorava da se opservacione korelacije previše ležerno tumače, bez dovoljno jasnoće o pretpostavkama potrebnim za uzročnu interpretaciju.

Treći razlog je to što neki dizajni proizvode podatke koji deluju veoma ubedljivo. Veliki uzorci, sofisticirani modeli, longitudinalni paneli ili jasno vizuelizovani trendovi mogu stvoriti auru eksplanatorne snage. Ali metodološka sofisticiranost ne pretvara automatski neuzročni dizajn u uzročni. Okvir uzročnog zaključivanja kod Hernán i Robins posebno je koristan zato što pažnju zadržava na uzročnom pitanju, dizajnu studije i pretpostavkama potrebnim za interpretaciju, a ne samo na statističkoj kompleksnosti.

Dominantni kontekst: pre svega kvantitativan, ali ne samo kvantitativan

Ova greška se najvidljivije javlja u kvantitativnim istraživanjima, zato što kvantitativne studije češće koriste jezik predviđanja, modelovanja, intervencije i procene efekta. Ali problem je širi od toga. On se pojavljuje i u radu na osnovu mešovitog dizajna svaki put kada istraživači predstave nalaze kao eksplanatorne ili uzročne, a da dizajn ne pruža potrebnu logiku za takav korak. Čak i istraživanje analize slučaja može doprineti uzročnom razumevanju pod određenim uslovima, ali samo kada je dizajn jasan u pogledu toga kakvu vrstu uzročnog dokaza pruža i šta ne pruža. Green et al. (2022) naglašavaju da analize slučaja mogu doprineti eksplanatornom i uzročnom rezonovanju, ali samo uz jasnost o mehanizmima, kontekstu i ograničenjima zaključivanja.

Dominantna logika ovde je M > RQ > RH. Metodologija je prva zato što se centralni neuspeh nalazi u nemogućnosti dizajna da podrži tvrdnju koja se iznosi. Istraživačko pitanje je drugo zato što mnoge studije postavljaju uzročna pitanja pre nego što se uopšte zapitaju da li njihov dizajn može na njih odgovoriti. Hipoteza je treća zato što hipoteza o efektima ili determinantama može biti razumna po sadržaju, a ipak previše jaka u odnosu na vrstu dokaza koju dizajn može proizvesti.

Gde se greška javlja u lancu RQ–RH–D–M

Na nivou RQ, problem često počinje kada istraživači prerano formulišu uzročno ili eksplanatorno pitanje. Oni pitaju „Koji je efekat X na Y?“ ili „Zašto X dovodi do Y?“ pre nego što utvrde da li dizajn uopšte može podržati takvo pitanje. Presečna anketa, na primer, može veoma dobro opisivati obrasce u jednom vremenskom preseku. Ona ne može automatski uspostaviti vremenski sled, isključiti uticaj mešajućih promenljivih ili identifikovati efekte intervencije. Hernán et al. (2024) zato predlažu šest osnovnih pitanja za opservacione studije koje žele da podrže uzročne tvrdnje, počev od samog uzročnog pitanja pa sve do dizajna, pretpostavki i održivosti interpretacije.

Na nivou M, problem postaje odlučujući. Dizajn može biti deskriptivan, presečan, korelacioni ili opservacioni bez dovoljne kontrole nad uticajem mešajućih promenljivih, selekcijom, obrnutom uzročnošću ili vremenskim redosledom. Pa ipak, diskusija može koristiti uzročni jezik. Antonakis et al. (2010) naglašavaju da neeksperimentalna istraživanja ponekad mogu podržati uzročnu interpretaciju, ali samo kada su zadovoljeni specifični dizajnerski i uslovi ocenjivanja. Okvir kod Shadish et al. (2002) slično podseća da uzročno zaključivanje zavisi od toga kako je poređenje konstruisano i kakvu kontrafaktualnu logiku dizajn zaista može da izdrži.

Na nivou D, podaci i dalje mogu biti visokog kvaliteta u užem smislu. Mogu biti tačni, obimni i pažljivo izmereni. Ali dobri podaci ne mogu odgovoriti na jače pitanje nego što dizajn dopušta. Zato osnovni problem nije samo kvalitet podataka. Problem je adekvatnost dizajna u odnosu na tvrdnju. Na nivou RH, hipoteze o „efektima“, „pokretačima“ ili „determinantama“ često zvuče oštrije nego što ih dokazi mogu opravdati. Hipoteza tada ne vodi disciplinovanom zaključivanju, već preuveličavanju.

Kako ova greška iskrivljuje nalaze i zaključke

Ova greška iskrivljuje istraživanje tako što zaključci deluju odlučnije nego što zapravo jesu.

U psihologiji, studija može pronaći da je veća upotreba društvenih mreža povezana sa višim nivoom anksioznosti i zatim zaključiti da društvene mreže izazivaju anksioznost. Ali dizajn možda ne isključuje obrnutu uzročnost, treće promenljive ili recipročnu dinamiku.

U ekonomiji, studija može uočiti da domaćinstva koja koriste mikrokredite imaju drugačije finansijske ishode i zatim govoriti kao da je mikrokredit proizveo te ishode, iako selekcija u zaduživanje može već unapred razlikovati korisnike i nekorisnike.

U političkim naukama, istraživanje može pokazati da je izloženost određenim medijima povezana sa nižim poverenjem u institucije, a zatim tretirati tu povezanost kao dokaz medijskog efekta, iako je moguće da prethodni stavovi oblikuju medijski izbor. To nisu trivijalne jezičke nijanse. One menjaju samo značenje rezultata. I Rohrer (2018) i Hernán (2006) naglašavaju da uzročna interpretacija zahteva mnogo više od posmatrane kovarijacije.

U ekologiji se isti problem javlja kada se posmatrani ekološki obrasci predstavljaju kao da je pokazano da jedan faktor „pokreće“ drugi bez dovoljne podrške dizajna. Ekološki sistemi su naročito osetljivi na uticaj mešajućih promenljivih, vremenske probleme i međudejstvo više uzroka. Studija može identifikovati verovatnu povezanost, ali uzročni zaključak traži mnogo snažnije dizajnersko rezonovanje od samog obrasca.

Kada istraživači pomešaju opis sa objašnjenjem ili objašnjenje sa uzročnošću, oni navode čitaoce, recenzente, praktičare i donosioce odluka da veruju da je studija ustanovila više nego što zapravo jeste. Hernán (2021) zato naglašava da jačanje uzročnog zaključivanja iz opservacionih podataka zahteva eksplicitnu pažnju prema dizajnu i pretpostavkama, a ne samo snažniju retoriku.

Kako izbeći ovu grešku pre prikupljanja podataka

Najbolja prevencija jeste da se rano odluči koji nivo tvrdnje dizajn zaista treba da podrži. Da li je studija deskriptivna, asocijativna, eksplanatorna ili uzročna? Na to pitanje treba odgovoriti pre nego što prikupljanje podataka počne. Ako dizajn ne može da podrži uzročno zaključivanje, ni istraživačko pitanje ni hipoteza ne treba da budu napisani kao da može. To nije slabost. To je poštenje prema dizajnu.

Drugi preventivni korak jeste da se zapita kakvo kontrafaktualno poređenje studija pokušava da aproksimira. Shadish et al. (2002) tretiraju uzročni dizajn kao fundamentalno vezan za pitanje šta bi se dogodilo pod drugačijim uslovima. Ako dizajn ne može uverljivo konstruisati ili makar aproksimirati takvo poređenje, studija verovatno ne bi smela da tvrdi uzročne efekte. Hernán et al. (2024) preporučuju da se pita koja bi veličina zaista odgovorila na uzročno pitanje, koje su potrebne pretpostavke i da li je uzročna interpretacija uopšte održiva u principu i u praksi.

Treći preventivni korak jeste jezička disciplina. Reči kao što su „efekat“, „uticaj“, „determinanta“ i „pokretač“ treba koristiti samo kada ih dizajn zaista opravdava. Ponekad studija može težiti objašnjenju u mekšem smislu, predlaganju mehanizama, razvoju teorije ili razjašnjavanju procesa, a da pritom ne tvrdi direktnu uzročnu identifikaciju. Green et al. (2022) su korisni upravo zato što pokazuju da eksplanatorni doprinos nije isto što i snažan uzročni dokaz.

Šta se još može popraviti nakon prikupljanja podataka

Nakon prikupljanja podataka određena popravka jeste moguća, ali uglavnom na nivou tvrdnje, a ne na nivou prvobitne uzročne ambicije. Najpoštenija popravka često je da se studija prepiše tako da pitanje, hipoteza i zaključak odgovaraju onome što dizajn zaista podržava. Studija koja je prvobitno bila predstavljena kao uzročna možda će morati da se preoblikuje kao asocijativna. Rad koji je tvrdio da identifikuje determinante možda će morati da kaže da je identifikovao korelate ili obrasce koji su u skladu sa određenim mehanizmima. To može zvučati kao povlačenje, ali je zapravo metodološka korekcija.

U nekim slučajevima dodatni elementi dizajna ili jače pretpostavke mogu poboljšati interpretaciju. Opservacione studije ponekad zaista mogu podržati snažnije uzročno rezonovanje kroz pažljiv dizajn, merenje, vremensku strukturu i metode kauzalne inferencije. Antonakis et al. (2010), Hernán (2006) i Hernán et al. (2024) svi jasno pokazuju da uzročne tvrdnje iz neeksperimentalnih podataka nisu nemoguće, ali jesu veoma zahtevne. Ono što se obično ne može popraviti jeste potpuno neopravdan uzročni zaključak izgrađen na dizajnu koji od početka nije rešavao ključne pretnje.

Kratke ilustracije iz različitih oblasti

U psihologiji, anketa među adolescentima može pokazati da su usamljenost i vreme pred ekranom povezani. To podržava asocijativnu tvrdnju. Samo po sebi, to ne dokazuje da vreme pred ekranom izaziva usamljenost.

U ekonomiji, studija može uočiti da firme koje usvajaju novu menadžersku tehnologiju kasnije postaju produktivnije. Taj obrazac je zanimljiv, ali bez snažnije logike dizajna ne dokazuje automatski da je tehnologija izazvala rast produktivnosti.

U političkim naukama, istraživači mogu utvrditi da regioni sa većom izloženošću kampanji imaju veću izlaznost. To može podržati deskriptivnu ili asocijativnu tvrdnju, ali uzročni jezik zahteva mnogo jači argument o selekciji, targetiranju i uporedivosti.

U svim tim primerima lekcija je ista: dizajn mora postaviti plafon tvrdnje.

Kratak kontrolni spisak

Pre prikupljanja podataka, pitajte se:

• Da li je moje pitanje deskriptivno, asocijativno, eksplanatorno ili uzročno?
• Može li moj dizajn da podrži taj nivo tvrdnje?
• Koja alternativna objašnjenja ili izvori pristrasnosti ugrožavaju uzročnu interpretaciju?
• Ako rezultati budu snažni, koja je najjača rečenica koju ću zaista smeti da napišem?
• Da li dizajniram studiju za tvrdnju koju želim, ili se samo nadam da ću tu tvrdnju kasnije upotrebiti?

Dobra studija ne postaje snažnija zato što koristi snažniji jezik. Ona postaje snažnija kada njen dizajn zaradi jezik koji koristi.

Literatura

Antonakis, J., Bendahan, S., Jacquart, P., & Lalive, R. (2010). On making causal claims: A review and recommendations. The Leadership Quarterly, 21(6), 1086–1120. https://doi.org/10.1016/j.leaqua.2010.10.010

Green, J., Edgerton, J., Naftel, D., Shoub, K., & Cranmer, S. J. (2022). Case study research and causal inference. Perspectives on Politics, 20(1), 277–294. https://doi.org/10.1017/S1537592721000924

Hernán, M. A. (2006). Estimating causal effects from epidemiological data. Journal of Epidemiology and Community Health, 60(7), 578–586. https://doi.org/10.1136/jech.2004.029496

Dahabreh, I. J., Robertson, S. E., Tchetgen Tchetgen, E. J., Stuart, E. A., & Hernán, M. A. (2024). Causal inference about the effects of interventions from observational studies in medical journals. JAMA, 331(16), 1380–1387. https://doi.org/10.1001/jama.2024.3001

Rohrer, J. M. (2018). Thinking clearly about correlations and causation: Graphical causal models for observational data. Advances in Methods and Practices in Psychological Science, 1(1), 27–42. https://doi.org/10.1177/2515245917745629

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.