Kako dobro istraživanje zaslužuje poverenje kroz kvantitativne, kvalitativne i dizajne na osnovu mešovitih metoda

1. Intuitivni uvod

Istraživači često govore o „dobrim dokazima“ kao da je njihov kvalitet samorazumljiv. Ali dokaz nikada nije snažan samo zato što postoji. On postaje snažan onda kada studija čitaocu pruži dobre razloge da veruje vezi između dokaza, interpretacije i tvrdnje. U kvantitativnom radu ova rasprava se često vodi jezikom validnosti. U kvalitativnom radu se češće vodi izrazima kao što su kredibilitet i pouzdanost. U istraživanju na osnovu mešovitih metoda ona dodatno obuhvata kvalitet integracije i odbranjivost kombinovanog zaključivanja. Creswell i Creswell u šestom izdanju prikazuju kvalitet dizajna kao pitanje uklapanja između pitanja, procedura, dokaza i interpretacije, dok je klasična knjiga Lincoln i Guba Naturalistic Inquiry pomogla da se pouzdanost uspostavi kao centralna kvalitativna tema.

Zato ova objava postavlja jedno praktično pitanje: kada smo opravdano uvereni da treba verovati zaključku neke studije? To pitanje izgleda malo drugačije kroz različite istraživačke tradicije, ali osnovni problem je zajednički. Snažna studija ne prikuplja samo podatke. Ona zaslužuje poverenje. Shadish, Cook i Campbell to pokazuju za kvantitativno zaključivanje, dok Morse, Barrett, Mayan, Olson i Spiers tvrde da se i rigoroznost u kvalitativnom istraživanju mora aktivno uspostaviti, a ne pretpostaviti.

2. Zašto je ova objava važna

Ranije objave bile su usmerene na građenje studije: formulisanje pitanja, izbor metodologije, prevođenje koncepata u dokaze i planiranje uzorkovanja ili izbora slučajeva. Ali čak i dobro strukturisana studija i dalje prolazi kroz dublji test: da li se njenim nalazima može verovati? Tu mnogi inače obećavajući projekti počinju da slabe. Pitanje više nije samo da li je studija dobro organizovana. Pitanje je da li su dizajn, dokazi i interpretacija dovoljno snažni da opravdaju poverenje.

Zato ova objava nije samo o terminologiji. Ono je o metodološkoj zrelosti. Čitaoci često nasleđuju pogrešnu predstavu da se kvantitativni rad procenjuje validnošću, kvalitativni pouzdanošću, a studije na osnovu mešovitih metoda integracijom, kao da je reč o potpuno odvojenim svetovima. U stvarnosti, sva tri pristupa pokušavaju da reše srodan problem: kako opravdati kvalitet zaključivanja. Rečnik se razlikuje zato što se zadaci zaključivanja razlikuju, ali teret opravdavanja ostaje. Creswell i Creswell prikazuju sve tri porodice dizajna kao različite, ali uporedive oblike istraživanja, dok nas rad Lincoln i Guba podseća da su kvalitativne alternative konvencionalnom jeziku validnosti nastale upravo da bi odgovorile na isti taj problem, samo u drugačijem epistemološkom registru.

3. Glavna logika ovog poglavlja

Dominantna logika ovde je M > D > T, gde T označava završnu tvrdnju ili zaključak. Metodologija dolazi prva zato što dizajn određuje koja vrsta kriterijuma kvaliteta je uopšte relevantna. Podaci dolaze drugi zato što slabi ili tanki dokazi ograničavaju ono čemu se može verovati bez obzira na dizajnersku etiketu. Tvrdnja dolazi treća zato što završna interpretacija mora ostati srazmerna i dizajnu i dokazima.

Ovaj poredak je koristan jer čitaoci ponekad počinju od pogrešnog kraja. Pitaju da li zaključak zvuči ubedljivo pre nego što pitaju da li je dizajn bio sposoban da ga podrži. Ali studija zaslužuje poverenje obrnutim redosledom. Najpre dizajn mora stvoriti prave uslove za kvalitet. Zatim dokazi moraju biti dovoljno dobri za planirano zaključivanje. Tek tada završna tvrdnja zaslužuje poverenje.

4. Validnost u kvantitativnom istraživanju

U kvantitativnom istraživanju validnost je često centralni jezik kvaliteta zato što kvantitativne studije obično teže merenju, proceni, poređenju, predviđanju ili zaključivanju pomoću strukturisanih dokaza. Pojam je širok, ali u svojoj srži validnost pita da li studija dolazi do pravog odgovora na pitanje koje je zaista postavila. Shadish, Cook i Campbell naglašavaju da snažna kvantitativno zaključivanje zavisi od dizajna, a ne samo od statističke procedure. Njihov rad ostaje temeljni upravo zato što internu validnost, eksternu validnost, validnost konstrukta i validnost zaključka tretira kao povezane dizajnerske probleme, a ne kao izolovane tehničke provere.

Ovo je važno zato što mnoge slabe kvantitativne studije zataje mnogo pre analize. Ako su konstrukti loše prevedeni u promenljive, slabi validnost konstrukta. Ako grupe za poređenje nisu smisleno uporedive, slabi interna validnost. Ako je uzorak preuzak za generalizaciju koja se izvodi, slabi eksterna validnost. Ako statistička interpretacija prevazilazi ono što dizajn može da podrži, slabi snaga zaključka. Drugim rečima, validnost nije jedna stavka koja se proverava na kraju. Ona je slojevita procena toga da li dizajn zaslužuje poverenje.

5. Kredibilitet i pouzdanost u kvalitativnom istraživanju

Kvalitativno istraživanje često koristi drugačiji jezik kvaliteta zato što su mu i ciljevi drugačiji. Kvalitativna studija obično ne pokušava da proceni populacioni parametar ili da testira hipotezu zasnovanu na promenljivama na isti način kao kvantitativna studija. Ona često pokušava da razume značenje, proces, kontekst, praksu ili doživljeno iskustvo. Upravo zato su Lincoln i Guba predložili jezik pouzdanosti, uključujući kredibilitet, prenosivost, zavisnost i potvrdljivost, kao alternativu mehaničkom prenošenju kvantitativnih kriterijuma u kvalitativnu sferu. Njihova knjiga iz 1985. i dalje je jedna od ključnih referenci za taj okvir.

Kredibilitet, u tom smislu, pita da li je interpretacija dobro utemeljena u dokazima. Pouzdanost šire pita da li studija daje čitaocu dobre razloge da veruje da su nalazi proizvedeni pažljivo, refleksivno i transparentno. Morse i saradnici tvrde da se rigoroznost u kvalitativnom radu ne postiže ritualnim deklaracijama, već verifikacionim strategijama ugrađenim u sam dizajn i vođenje studije. Ta poenta je posebno važna zato što neka kvalitativna istraživanja pozajmljuju jezik pouzdanosti, a ipak se oslanjaju na tanke dokaze, maglovite procedure ili naduvanu interpretaciju. Sam jezik ne čini studiju pouzdanom. Dizajn to mora da zasluži.

6. Kvalitet zaključivanja u istraživanju na osnovu mešovitih metoda

Istraživanje na osnovu mešovitih metoda uvodi dodatni sloj kvaliteta zato što mora opravdati ne samo kredibilitet svake pojedinačne grane, već i odbranjivost njihove integracije. Studija na osnovu mešovitih metoda može zakazati čak i kada su kvantitativna i kvalitativna komponenta pojedinačno kompetentne, ako je veza između njih slaba ili samo dekorativna. Fetters, Curry i Creswell tvrde da je integracija centralni dizajnerski problem istraživanja na osnovu mešovitih metoda i da kvalitet zaključivanja zavisi od toga koliko su te dve grane uspešno dovedene u odnos na nivou dizajna, metoda, interpretacije ili izveštavanja.

To znači da kvalitet rada na osnovu mešovitih metoda nije samo zbir dve odvojene vrste kvaliteta. On je i pitanje da li je kombinovano zaključivanje zaista snažnija zahvaljujući integraciji. Ako kvantitativna grana procenjuje obrasce, a kvalitativna istražuje značenja, studija mora pokazati šta postaje novo razumljivo tek kada se ta dva tipa dokaza povežu. Ako se ta dodatna vrednost nikada ne pojavi, studija i dalje može biti višemetodska, ali nije naročito snažna kao istraživanje na osnovu mešovitih metoda.

7. Jedan problem, više jezika kvaliteta

Na prvi pogled, validnost, kredibilitet, pouzdanost i kvalitet zaključivanja mogu izgledati kao konkurentski metodološki rečnici. Ali korisnije ih je razumeti kao različite odgovore na isto osnovno pitanje: zašto bi čitalac trebalo da veruje ovoj studiji? Odgovor ne može biti identičan kroz sve dizajne zato što ni inferencijski zadaci nisu identični. Randomizovani eksperiment, etnografska studija i objašnjavajući sekvencijalni dizajn na osnovu mešovitih metoda ne zaslužuju poverenje na potpuno isti način. Ali svi nose isti teret opravdavanja.

Ovo je važna pedagoška poenta. Studenti se često zbune jer misle da postojanje različitih rečnika znači da standardi nestaju kroz dizajne. U stvari važi obrnuto. Različiti dizajni zahtevaju različite standarde upravo zato što se kvalitet mora procenjivati u odnosu na vrstu znanja koju studija pokušava da proizvede. Zajednička nit nije jedna univerzalna kontrolna lista, nego jedna univerzalna obaveza: opravdati poverenje u nalaz i inferenciju.

8. Uobičajene pretnje kvalitetu kroz različite dizajne

Uprkos razlikama u jeziku, mnoge pretnje kvalitetu lako se prepoznaju kroz različite istraživačke tradicije. Jedna pretnja je neusklađenost: studija postavlja jednu vrstu pitanja, a koristi dokaze primerenije nekoj drugoj vrsti pitanja. Druga je tanki dokaz: podaci postoje, ali su preslabi, preuski ili previše posredni za tvrdnju. Treća je interpretativna inflacija: zaključak kaže više nego što dokazi i dizajn mogu da podrže. Četvrta je simbolična procedura: jezik kvaliteta koristi se ceremonijalno umesto da bude ugrađen u samu arhitekturu studije.

Ove pretnje su važne zato što pokazuju da kvalitet nije pre svega stvar etikete. Studija može reći „validna”, „kredibilna” ili „pouzdana”, a da te opise nije stvarno zaslužila. Stvarni kvalitet se pojavljuje onda kada dizajn unapred prepoznaje pretnje i na njih odgovara pošteno i transparentno.

9. Kako kvalitet ugraditi u dizajn od samog početka

Najbolji način da se kvalitet unapredi nije da se na kraju rada doda odbrambeni jezik. Kvalitet treba ugraditi u studiju od samog početka. U kvantitativnom radu to znači rano razmišljati o pretnjama validnosti, uporedivosti, merenju i dometu zaključivanja. U kvalitativnom radu to znači dizajnirati za bogatstvo informacija, kontekstualnu dubinu, refleksivnu transparentnost i kredibilnu interpretaciju, umesto da se slab materijal kasnije pokušava spasiti. U mixed methods radu na osnovu mešovitih metoda to znači planirati kako će se integracija dogoditi, a ne nadati se da će se pojaviti sama od sebe.

Zato ovo poglavlje dodatno učvršćuje širu lekciju cele knjige: kvalitet dizajna nastaje uzvodno. Do trenutka kada istraživač piše ograničenja studije, mnoge snage i slabosti kvaliteta već su ugrađene.

10. Šta se kasnije još može popraviti

Neki problemi kvaliteta i dalje se mogu ublažiti nakon prikupljanja podataka, ali mnogi se mogu samo delimično popraviti. Kvantitativna studija sa užim podacima i dalje može postati snažnija ako se suze tvrdnje i eksplicitno odrede granice zaključivanja. Kvalitativna studija sa tanjim materijalom nego što je planirano i dalje može dati uži, više opisan doprinos ako se interpretacija tome disciplinovano prilagodi. Studija na osnovu mešovitih metoda može i naknadno unaprediti integraciju u fazi analize, čak i kada originalni dizajn nije bio savršen.

Ali ne može se sve spasiti. Loše izmeren konstrukt ne može se u potpunosti popraviti elegantnom statistikom. Generički intervju bez poverenja ne može se samim kodiranjem pretvoriti u dubok kvalitativni dokaz. Dve nepovezane grane ne postaju snažan dizajn na osnovu mešovitih metoda samo zato što se nađu u istoj diskusiji. Upravo zato ovo poglavlje toliko insistira na prevenciji, a ne na naknadnom spašavanju.

11. Metodološka zrelost i zasluženo poverenje

Metodološka zrelost počinje onda kada istraživači prestanu da tretiraju jezik kvaliteta kao ukras, a počnu da ga tretiraju kao teret dokazivanja. Zrela studija ne objavljuje samo validnost, kredibilitet ili pouzdanost. Ona pokazuje kako su oni zasluženi. Takva studija takođe prihvata da ne mogu sva istraživanja podržati isti nivo poverenja. Neke studije podržavaju lokalni, ograničeni, eksplorativni uvid. Druge podržavaju širu ili robustnije zaključivanje. Snaga nije u tome da se uvek tvrdi najviši mogući nivo poverenja, već u tome da se tvrdnja pošteno uskladi sa onim što dizajn i dokazi zaista zaslužuju.

To je centralna lekcija ove objave. Dobro istraživanje nije samo proizvodnja nalaza. To je proizvodnja nalaza kojima čitalac ima razloga da veruje.

Kontrolna lista

Pre nego što finalizujete studiju, pitajte se:

• Koji jezik kvaliteta je prikladan za ovaj dizajn: validnost, kredibilitet, pouzdanost, kvalitet integracije ili neka kombinacija toga?
• Da li sam taj jezik zaista zaslužio kroz dizajn i dokaze, ili ga samo retorički koristim?
• Koje su glavne pretnje poverenju u ovu studiju?
• Da li moja završna tvrdnja ostaje unutar nivoa poverenja koji dizajn može da opravda?
• Ako bi skeptičan čitalac pitao: „Zašto bih verovao ovoj studiji?”, da li bih mogao jasno i konkretno da odgovorim?

Snažna studija nije ona koja koristi najimpresivniji rečnik kvaliteta. To je ona koja zaista zaslužuje poverenje.

Literatura

Creswell, J. W., & Creswell, J. D. (2023). Research design: Qualitative, quantitative, and mixed methods approaches (6th ed.). SAGE.

Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). Achieving integration in mixed methods designs—Principles and practices. Health Services Research, 48(6 Pt 2), 2134–2156. https://doi.org/10.1111/1475-6773.12117

Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. SAGE.

Maxwell, J. A. (2013). Qualitative research design: An interactive approach (3rd ed.). SAGE.

Morse, J. M., Barrett, M., Mayan, M., Olson, K., & Spiers, J. (2002). Verification strategies for establishing reliability and validity in qualitative research. International Journal of Qualitative Methods, 1(2), 13–22. https://doi.org/10.1177/160940690200100202

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.