Kako snažne ideje postaju slabe studije kada se loše prevedu u indikatore, promenljive i mere

1. Uvod: studija zvuči ozbiljno, ali su dokazi tanki

Mnoge studije ne propadaju zato što je tema slaba, već zato što je centralna ideja loše prevedena u dokaze. Istraživač kreće od koncepta koji zvuči smisleno, dobrobit, otpornost, poverenje, održivost, inovativnost, oporavak, adaptacija, a zatim prebrzo prelazi na indikator koji je jednostavno dostupan. Studija i dalje deluje profesionalno. Ima promenljive, podatke, tabele i možda naprednu analizu. Ali dokazi više nisu dovoljno blisko povezani sa konceptom koji je istraživanje prvobitno motivisao. Ono što je počelo kao konceptualno pitanje neprimetno se pretvara u prečicu merenja.

Ovu grešku je lako potceniti upravo zato što ne izgleda uvek kao greška. Istraživači često pretpostavljaju da je metodološki posao završen onog trenutka kada je koncept dobio ime i pridružen mu je neki indikator ili promenljiva. Ali operacionalizacija nije administrativni korak. Kako objašnjava Andrade (2021), operacionalizacija je deo same konceptualizacije i dizajna studije, a ne nešto što dolazi tek kasnije. Adcock i Collier (2001) iz ugla validnosti merenja pokazuju slično: koncepti, indikatori i opažanja moraju biti povezani odbranjivim lancem. Ako je taj lanac slab, studija može proizvesti dokaze, ali ne i dokaze koji opravdavaju tvrdnju koju želi da iznese.

2. Zašto istraživači često prave ovu grešku

Istraživači obično ne operacionalizuju loše zato što su ravnodušni prema kvalitetu. Češće se to dešava zato što je o konceptima lakše govoriti apstraktno nego ih empirijski precizirati. Koncept kao što je „kvalitet života“ ili „ekonomska ranjivost“ zvuči jasno u svakodnevnom jeziku, ali čim ga treba predstaviti kroz indikatore, javljaju se ključna pitanja. Koja dimenzija je najvažnija? Da li je koncept jednodimenzionalan ili višedimenzionalan? Može li se direktno posmatrati ili samo preko proksija? Koji indikatori bi zaista bili dokaz, a koji bi bili samo delimični tragovi?

Drugi razlog je pogodnost. Dostupne baze podataka, poznata anketna pitanja, standardne laboratorijske mere ili nasleđene disciplinarne navike često više upravljaju operacionalizacijom nego samo istraživačko pitanje. To je naročito često u primenjenim istraživanjima, gde istraživači nasleđuju administrativne podatke ili rutinske indikatore, pa zatim oko njih grade čitavu studiju. DeVellis (2017) naglašava da razvoj skala i merenja zahteva konceptualno obrazloženje pre nego što se dođe do izbora stavki ili indikatora. Ako istraživači obrnu taj redosled, najpre izaberu ono što je merljivo, a zatim se ponašaju kao da to hvata sam koncept, dobijaju studiju koja može biti efikasna, ali ne i koherentna.

Treći razlog je zavodljiva preciznost brojeva. Kada se koncept jednom veže za promenljivu, studija može napredovati sa prividom jasnoće. Ali preciznost formata merenja nije isto što i konceptualna adekvatnost. Haynes, Richard i Kubany (1995) u svom prikazu sadržinske validnosti ističu da merenje mora odražavati puno značenje konstrukta, a ne samo njegov zgodni deo. Uska mera može biti vrlo konzistentna, a ipak konceptualno nepotpuna.

3. Dominantni kontekst: kvantitativna i istraživanja na osnovu mešovitih metoda

Ova greška se javlja u različitim dizajnima, ali je naročito izražena u kvantitativnim i istraživanjima na osnovu mešovitih metoda. U kvantitativnim studijama koncepti se često moraju prevesti u promenljive, skale, kategorije ili indikatore pre nego što analiza počne. Ako je taj prevod slab, ostatak studije nasleđuje grešku. U istraživanjima na osnovu mešovitih metoda isti problem se javlja kada jedna grana tvrdi da predstavlja koncept preko tankog ili parcijalnog kvantitativnog indikatora, a zatim se od kvalitativne grane očekuje da naknadno „doda dubinu“. To nije pravo rešenje. To često znači da dizajn pokušava da naknadno kompenzuje slabu kvantitativnu operacionalizaciju.

Osnovna logika ove greške je D > RH > RQ. Podaci su prvi zato što se najočigledniji neuspeh vidi upravo u indikatorima, promenljivama ili merama koje treba da predstavljaju koncept. Hipoteza je druga zato što se često oslanja na konstrukte koji su pregrubo ili preusko prevedeni u merljivu formu. Istraživačko pitanje je treće zato što ono može biti sasvim inteligentno i dobro motivisano, iako ga operacionalizacija kasnije izneveri. Drugim rečima, ovo često nije problem pogrešne teme. Ovo je problem lošeg prevođenja teme u dokaze.

4. Gde se greška javlja u lancu RQ–RH–D–M

Na nivou RQ, studija može početi razumnim pitanjem. Istraživač, na primer, može pitati da li javnozdravstvena intervencija poboljšava dobrobit, da li politika biodiverziteta povećava otpornost ekosistema ili da li finansijski stres smanjuje ekonomsku sigurnost domaćinstava. Ni jedno od tih pitanja nije trivijalno. Problem počinje onda kada se koncept tretira kao da je svakodnevna intuitivna jasnoća dovoljna. Koncept koji zvuči intuitivno i dalje zahteva empirijske granice.

Na nivou RH, hipoteza često prebrzo sužava koncept. Hipoteza može tvrditi da „veća dohodovna nesigurnost smanjuje dobrobit“, ali je pojam dobrobiti možda već tiho sveden na jedno anketno pitanje o zadovoljstvu životom, jednu listu simptoma ili jedan bihejvioralni proksi. Hipoteza tada izgleda proverljivo, ali samo zato što je koncept smanjen.

Na nivou D, problem postaje opipljiv. Tu se bira stvarni indikator, promenljiva, skala ili mera. Adcock i Collier (2001) opisuju to kao lanac koji ide od koncepata ka indikatorima, a zatim ka skorovima ili opažanjima. Ako indikator hvata samo jedan ugao koncepta, ili hvata susedan koncept umesto ciljnog, dokazi studije postaju neusklađeni sa njenom svrhom. Andrade (2021) slično naglašava da promenljive moraju biti operacionalizovane na način koji odgovara onome što studija zaista želi da ispita.

Na nivou M, metodologija može i dalje izgledati sasvim korektno u proceduralnom smislu. Uzorkovanje može biti razumno, analiza kompetentno sprovedena, tabele uredno prikazane. Ali metodološka kompetentnost ne može u potpunosti spasiti konceptualno loše merenje. Uglačan metodološki odeljak ne može slab proksi pretvoriti u snažnu reprezentaciju željenog konstrukta.

5. Kako loša operacionalizacija iskrivljuje nalaze i zaključke

Loša operacionalizacija istraživanje iskrivljuje na posebno suptilan način. Ona često proizvodi nalaze koji nisu nužno netačni, ali jesu uži, spljošteniji ili zavaravajući u odnosu na to kako se predstavljaju u zaključku. Dokazi mogu pokazivati stvaran obrazac, ali samo za indikator koji je izabran, ne nužno i za koncept koji je naveden u naslovu, apstraktu i zaključku.

U biologiji, studija može pitati o otpornosti biljaka pod ekološkim stresom, a operacionalizovati otpornost samo preko kratkoročnog rasta u visinu. Rast može biti relevantan, ali otpornost može uključivati i preživljavanje, oporavak, reproduktivni uspeh i otpor kroz vreme. Ako se koristi samo jedna dimenzija, zaključak lako precenjuje ono što je zaista naučeno.

U ekonomiji, studija može pitati o finansijskoj ranjivosti domaćinstava, a operacionalizovati je samo preko trenutnog prihoda. Međutim, ranjivost može uključivati i štedne rezerve, zaduženost, nestabilnost zaposlenja, pristup mrežama podrške i izloženost šokovima. Prihod je možda zgodan, ali nije isto što i ranjivost.

U istraživanjima zdravlja i dobrobiti, studija može pitati da li intervencija poboljšava dobrobit, a meriti samo odsustvo jednog simptoma. Smanjenje simptoma može biti veoma važno, ali dobrobit je često širi pojam od same redukcije simptoma. Ona može uključivati funkcionisanje, subjektivnu procenu, društveno učešće i percipirani kvalitet života. Haynes et al. (1995) upozoravaju upravo na to da se parcijalni deo konstrukta ne sme izjednačiti sa samim konstruktom, a to upozorenje je metodološki važno daleko izvan psihologije.

U sva tri primera rezultat je sličan: zaključak tiho postaje širi od dokaza. Rad tvrdi da daje uvid u širok koncept, a dokazi zapravo podržavaju samo uži operacionalni fragment.

6. Kako izbeći ovu grešku pre prikupljanja podataka

Najbolja preventivna strategija jeste da se uspori prelaz od koncepta ka meri. Pre izbora promenljivih, istraživač treba da pita šta tačno koncept uključuje, šta isključuje i da li ga je bolje razumeti kao jednu dimenziju ili kao skup dimenzija. To je konceptualni zadatak, a ne još statistički.

Drugi preventivni korak jeste da se lanac eksplicitno ispiše: koncept → dimenzije → indikatori → promenljive/mere. Adcock i Collier (2001) ovu logiku praktično formalizuju, i ona je korisna mnogo šire od političkih nauka. Kada se taj lanac jednom napiše, slabe karike se mnogo lakše uočavaju. Ako indikator deluje preusko, previše posredno ili suviše zgodno, problem se može videti pre nego što prikupljanje podataka počne.

Treći preventivni korak jeste triangulacija sa svrhom, a ne kao ukras. U istraživanjima na osnovu mešovitih metoda dodavanje kvalitativne komponente jeste dragoceno kada pomaže da se razjasne dimenzije koncepta, proveri da li su indikatori konceptualno smisleni ili otkrije šta kvantitativna mera propušta. Fetters, Curry i Creswell (2013) naglašavaju da integracija u dizajnu na osnovu mešovitih metoda mora biti planska. U ovom kontekstu to znači da kvalitativni podaci ne smeju da se dodaju samo da bi naknadno „obogatili“ slabu meru; oni bi trebalo da pomognu u izgradnji ili proveri same operacionalizacije.

Četvrti preventivni korak jeste pažljivo preispitivanje instrumenta. Ako je neka skala ili mera preuzeta iz ranijih istraživanja, to je ne čini automatski validnom za sadašnji kontekst. I DeVellis (2017) i novije GESIS smernice o validnosti u anketnim istraživanjima podvlače da validnost nije trajno svojstvo instrumenta nezavisno od svrhe i konteksta.

7. Šta se još može popraviti nakon prikupljanja podataka

Nakon prikupljanja podataka neka popravka jeste moguća, ali najčešće na nivou tvrdnje, a ne na nivou originalnog koncepta. Ako promenljiva hvata samo jednu dimenziju željenog koncepta, najpoštenija popravka jeste da se jezik nalaza suzi. Studija koja je tvrdila da meri dobrobit možda će morati da prizna da je merila samo jednu simptomsku dimenziju povezanu sa dobrobiti. Studija koja je tvrdila da meri otpornost možda će morati da kaže da je merila samo jedan indikator performanse povezan sa otpornošću.

Druga moguća popravka jeste da se studija preoblikuje kao istraživačka ili parcijalna. Ako je operacionalizacija tanja nego što je planirano, ali ipak informativna, rad se može prepisati tako da daje uži doprinos. U istraživanju na osnovu mešovitih metoda kvalitativna komponenta ponekad može pomoći da se dijagnostikuju granice kvantitativne mere i da interpretacija ostane primereno ograničena.

Ono što se obično ne može popraviti jeste fundamentalno nepoklapanje između imenovanog koncepta i dokaza koji su stvarno prikupljeni. Nikakva naknadna analitička sofisticiranost ne može slab proksi pretvoriti u potpuno validnu reprezentaciju višedimenzionalnog konstrukta. Kada je to nepoklapanje duboko, studija i dalje može dati koristan rad, ali ne onaj rad koji je prvobitno zamišljen.

8. Kratak kontrolni spisak

Pre prikupljanja podataka, pitajte se:

• Šta tačno moj koncept uključuje, a šta isključuje?
• Da li merim sam koncept, jednu njegovu dimenziju ili samo zgodan proksi?
• Ako se moj indikator promeni, šta zapravo imam pravo da tvrdim?
• Da li bi istraživač iz druge oblasti moju promenljivu prepoznao kao poštenu reprezentaciju koncepta?
• Da li mešovite metode koristim da ojačam operacionalizaciju ili da sakrijem njenu slabost?

Studija ne postaje snažnija zato što koristi više promenljivih. Postaje snažnija onda kada njeni dokazi zaista zaslužuju ime koncepta koji tvrde da mere.

Literatura

Adcock, R., & Collier, D. (2001). Measurement validity: A shared standard for qualitative and quantitative research. American Political Science Review, 95(3), 529–546. https://doi.org/10.1017/S0003055401003100

Andrade, C. (2021). A student’s guide to the classification and operationalization of variables in the conceptualization and design of a clinical study: Part 1. Indian Journal of Psychological Medicine, 43(2), 177–179. https://doi.org/10.1177/0253717621994334

DeVellis, R. F. (2017). Scale development: Theory and applications (4th ed.). SAGE.

Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). Achieving integration in mixed methods designs—Principles and practices. Health Services Research, 48(6 Pt 2), 2134–2156. https://doi.org/10.1111/1475-6773.12117

Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7(3), 238–247. https://doi.org/10.1037/1040-3590.7.3.238

Repke, L., Birkenmaier, A., & Lechner, C. (2024). Validity in survey research: From research design to a holistic assessment of measurement quality. GESIS – Leibniz Institute for the Social Sciences.