Zašto čak i dobro izveden metod slabi studiju kada služi pogrešnoj istraživačkoj svrsi

Uvod: metod deluje impresivno, ali studija ipak promašuje metu

Jedna od najčešćih grešaka u empirijskim istraživanjima nije korišćenje „lošeg“ metoda, već korišćenje pogrešnog metoda za pitanje koje se postavlja. Anketa može biti pažljivo sprovedena, intervjui mogu biti bogati i uredno transkribovani, GIS postupak može biti tehnički čist, a statistički model kompetentno procenjen. Ipak, studija može ostati suštinski slaba ako izabrani metod ne proizvodi onu vrstu dokaza koja je potrebna da bi se odgovorilo na istraživačko pitanje. Drugim rečima, problem nije uvek metodološka nekompetentnost. Vrlo često je problem metodološko nepoklapanje. Hoadley (2004) to opisuje kao problem poravnanja, dok Creswell i Creswell u knjizi Research Design tretiraju poklapanje između pitanja, dizajna i dokaza kao centralno za kvalitetno istraživanje.

Ova greška je važna zato što se lako prikriva. Studija može izgledati uglađeno kada je odeljak o metodologiji detaljan, a analiza tehnički korektna. Čitalac može biti impresioniran procedurom i prevideti osnovnije pitanje: da li ovaj metod zaista odgovara svrsi istraživanja? Maxwell naglašava da dizajn mora biti koherentan i da je najvažnija upravo veza između metoda i istraživačkih pitanja. Kada je ta veza slaba, studija i dalje može proizvesti rezultate, ali ti rezultati zapravo ne odgovaraju na ono što je studija tvrdila da pita.

Zašto istraživači često prave ovu grešku

Istraživači obično ne biraju neusklađen metod zato što su nepažljivi. Češće ga biraju zato što im je poznat, institucionalno očekivan, lakši za objavljivanje ili lakši za izvođenje od alternativa. Doktorand može znati kako da sprovede anketu i zato će pitanje oblikovati tako da se može anketirati, iako stvarni problem možda traži posmatranje, arhivski rad, intervjue ili poređenje slučajeva. Istraživač u menadžmentu može po inerciji posegnuti za intervjuima jer deluju bogato i ubedljivo, iako je pitanje zapravo o rasprostranjenosti neke pojave u široj populaciji. U IT istraživanjima tim može prikupiti logove korišćenja zato što ih platforma već generiše, iako se pitanje odnosi na korisničko značenje, interpretaciju ili poverenje, a ne samo na ponašanje.

Drugi razlog je to što metodi nose status. U pojedinim disciplinama neki metodi deluju rigoroznije, modernije ili „naučnije“ od drugih. Tako nastaje suptilan obrt: umesto da metod služi pitanju, pitanje se preoblikuje da opravda metod. Booth et al. (2024) šire upozoravaju upravo na to da mehanika istraživanja može potisnuti logiku samog istraživanja. Dobro istraživanje počinje problemom i kreće se ka tvrdnji kroz prikladno izabrane dokaze. Ono ne počinje omiljenim alatom koji zatim traži problem koji može da obradi.

Dominantni kontekst: hibridni dizajn

Ovo je istinska greška hibridnog dizajna. Javlja se u kvantitativnim, kvalitativnim i istraživanjima na osnovu mešovitih metoda. U kvantitativnom radu pojavljuje se kada se deskriptivna anketa koristi da bi odgovorila na uzročno pitanje, ili kada se presečni podaci koriste za razvojnu ili procesnu tvrdnju. U kvalitativnom radu pojavljuje se kada se intervjui koriste za pitanje koje zapravo zahteva dugotrajnije posmatranje, analizu dokumenata ili komparativnu logiku slučajeva. U istraživanjima na osnovu mešovitih metoda pojavljuje se kada su obe grane prisutne, ali nijedna nije izabrana zato što odgovara pitanju; umesto toga, jedna se uključuje zato što je moderna, a druga zato što se „očekuje“. Creswell i Creswell izričito razlikuju tipove dizajna prema vrstama pitanja i svrha kojima najbolje odgovaraju, pa uklapanje metoda nije sporedno tehničko pitanje, već princip dizajna.

Dominantna logika ovde je M > RQ > D. Metodologija je prva zato što je vidljivi problem upravo nepoklapanje između izabranog metoda i postavljenog pitanja. Istraživačko pitanje dolazi drugo zato što je često ili nedovoljno precizno, ili rastegnuto da bi se uklopilo u metod. Podaci dolaze treći zato što, kada je metod loše uklopljen, i nastali podaci često postaju pogrešna vrsta dokaza za željenu tvrdnju.

Gde se greška pojavljuje u lancu RQ–RH–D–M

Na nivou RQ, problem često počinje kada pitanje nije dovoljno jasno u pogledu svoje svrhe. Da li studija želi da opisuje, objašnjava, poredi, evaluira, tumači značenje ili prati proces? Ako to nije razjašnjeno, gotovo svaki metod može izgledati kao da ima smisla. Upravo ta neodređenost otvara prostor za pogrešno uklapanje.

Na nivou M, neuspeh postaje odlučujući. Metod se bira zato što je dostupan, cenjen, lak za opravdanje ili uklopljen u veštine istraživača. Ali metod treba birati zato što može proizvesti pravu vrstu dokaza za pitanje. Maxwell to formuliše vrlo jasno: metodi moraju obezbediti podatke koji omogućavaju da se na istraživačka pitanja odgovori potpuno i odgovorno. Metod nije dobar apstraktno. Dobar je samo u odnosu na pitanje.

Na nivou D, posledice postaju opipljive. Pogrešan metod proizvodi pogrešnu vrstu podataka. Ako je pitanje o doživljenom značenju, a studija koristi samo strukturisane numeričke indikatore, dokazi mogu biti interpretativno pretanki. Ako je pitanje o rasprostranjenosti neke pojave, a studija se oslanja na nekoliko intervjua, dokazi mogu biti inferencijski preuski. Ako je pitanje o promeni kroz vreme, a studija prikuplja samo jedan presečni snimak, dokazi ne mogu podržati vremensku tvrdnju. Metod je već oblikovao podatke u nešto što više ne odgovara prvobitnoj svrsi.

U nekim dizajnima i RH može igrati ulogu, ali najčešće kao sekundarna posledica. Neusklađen metod može podstaći hipoteze koje su ili previše jake za dizajn ili veštački sužene da se uklope u dostupnu proceduru.

Kako ova greška iskrivljuje nalaze i zaključke

Neusklađen metod ne proizvodi uvek očigledno pogrešne nalaze. Češće proizvodi nalaze koji odgovaraju na drugačije pitanje od onog koje je navedeno. Upravo zato je ova greška opasna. Studija izgleda zaokruženo, ali se njen zaključak tiho pomerio.

U psihologiji, istraživač može pitati kako studenti doživljavaju akademski izgorelost u svakodnevnom životu, a zatim koristiti samo standardizovani upitnik. Upitnik može meriti intenzitet simptoma, ali sam po sebi ne može pokazati kako studenti tumače, opisuju i prolaze kroz izgorelost. Studija na kraju odgovara na užе pitanje o skorovima, a ne na početno pitanje o doživljenom iskustvu.

U menadžmentu, istraživač može pitati da li nova organizaciona politika poboljšava saradnju između odeljenja, a zatim sprovesti samo nekoliko intervjua sa višim menadžerima. Ti intervjui mogu otkriti strateške namere, ali sami po sebi ne mogu pokazati da li se saradnja zaista poboljšala u celoj organizaciji. Metod je pomerio studiju sa organizacionih efekata na percepcije rukovodilaca.

U geografiji, istraživač može pitati kako zajednice koriste i razumeju promenljiv urbani prostor, a zatim se osloniti samo na prostorne mape. Mape mogu pokazati raspored i kretanje, ali ne otkrivaju automatski značenje, konflikt, sećanje ili vezanost za mesto. Dokazi jesu korisni, ali su nepotpuni u odnosu na pitanje.

U svim tim primerima centralno iskrivljenje je isto: metod sužava odgovor, a tvrdnja ostaje široka.

Kako izbeći ovu grešku pre prikupljanja podataka

Najbolja prevencija jeste da se svrha istraživanja definiše pre izbora metoda. Istraživač treba da pita: kakav bi odgovor bio uverljiv odgovor na ovo pitanje? Ako studija traži rasprostranjenost, prikladan može biti dizajn koji podržava širu populacionu inferenciju. Ako traži značenje, proces ili interpretaciju, onda mogu biti potrebni metodi koji proizvode dubinu i kontekst. Ako traži oboje, mešoviti metodi može biti opravdan, ali samo ako su obe grane izabrane zato što odgovaraju različitim delovima istog pitanja.

Drugi preventivni korak jeste pisanje kratkog memoranduma o poravnanju pre nego što prikupljanje podataka počne. Običnim jezikom, istraživač treba da objasni zašto baš ovo pitanje zahteva baš ovaj metod i kakvu će vrstu podataka taj metod proizvesti. Ako to objašnjenje zvuči nategnuto ili previše tehnički, poravnanje je možda već slabo. Hoadley (2004) je ovde naročito koristan jer poravnanje ne tretira kao luksuz, već kao osnovnu logiku dizajna.

Treći preventivni korak jeste testiranje metoda u odnosu na alternativne metode. Ako bi neki drugi pristup očigledno proizveo dokaze koji su primereniji pitanju, istraživač bar mora objasniti zašto ga ne koristi. Ta vežba često otkriva da se trenutni metod bira zbog pogodnosti, a ne zbog uklapanja.

Šta se još može popraviti nakon prikupljanja podataka

Nakon prikupljanja podataka određena popravka jeste moguća, ali se ona najčešće događa na nivou tvrdnje, a ne na nivou prvobitnog dizajna. Studija sa nepoklapanjem između metoda i pitanja ponekad se može spasiti sužavanjem istraživačkog pitanja tako da odgovara dokazima koji su zaista prikupljeni. Projekat koji je počeo kao eksplanatoran možda će morati da se prepiše kao deskriptivan. Studija koja je tvrdila da zahvata doživljeno iskustvo možda će morati da prizna da je merila samo samoiskazane tendencije, a ne iskustvo u kontekstu.

Ponekad se metod može delimično dopuniti. Kvantitativna studija može dodati ograničenu kvalitativnu komponentu da opreznije interpretira nalaze. Kvalitativna studija može suziti tvrdnje tako da više ne implicira rasprostranjenost ili širu distribuciju. Ali ono što se obično ne može popraviti jeste samo temeljno nepoklapanje. Kada je prikupljena pogrešna vrsta dokaza, nikakva naknadna analitička sofisticiranost ne može je pretvoriti u pravu vrstu dokaza za početno pitanje.

Kratke ilustracije iz različitih oblasti

U IT istraživanju tim može pitati zašto korisnici veruju ili ne veruju AI-asistiranom sistemu, a osloniti se samo na podatke o kliku stimova. Klikovi mogu pokazati obrasce korišćenja, oklevanje ili napuštanje sistema, ali sami po sebi ne mogu objasniti zašto korisnici sistem tumače kao pouzdan ili nepouzdan.

U menadžmentu, studija može pitati da li hibridni rad poboljšava timsku saradnju, a prikupiti samo intervjue sa izvršnim rukovodiocima. Ti intervjui mogu razjasniti nameru politike, ali ne pokazuju sami po sebi kako se saradnja stvarno doživljava ili raspoređuje kroz radnu snagu.

U psihologiji, studija može pitati kako adolescenti osmišljavaju online društveni pritisak, a zatim koristiti samo skale sa fiksnim odgovorima. Skale mogu pokazati učestalost ili intenzitet, ali ne i interpretativni proces koji samo pitanje podrazumeva.

Svaki primer dolazi iz druge discipline, ali je lekcija ista: metod mora služiti pitanju, a ne zameniti ga.

Kratak kontrolni spisak

Pre prikupljanja podataka, pitajte se:

• Kakvu vrstu odgovora moje pitanje zapravo traži?
• Da li moj metod proizvodi upravo takvu vrstu dokaza?
• Biram li ovaj metod zato što odgovara pitanju ili zato što odgovara mojim navikama, veštinama ili pristupu?
• Ako moj metod radi savršeno, da li će odgovoriti na pitanje koje sam napisao?
• Šta bi skeptičan čitalac rekao da nedostaje mojim dokazima?

Snažna studija nije ona sa najimpresivnijim metodom. To je ona u kojoj je metod zaista primeren pitanju.

Literatura

Booth, W. C., Colomb, G. G., Williams, J. M., Bizup, J., & FitzGerald, W. T. (2024). The craft of research (5th ed.). University of Chicago Press. https://doi.org/10.7208/chicago/9780226826660.001.0001

Creswell, J. W., & Creswell, J. D. (2023). Research design: Qualitative, quantitative, and mixed methods approaches (6th ed.). SAGE.

Hoadley, C. M. (2004). Methodological alignment in design-based research. Educational Psychologist, 39(4), 203–212. https://doi.org/10.1207/s15326985ep3904_2

Maxwell, J. A. (2013). Qualitative research design: An interactive approach (3rd ed.). SAGE.

Richards, L. (2005). Handling qualitative data: A practical guide (2nd ed.). SAGE.