Početna greška u dizajnu koja tiho destabilizuje ostatak studije

Uvod: prva greška se često desi pre nego što istraživanje zaista počne

Mnoga slaba empirijska istraživanja ne počinju lošim skupom podataka ili neodgovarajućom analitičkom tehnikom. Počinju istraživačkim pitanjem koje pokušava da obuhvati previše, govori premalo ili vuče studiju u više pravaca odjednom. Pitanje može biti preširoko zato što obuhvata previše pojava, previše populacija ili previše ciljeva. Može biti nejasno zato što su njegovi centralni pojmovi neodređeni. Može biti preopterećeno zato što u jednu rečenicu sabija opis, objašnjenje, evaluaciju i poređenje. Ono što na prvi pogled izgleda kao istraživačka ambicija često se pokaže kao nestabilnost dizajna. Kako naglašavaju Booth et al. (2024) i Ratan et al. (2019), istraživačko pitanje nije ukrasna uvodna rečenica, već organizaciono jezgro cele studije.

Ova greška je posebno važna zato što nastupa vrlo rano. Kada je pitanje loše postavljeno, kasnije odluke u dizajnu često postaju kompenzacija umesto koherentnog nastavka. Istraživači tada dodaju varijable, šire pregled literature, proširuju uzorak ili biraju metode koje deluju dovoljno fleksibilno da „pokriju sve“. Umesto da izoštre istraživanje, oni ga dodatno šire. Hoadley (2004) metodološko poravnanje opisuje kao ključni princip dizajna, a to poravnanje je nemoguće postići kada samo pitanje nema jasan fokus.

Zašto istraživači često prave ovu grešku

Istraživači obično ne formulišu preširoka ili nejasna pitanja zato što su nepažljivi. Češće to rade zato što istovremeno pokušavaju da budu relevantni, originalni, sveobuhvatni i „dovoljno ozbiljni“ za akademsku publiku. Studenti često misle da usko pitanje deluje slabo, dok široko pitanje deluje ambiciozno i naučno. Istraživači na početku karijere mogu imati i dodatni pritisak da u jednoj formulaciji pokažu širinu teme, teorijsku osvešćenost i praktičnu važnost. Rezultat je preopterećeno pitanje koje istovremeno pita šta se dešava, zašto se dešava, kome se dešava, da li neka intervencija deluje i kakve su implikacije za praksu. Booth et al. (2024) upravo upozoravaju na tu sklonost da se široka tema pomeša sa istraživim problemom.

Problem nastaje i zato što istraživači prelaze prebrzo sa teme na metod. Neko ko se bavi nejednakošću u obrazovanju, političkim poverenjem ili gubitkom biodiverziteta može postaviti pitanje koje odražava veličinu teme, a ne veličinu izvodljive studije. U kvalitativnim istraživanjima, Agee (2009) pokazuje da je razvoj pitanja refleksivan i iterativan proces, a ne nešto što treba prerano zaključiti. U smislu mešanja istraživačkih dizajna, to znači da pitanje mora da se dorađuje dok ne počne da odgovara stvarnoj svrsi i realnoj skali istraživanja.

Dominantni kontekst: metodološki hibrid, ali sa različitim simptomima

Ovo je greška mešanja istraživačkih dizajna (engl. cross-design). Pojavljuje se u kvantitativnim, kvalitativnim i istraživanjima na osnovu mešovitih metoda, iako njeni simptomi nisu isti. U kvantitativnim studijama preširoko pitanje često proizvodi previše varijabli, nejasne hipoteze ili raskorak između željene tvrdnje i stvarnog dizajna. U kvalitativnim studijama ono često vodi ka rasplinutim intervjuima, slabim granicama slučaja ili materijalu koji je obiman, ali analitički neprecizan. U istraživanjima na osnovu mešovitih metoda može proizvesti dve paralelne grane koje su pojedinačno razumne, ali zapravo ne odgovaraju na isto pitanje. Kod Creswell i Creswell, logika dizajna polazi upravo od toga da pitanje usmerava kasnije odluke o dizajnu, podacima i inferenciji.

Zato je dominantna logika ovog posta RQ > M > D. Istraživačko pitanje je prvo jer pokreće čitavu studiju. Metodologija dolazi odmah zatim, jer kada je pitanje slabo, izbor metoda postaje nestabilan ili oportunistički. Podaci slede kao treći problem, jer istraživač tada prikuplja dokaze koji su ili preširoki, ili preplitki, ili previše heterogeni da bi podržali koherentan argument.

Gde dizajn puca u lancu RQ–RH–D–M

Prva i najvažnija tačka loma jeste RQ. Dobro istraživačko pitanje ne radi samo to da imenuje temu. Ono identifikuje problem, razjašnjava predmet istraživanja i uspostavlja izvodljiv pravac za prikupljanje dokaza. Ratan et al. (2019) upravo zato predstavljaju formulaciju istraživačkog pitanja kao postupni proces: dobro pitanje mora biti promišljeno, a ne improvizovano. Kada je pitanje preširoko, studija nikada ne dobija stabilno središte.

Druga tačka loma jeste M, metodologija. Kada pitanje pokušava da obavi previše funkcija odjednom, metod se često bira odbrambeno. Istraživač može izabrati metod zato što deluje dovoljno široko da primi takvo pitanje, a ne zato što je zaista dobro usklađen sa svrhom istraživanja. Može se nadati da će anketa, intervju ili dizajn na osnovu mešovitih metoda „uhvatiti kompleksnost“, iako je pravi problem zapravo loše pitanje. Hoadley (2004) jasno pokazuje da poravnanje ne znači izbor impresivnog metoda, već očuvanje koherentnosti među elementima dizajna.

Treća tačka loma jeste D, podaci. Ako je pitanje preširoko, plan prikupljanja podataka postaje rasut. Istraživači prikupljaju previše informacija, pogrešne informacije ili kombinaciju podataka koja se ne može povezati u disciplinovan odgovor. U kvalitativnim studijama, Agee (2009) pokazuje da dorađivanje pitanja direktno oblikuje ono što će se smatrati relevantnim dokazom. U kvantitativnim studijama, nejasna pitanja često vode ka loše omeđenim promenljivama ili merama koje samo delimično predstavljaju polazne pojmove.

U nekim dizajnima može se javiti i problem sa RH, ali uglavnom kao posledica. Nejasno pitanje najčešće proizvodi nejasne hipoteze, a ne obrnuto. Zato RH ovde nije rangiran kao primarni element.

Kako ova greška iskrivljuje rezultate i zaključke

Preširoko ili nejasno istraživačko pitanje ne čini studiju samo neurednom. Оно menja značenje rezultata. Kada je pitanje bez fokusa, nalazi često deluju fragmentisano. Pojedinačni rezultati mogu biti tehnički korektni, ali celo istraživanje nema jasan interpretativni centar. Zaključak tada postaje labav rezime opažanja, umesto odgovora na jasno postavljeno pitanje. Booth et al. (2024) naglašavaju da istraživanje treba da se kreće od pitanja ka tvrdnji kroz disciplinovano rezonovanje; kada je početno pitanje nestabilno, taj put puca.

Iskrivljenje se može pojaviti i kao lažna sigurnost. Pošto široka pitanja ostavljaju mnogo prostora za različita tumačenja, istraživači mogu naknadno naglasiti samo onaj deo nalaza koji izgleda najsnažnije. Tako nastaje poznat obrazac: studija deluje široko, ali se zaključak oportunistički sužava na ono što je „ispalo dobro“. To nije isto što i dobro dizajnirano istraživanje. To je naknadno stvaranje prividne koherentnosti.

Kako sprečiti ovu grešku pre prikupljanja podataka

Najbolji lek je sužavanje pitanja pre nego što prikupljanje podataka počne. To ne znači trivijalizaciju istraživanja. To znači da pitanje postaje odgovorivo. Dobro istraživačko pitanje je najčešće bolje kada se suzi po jednom ili više osnova: preciznija populacija, jasniji kontekst, određen vremenski okvir, specifičan odnos između pojava ili jasna istraživačka svrha poput opisa, objašnjenja, poređenja ili evaluacije. I Ratan et al. (2019) i Booth et al. (2024) podržavaju upravo to kretanje: od široke teme ka istraživom pitanju.

Drugi preventivni korak jeste proveriti pitanje kroz nameravani metod. Ako je pitanje opisno, da li dizajn zaista podržava opis, a ne uzročno objašnjenje? Ako je pitanje istraživačko, da li je metod zaista prikladan za istraživanje? Ako pitanje podrazumeva poređenje, da li su slučajevi ili grupe jasno definisani? Ovakva metodološka provera brzo otkriva da li pitanje pokušava da radi previše stvari odjednom. Hoadley (2004) je posebno koristan upravo zato što poravnanje tera istraživača da proveri koherentnost pre terenskog rada ili izdvajanja podataka.

Treći preventivni korak je vrlo praktičan: zapitajte se koji bi tačno dokaz predstavljao uverljiv odgovor. Ako to ne možete jasno da opišete, pitanje je verovatno još uvek previše nejasno.

Šta se još može popraviti nakon prikupljanja podataka

Nakon prikupljanja podataka neka popravka jeste moguća, ali ne može se svaka studija spasiti. Najrealnija popravka je često sužavanje tvrdnje, a ne pretvaranje da je prvobitno pitanje bilo dobro. Ako je istraživač prikupio korisne podatke samo za jedan deo širokog pitanja, studija se ponekad može preoblikovati upravo oko tog dela. Na primer, projekat koji je prvobitno pitao o „efektima digitalnog učenja na ishode, motivaciju i jednakost“ možda se može suziti na jedan odbranjiv ishod u jednom jasno određenom kontekstu. To je popravka dometa, a ne izlečenje prvobitne greške.

Druga moguća popravka jeste promena svrhe istraživanja. Pitanje koje je bilo postavljeno kao objašnjavajuće možda će morati da bude preoblikovano kao istraživačko ili opisno ako prikupljeni dokazi ne podržavaju jače tvrdnje. Takvo preusmeravanje može sačuvati intelektualnu poštenost i ipak dovesti do korisnog rada, iako ne ispunjava prvobitnu ambiciju. Ono što se mnogo teže popravlja jeste duboka pojmovna nejasnoća. Ako ključni termini nikada nisu bili jasno definisani, kasnija metodološka prilagođavanja to ne mogu u potpunosti nadoknaditi.

Kratke ilustracije iz različitih oblasti

U obrazovanju, istraživač može postaviti pitanje: „Kako tehnologija utiče na nastavu i učenje na univerzitetima?“ Tema je važna, ali pitanje je preširoko. Ono obuhvata više tehnologija, više nastavnih praksi, više ishoda i više institucionalnih konteksta. Odgovorivija verzija morala bi da precizira jednu tehnologiju, jedan ishod učenja i jedan obrazovni kontekst.

U političkim naukama, studija može postaviti pitanje: „Zašto građani gube poverenje u demokratiju?“ To pitanje spaja istorijske promene, institucionalne performanse, medijske efekte, ideologiju, participaciju i emocije u jednu jedinu istraživačku celinu. Kao dugoročan istraživački program ono ima smisla, ali kao pitanje jedne studije nije dovoljno omeđeno. Užа verzija bi mogla da se usmeri na jedan mehanizam, jednu populaciju i jedan izborni ili institucionalni kontekst.

U ekologiji, projekat može pitati: „Kako klimatske promene utiču na biodiverzitet?“ Tema je legitimna, ali pitanje je preveliko za jedan empirijski dizajn. Bez preciziranja ekosistema, taksonomskog nivoa, vremenske skale ili mehanizma, studija lako sklizne u pregled literature bez koherentne empirijske osnove.

Iako su oblasti različite, greška u dizajnu je ista: pitanje prevazilazi kapacitet studije.

Kratak kontrolni spisak

Pre nego što prikupite podatke, pitajte se:

• Da li moje pitanje pokriva jedan istraživi problem ili nekoliko njih?
• Da li su ključni pojmovi dovoljno jasni da vode prikupljanje dokaza?
• Da li pitanje podrazumeva svrhu koju moj metod zaista može da podrži?
• Mogu li jasno da kažem šta bi bio uverljiv odgovor?
• Kada bih danas morao da suzim studiju, šta bih prvo odbacio?

Dobra studija ne počinje najvećim pitanjem. Počinje najjasnijim.

Literatura

Agee, J. (2009). Developing qualitative research questions: A reflective process. International Journal of Qualitative Studies in Education, 22(4), 431–447. https://doi.org/10.1080/09518390902736512

Booth, W. C., Colomb, G. G., Williams, J. M., Bizup, J., & FitzGerald, W. T. (2024). The craft of research (5th ed.). University of Chicago Press. https://doi.org/10.7208/chicago/9780226826660.001.0001

Creswell, J. W., & Creswell, J. D. (2023). Research design: Qualitative, quantitative, and mixed methods approaches (6th ed.). SAGE.

Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). Achieving integration in mixed methods designs—Principles and practices. Health Services Research, 48(6 Pt 2), 2134–2156. https://doi.org/10.1111/1475-6773.12117

Hoadley, C. M. (2004). Methodological alignment in design-based research. Educational Psychologist, 39(4), 203–212. https://doi.org/10.1207/s15326985ep3904_2

Ratan, S. K., Anand, T., & Ratan, J. (2019). Formulation of research question—Stepwise approach. Journal of Indian Association of Pediatric Surgeons, 24(1), 15–20. https://doi.org/10.4103/jiaps.JIAPS_76_18