Zašto slabo uzorkovanje, slab izbor slučajeva i “prigodni” dokazi pripadaju istom metodološkom problemu

1. Zašto ove greške pripadaju istoj grupi

Ova grupa na prvi pogled deluje raznorodno. Problemi sa uzorkovanjem najčešće se vezuju za kvantitativna istraživanja. Izbor slučajeva se obično tretira kao pitanje kvalitativnog pristupa. Dokazi prikupljeni samo zato što su bili najlakše dostupni pojavljuju se u oba sveta i često se brane kao praktična nužnost. Ipak, to nisu tri nepovezane greške. One pripadaju zajedno zato što sve tri odražavaju isti dublji neuspeh: podaci se prikupljaju bez jasne logike dizajna koja povezuje dokaze sa svrhom istraživanja. Drugim rečima, studija ne počinje pitanjem „Kakvi su mi dokazi potrebni da odgovorim na ovo pitanje?“, već pitanjem „Do kojih podataka mogu najlakše da dođem?“ Taj obrt je metodološki skup. Booth et al. (2024) dobro istraživanje opisuju kao disciplinovan put od problema ka tvrdnji, a Creswell i Creswell (2023) na sličan način stavljaju koherentnost dizajna u središte empirijskog rada.

Zato je dominantna logika ovde D > RQ > M. Podaci su prvi zato što se vidljivi neuspeh pojavljuje upravo u dokazima koji su stvarno prikupljeni. Istraživačko pitanje je drugo zato što slaba logika podataka često znači da dokazi više ne odgovaraju obimu ili svrsi pitanja. Metodologija dolazi treća zato što metode mogu biti sasvim korektno sprovedene, ali sada rade na slaboj evidencijskoj osnovi. Tehnički doterana analiza ne može nadoknaditi podatke koji su izabrani zbog pristupačnosti, navike ili pogodnosti, a ne zbog uklapanja u dizajn.

2. Zajednička logika neuspeha u ovoj grupi

Objedinjujuća osobina ove grupe jeste to što istraživač prelazi sa izvodljivosti na dokaze, a da ne prođe kroz logiku dizajna. U kvantitativnim studijama to se često vidi kroz prigodne uzorke koji se tretiraju kao da podržavaju široke tvrdnje o populaciji. U kvalitativnim studijama to se vidi kroz slab ili loše obrazložen izbor slučajeva, gde se slučajevi biraju zato što su dostupni, a ne zato što su analitički informativni. U hibridnim dizajn istraživanjima to se pojavljuje kao šira navika da se studija gradi oko dostupnih podataka, a ne oko potreba za dokazima. Bornstein, Jager i Putnick (2013) naglašavaju da odluke o uzorkovanju imaju dalekosežne posledice za ono što se iz studije sme zaključiti, dok Palinkas et al. (2015) ističu da svrsishodni izbor mora biti usklađen sa ciljevima istraživanja, a ne ostavljen maglovitim ili neizrečenim.

Zbog toga ovu grupu ne treba svesti na jednostavnu primedbu o „lošim uzorcima“. Problem je širi. Prigodni uzorak nije automatski nelegitiman. Svrsishodni izbor slučajeva nije automatski snažan. Neprobabilistički uzorak nije automatski fatalan. Pravi problem je odsustvo transparentnog argumenta koji povezuje izabrane dokaze sa svrhom istraživanja. Seawright i Gerring (2008) sličnu poentu iznose za istraživanja studije slučaja: izbor slučajeva nije naknadna sitnica, već odluka dizajna koja treba da odgovara analitičkoj strategiji studije.

3. Tri povezane greške, jasno razdvojene

Prva greška je slabo uzorkovanje. To se dešava kada uzorak ne odgovara tvrdnji koju istraživač želi da iznese. Studija može opisivati populacioni problem, a oslanjati se na uzorak čiji je odnos prema toj populaciji slab, nestabilan ili neodređen. To ne poništava studiju automatski, ali ograničava ono što se iz nje sme zaključiti. Bornstein et al. (2013) naglašavaju da različite strategije uzorkovanja podržavaju različite nivoe generalizacije i različite vrste zaključaka.

Druga greška je slab izbor slučajeva. Ona je naročito vidljiva u kvalitativnim i istraživanjima na osnovu slučaja, gde pitanje nije „Koliko?“, nego „Zašto baš ovi slučajevi?“ Slučaj može biti tipičan, ekstreman, devijantan, uticajan ili strateški uporediv, ali ne bi smeo biti izabran bez odbranjivog razloga. Seawright i Gerring (2008) izričito opisuju izbor slučajeva kao meni analitičkih opcija, a ne kao puku stvar pogodnosti.

Treća greška su prigodni dokazi. To se dešava kada se podaci koriste pre svega zato što su lako dostupni, jeftini, već postoje ili su lokalno pristupačni. Pogodnost je ponekad neizbežna, i Etikan, Musa i Alkassim (2016), kao i Suen, Huang i Lee (2014), priznaju da prigodno uzorkovanje može biti praktično. Ali praktičnost nije zamena za logiku dizajna. Ako pogodnost upravlja izborom dokaza, istraživač mora tome prilagoditi i domet tvrdnje, umesto da se ponaša kao da su dokazi jači nego što jesu.

4. Gde ova grupa prekida lanac RQ–RH–D–M

Na nivou RQ, studija često počinje pitanjem koje zvuči široko i ambiciozno, ali je plan za podatke mnogo uži. Istraživač iz marketinga može pitati šta potrošači misle o održivoj ambalaži uopšte, a zatim anketirati samo jednu grupu studenata sa jednog kursa. Arheolog može pitati kako su zajednice koristile pejzaž, a zatim se fokusirati na jedno lako dostupno nalazište bez objašnjenja zašto je baš to nalazište analitički centralno. Pitanje ostaje široko, ali su dokazi uski. To nepoklapanje često nije otvoreno priznato.

Na nivou D, neuspeh postaje opipljiv. Uzorak, slučajevi ili izvor dokaza biraju se zato što su blizu, brzi, jeftini ili već dostupni. U kvantitativnom radu to može oslabiti reprezentativnost. U kvalitativnom radu to može oslabiti „bogatstvo informacija“ ili analitičku snagu slučaja. U oba konteksta, pravo pitanje nije samo pristup, nego relevantnost. Palinkas et al. (2015) naglašavaju da svrsishodno uzorkovanje treba povezati sa fenomenom od interesa i sa ciljem studije, dok Bornstein et al. (2013) pokazuju da uzorkovanje na osnovu prigodnosti ograničava ono što se može samouvereno generalizovati.

Na nivou M, dizajn i dalje može delovati metodološki respektabilno. Intervju može biti dobro vođen. Upitnik može biti uredan. Tematska analiza ili regresioni model mogu biti kompetentno sprovedeni. Ali metod se sada primenjuje na dokaze čiji je odnos prema istraživačkoj svrsi slab. Zato ova grupa nije samo „tehnički problem uzorkovanja“. Ona je problem dizajna koji se širi unapred ka interpretaciji i unazad ka formulaciji pitanja.

5. Kako ova grupa grešaka iskrivljuje rezultate i zaključke

Ova grupa ne proizvodi uvek očigledno pogrešne nalaze. Često proizvodi nalaze koji su uži nego što zaključak sugeriše. U marketingu, istraživač može koristiti prigodni uzorak mladih urbanih potrošača, a zatim pisati kao da studija otkriva opšte potrošačke preferencije. U sportskim istraživanjima, studija može regrutovati sportiste iz jednog dostupnog kluba, a zatim generalizovati na sportiste u toj disciplini mnogo šire. U geografiji ili arheologiji, nekoliko lako dostupnih lokaliteta može biti tretirano kao da predstavljaju mnogo širi prostorni ili istorijski obrazac. Sve te studije mogu ipak dati korisne uvide, ali samo ako se tvrdnje drže u granicama dokaza. Bornstein et al. (2013) i Seawright i Gerring (2008) obojica podvlače da se evidencijski domet mora poklapati sa dometom zaključivanja.

Dublja šteta je interpretativna inflacija. Kada su podaci već prikupljeni, istraživač je često u iskušenju da piše prema veličini početne ambicije, a ne prema veličini dokaza. Prigodni dokaz tada se maskira u širok dokaz, slab izbor slučajeva u strateški izbor, a uzak uzorak u osnovu za šire tvrdnje. Tako praktični kompromis postaje metodološko iskrivljenje. Etikan et al. (2016) izričito navode da prigodno uzorkovanje ograničava mogućnost izvođenja zaključaka o široj populaciji, a Suen et al. (2014) prave istu razliku kada porede logiku pogodnosti i svrsishodnog izbora.

6. Kako izbeći ovu grupu grešaka pre prikupljanja podataka

Najsnažnija prevencija jeste da se pre bilo kakve regrutacije, terenskog rada ili izdvajanja podataka postavi jedno pitanje: Kakav bi dokaz bio uverljiv odgovor na ovo istraživačko pitanje? Ako studija cilja na zaključivanje o populaciji, logika uzorkovanja mora to odražavati. Ako cilja na dubinu, mehanizam ili kontrast, izbor slučajeva treba tome da odgovara. Ako istraživač ne može da objasni zašto su baš ti učesnici, baš ti slučajevi ili baš ti zapisi pravi dokazi, dizajn još nije spreman.

Drugi preventivni korak jeste da se logika izbora unapred eksplicitno napiše. U kvantitativnim studijama to može značiti objašnjenje ciljne populacije, okvira uzorkovanja i ograničenja uzorka u pogledu zaključivanja. U kvalitativnim ili studijama na osnovu slučaja to znači jasno reći da li su slučajevi tipični, raznovrsni, ekstremni, devijantni ili na drugi način strateški izabrani. Palinkas et al. (2015) nude koristan jezik za svrsishodan izbor, dok Seawright i Gerring (2008) nude slično eksplicitan okvir za izbor slučajeva.

Treći preventivni korak jeste razlikovanje ograničenja od opravdanja. Nedostatak vremena, pristupa i novca jesu realni uslovi istraživanja, ali oni sami po sebi ne opravdavaju izbor dokaza. Oni ga objašnjavaju. Dizajn i dalje mora pokazati šta izabrani dokazi mogu, a šta ne mogu da podrže.

7. Šta se još može popraviti nakon prikupljanja podataka

Nakon prikupljanja podataka određena popravka jeste moguća, ali se ona najčešće događa na nivou tvrdnje, a ne na nivou prvobitnog evidencijskog dizajna. Prigodan uzorak ponekad ipak može podržati užu i transparentniju istraživačku tvrdnju. Slab izbor slučajeva ponekad se može odbraniti ako se studija prepozicionira kao ilustrativna, a ne reprezentativna. Ograničen uzorak i dalje može dati korisne nalaze ako rad prestane da se ponaša kao da dokazi dosežu dalje nego što zaista dosežu.

U nekim slučajevima i samo istraživačko pitanje može se naknadno suziti. Studija koja je prvobitno pitala o potrošačima uopšte može se preoblikovati u studiju jedne potgrupe. Projekt zasnovan na lokalitetu može se preformulisati kao analiza jednog slučaja, a ne šireg obrasca. Ono što se obično ne može popraviti jeste jaz između širokih početnih tvrdnji i slabog izbora dokaza. Nikakva kasnija metodološka sofisticiranost ne može prigodan uzorak učiniti reprezentativnim niti proizvoljan izbor slučaja učiniti strateškim unazad.

8. Kratak kontrolni spisak

Pre prikupljanja podataka, pitajte se:

• Šta tačno moji dokazi treba da predstavljaju?
• Da li biram učesnike ili slučajeve zato što odgovaraju svrsi istraživanja, ili zato što su mi lako dostupni?
• Ako dostupnost upravlja dizajnom, da li sam tome prilagodio i tvrdnju?
• Mogu li običnim jezikom objasniti zašto su baš ti slučajevi, baš ti učesnici ili baš ti zapisi pravi dokazi?
• Da li će moj zaključak odgovarati obimu dokaza ili obimu početne ambicije?

Dobro istraživanje nije samo pitanje prikupljanja podataka. Ono je pitanje prikupljanja prave vrste podataka za tvrdnju koju želite da iznesete.

Literatura

Booth, W. C., Colomb, G. G., Williams, J. M., Bizup, J., & FitzGerald, W. T. (2024). The craft of research (5th ed.). University of Chicago Press. https://doi.org/10.7208/chicago/9780226826660.001.0001

Bornstein, M. H., Jager, J., & Putnick, D. L. (2013). Sampling in developmental science: Situations, shortcomings, solutions, and standards. Developmental Review, 33(4), 357–370. https://doi.org/10.1016/j.dr.2013.08.003

Creswell, J. W., & Creswell, J. D. (2023). Research design: Qualitative, quantitative, and mixed methods approaches (6th ed.). SAGE.

Etikan, I., Musa, S. A., & Alkassim, R. S. (2016). Comparison of convenience sampling and purposive sampling. American Journal of Theoretical and Applied Statistics, 5(1), 1–4. https://doi.org/10.11648/j.ajtas.20160501.11

Palinkas, L. A., Horwitz, S. M., Green, C. A., Wisdom, J. P., Duan, N., & Hoagwood, K. (2015). Purposeful sampling for qualitative data collection and analysis in mixed method implementation research. Administration and Policy in Mental Health and Mental Health Services Research, 42(5), 533–544. https://doi.org/10.1007/s10488-013-0528-y

Seawright, J., & Gerring, J. (2008). Case selection techniques in case study research: A menu of qualitative and quantitative options. Political Research Quarterly, 61(2), 294–308. https://doi.org/10.1177/1065912907313077

Suen, L. J. W., Huang, H. M., & Lee, H. H. (2014). A comparison of convenience sampling and purposive sampling. Hu Li Za Zhi, 61(3), 105–111. https://doi.org/10.6224/JN.61.3.105