Kako metodološka zrelost počinje onda kada se kvalitet dizajna procenjuje kroz uklapanje, koherentnost i disciplinu zaključivanjau

1. Intuitivni uvod

Snažna studija nije jednostavno ona koja koristi naprednu statistiku, duge intervjue ili kombinaciju metoda. Snažna je ona studija čiji je dizajn dovoljno koherentan da podrži tvrdnje koje iznosi. To zvuči očigledno, ali se često zaboravlja. Istraživači redovno procenjuju studije po vidljivim spoljnim markerima: veličini uzorka, broju intervjua, sofisticiranosti softvera ili prisustvu i kvalitativne i kvantitativne grane. Međutim, te osobine same po sebi ne uspostavljaju snagu dizajna. Creswell i Creswell (2023) tretiraju istraživački dizajn kao logiku koja povezuje pitanja, dokaze, procedure i interpretaciju, zbog čega snagu treba procenjivati na nivou uklapanja, a ne na nivou izgleda.

Ranije blog objave bavila su se istraživačkim pitanjima, prevođenjem koncepata, izborom metodologije i planiranjem dokaza. Ova objava ide jedan nivo više. Njen fokus nije na jednoj pojedinačnoj odluci, već na tome šta čini studiju snažnom kao celinu kada se sve te odluke spoje. Shadish, Cook i Campbell (2002) to snažno pokazuju za eksperimentalni i kvazi-eksperimentalni rad: rigoroznost nije ukras koji se dodaje na kraju, već svojstvo same logike dizajna. Maxwell (2013) iznosi paralelnu poentu za kvalitativno istraživanje, tvrdeći da kvalitet dizajna zavisi od toga koliko dobro njegovi delovi rade zajedno.

2. Šta „snažan dizajn” zaista znači

Snažan dizajn je onaj koji može da odgovori na sopstveno pitanje na disciplinovan i odbranjiv način. Ta definicija je namerno jednostavna, jer funkcioniše kroz različite istraživačke tradicije. U kvantitativnom istraživanju snaga često zavisi od toga da li dizajn može da podrži željeni oblik zaključivanja, bilo da je on opisan, asocijativan, prediktivan ili uzročan. U kvalitativnom istraživanju snaga zavisi od toga da li studija proizvodi dovoljno bogate, kontekstualno utemeljene i analitički smislene dokaze za interpretativni zadatak. U istraživanju na osnovu mešovitih metoda snaga zavisi ne samo od kvaliteta svake pojedinačne grane, nego i od toga da li su te grane zaista integrisane u jedno koherentno istraživanje. Fetters, Curry i Creswell (2013) naglašavaju da je integracija centralni izazov dizajna na osnovu mešovitih metoda, što znači da snažna studija na osnovu mešovitih metoda nije samo udvojena studija, već povezana studija.

Ova definicija takođe pomaže da se ispravi jedna česta zabluda. Snažan dizajn nije isto što i velika skala, skupo terensko istraživanje ili komplikovan analitički alat. Skroman dizajn može biti snažan ako je pošten prema svom dometu, ako dobro odgovara pitanju i ako proizvodi dokaze srazmerne tvrdnji. Složeniji dizajn i dalje može biti slab ako njegovi delovi nisu usklađeni.

3. Glavna logika ovog poglavlja

Dominantna logika ovde je M > D > RQ, ali u nešto zrelijem smislu nego u ranijim objavama. Metodologija dolazi prva zato što je ovo poglavlje o arhitekturi celokupnog dizajna: kakva je struktura potrebna da bi studija zaslužila poverenje. Podaci dolaze drugi zato što kvalitet dokaza pokazuje da li ta arhitektura zaista funkcioniše u praksi. Istraživačko pitanje dolazi treće ne zato što je nevažno, već zato što su ranije objave već pokazala da je pitanje početna tačka. Ovde se naglasak pomera na to da li izabrani dizajn ima dovoljno snage da to pitanje odgovorno nosi.

Ovaj poredak pomaže da se objasni zašto mnoge studije deluju snažnije nego što jesu. Projekat može početi dobrim pitanjem, ali ako je arhitektura dizajna slaba, dokazi neće podržati planirano zaključivanje. Rezultat i dalje može biti objavljiv u užem smislu, ali neće biti metodološki zreo.

4. Dizajniranje snažnih kvantitativnih studija

Snažna kvantitativna studija nije samo ona koja koristi numeričke podatke. To je ona u kojoj promenljive, poređenja, vremenska struktura i struktura dokaza odgovaraju cilju zaključivanja. Ako je studija opisna, dizajn treba da podrži precizan opis. Ako je komparativna, grupe treba da budu smisleno uporedive. Ako je asocijativna, varijable moraju biti merene tako da podrže tvrdnju o odnosu među njima. Ako je uzročna, dizajn mora uraditi mnogo više: mora se uverljivo nositi sa selekcijom, problemom smetajućih promenljivih, vremenskim redosledom i alternativnim objašnjenjima. Shadish, Cook i Campbell (2002) ostaju temeljna referenca upravo zato što insistiraju da je uzročna snaga svojstvo dizajna, a ne samo statističkog jezika.

Drugo obeležje snažnog kvantitativnog dizajna jeste operacionalna disciplina. Koncepti moraju biti prevedeni u promenljive na način koji nije samo pogodan, nego i odbranjiv. Studija koja meri samo fragment nekog koncepta može i dalje biti numerički uredna, ali će joj dizajn biti slabiji nego što izgleda, jer dokazi ne odgovaraju u potpunosti konstruktu.

Treće obeležje jeste proporcionalnost između dokaza i tvrdnje. Presečna anketa može podržati opis ili povezanost, ali ne svaku vrstu objašnjenja. Lokalni uzorak može podržati ograničeno zaključivanje, ali ne univerzalnu generalizaciju. Zato snažan kvantitativni dizajn zavisi ne samo od toga šta se meri, već i od toga od čega se studija uzdržava u svojim tvrdnjama.

5. Dizajniranje snažnih kvalitativnih studija

Snažna kvalitativna studija nije samo ona koja sadrži intervjue, posmatranje ili terenske beleške. To je studija u kojoj su dokazi dovoljno bogati, dovoljno fokusirani i dovoljno kontekstualno utemeljeni da podrže interpretativnu ambiciju istraživanja. Maxwell (2013) tretira kvalitativni dizajn kao interaktivni sistem u kojem ciljevi, konceptualni okvir, istraživačka pitanja, metodi i pitanja validnosti moraju raditi zajedno. Zato kvalitativna studija može biti slaba i kada ima mnogo stranica transkripta: bitno pitanje nije samo obim materijala, nego njegova evidencijska i analitička nosivost.

Moser i Korstjens (2018) su ovde korisni zato što povezuju uzorkovanje, prikupljanje podataka i analizu, umesto da ih tretiraju kao odvojene proceduralne kutije. Snažan kvalitativni dizajn obično pokazuje da su učesnici, slučajevi, okruženja ili dokumenti izabrani zbog relevantnosti; da su intervjui ili posmatranja proizveli materijal dublji od površinskih stavova; i da je analiza otišla dalje od opisnog nabrajanja ka obrascu, kontrastu, značenju, procesu ili mehanizmu.

Drugo važno obeležje kvalitativne snage jeste kontekstualna disciplina. Tvrdnje moraju ostati povezane sa okruženjem, interakcijom i granicama same studije. To ne znači da kvalitativni rad ne može govoriti i šire od jednog konteksta. To znači da takvo šire interpretativno kretanje mora biti zasluženo, a ne pretpostavljeno.

6. Dizajniranje snažnih studija na osnovu mešovitih metoda

Snažna studija na osnovu mešovitih metoda zahteva više od dve vrste podataka. Ona zahteva dve vrste dokaza koje su svrhovito dovedene u odnos. Creswell i Plano Clark (2018) pokazuju da dizajni na osnovu mešovitih metoda variraju po strukturi, sekvenci i svrsi, ali da kroz sve te oblike centralno pitanje ostaje isto: zašto su obe grane potrebne i kako će informisati jedna drugu? Fetters i saradnici (2013) identifikuju povezivanje, izgradnja, spajanje i ugrađivanje (engl. connecting, building, merging and embedding) kao konkretne strategije integracije, čime raspravu pomeraju od maglovite želje ka stvarnoj dizajnerskoj praksi.

To znači da snažna studija na osnovu mešovitih metoda ima najmanje tri vidljiva obeležja. Prvo, ima stvarni razlog za mešanje. Drugo, svaka grana je pojedinačno pažljivo dizajnirana. Treće, integracija je planirana u fazi dizajna, analize ili interpretacije, a ne dodata na kraju kao retorički ukras. Studija koja ima anketu i nekoliko intervjua, ali nema stvarnu integrativnu logiku, i dalje može biti korisna, ali nije snažna kao dizajn na osnovu mešovitih metoda .

7. Kako snaga izgleda kroz različite dizajne

Kroz sve tri porodice dizajna, snaga ima zajedničko jezgro: usklađenost između pitanja, dokaza i tvrdnje. Ali ona se takođe ispoljava na dizajnerski specifične načine.

U kvantitativnom radu snaga se često vidi u jasnoći promenljivih, disciplinovanom poređenju, odgovarajućoj strukturi dokaza i uzdržanosti u pogledu zaključivanja. U kvalitativnom radu javlja se kao kontekstualna dubina, bogatstvo informacija, analitički fokus i interpretativni kredibilitet. U radu na osnovu mešovitih metoda javlja se kao kvalitet svake grane plus kvalitet njihove integracije.

Zato snagu ne treba svoditi na jednu istu metodološki hibridnu kontrolnu listu. Neki principi jesu zajednički, ali nisu identični u svom izrazu. Kvalitativna studija ne postaje snažnija time što se pretvara da je kvantitativna. Kvantitativna studija ne postaje snažnija time što joj se doda simbolični intervju. Studija na osnovu mešovitih metoda ne postaje snažnija time što se procedure udvostruče bez integracije.

8. Uobičajeni znaci slabosti u inače uglađenim studijama

Jedan znak slabosti jeste tehnička uglađenost uz slabu logiku zaključivanja. Tabele mogu biti uredne, kodiranje sistematično, a proza samouverena, a da dizajn ipak ne podržava glavnu tvrdnju.

Drugi znak je inflacija dizajna. Studija sebe predstavlja kao širu, dublju ili snažniju nego što njeni dokazi dopuštaju. To može imati oblik uzročnog jezika u neuzročnom kvantitativnom radu, širokih kulturnih tvrdnji iz vrlo lokalnih kvalitativnih dokaza, ili etiketiranja na osnovu mešovitih metoda bez stvarne integracije.

Treći znak jeste tiho nepoklapanje između ambicije i dokaza. Pitanje zvuči veliko, ali je studija uska. Metod deluje napredno, ali su dokazi tanki. Rezultati deluju zanimljivo, ali zaključak prevazilazi plafon zaključivanja dizajna.

Ovi oblici slabosti su važni zato što često prežive recenziju, prezentaciju, pa i objavljivanje. To nisu uvek očigledne greške. Često su to problemi dizajna sakriveni ispod proceduralne kompetentnosti.

Kontrolna lista

Pre nego što finalizujete dizajn, pitajte se:

• Da li arhitektura ove studije odgovara pitanju i cilju zaključivanja?
• Da li su dokazi dovoljno snažni za tvrdnju, a ne samo dovoljno brojni za izveštaj?
• U okviru ove porodice dizajna, šta se računa kao snaga, i da li sam to zaista postigao?
• Da li mešam složenost sa rigoroznošću?
• Ako bi skeptičan čitalac pitao šta ovu studiju zaista čini snažnom, da li bih mogao jasno da odgovorim?

Snažna studija nije ona koja na prvi pogled deluje najimpresivnije. To je ona čiji dizajn zaista zaslužuje poverenje.

Literatura

Creswell, J. W., & Creswell, J. D. (2023). Research design: Qualitative, quantitative, and mixed methods approaches (6th ed.). SAGE.

Creswell, J. W., & Plano Clark, V. L. (2018). Designing and conducting mixed methods research (3rd ed.). SAGE.

Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). Achieving integration in mixed methods designs—Principles and practices. Health Services Research, 48(6 Pt 2), 2134–2156. https://doi.org/10.1111/1475-6773.12117

Maxwell, J. A. (2013). Qualitative research design: An interactive approach (3rd ed.). SAGE.

Moser, A., & Korstjens, I. (2018). Series: Practical guidance to qualitative research. Part 3: Sampling, data collection and analysis. European Journal of General Practice, 24(1), 9–18. https://doi.org/10.1080/13814788.2017.1375091

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.