Zašto slabi intervjui, slabo posmatranje i nizak analitički prinos pripadaju istom problemu dizajna

Uvod: transkript je dug, ali su dokazi i dalje tanki

Jedan od najčešće pogrešno shvaćenih problema u kvalitativnom istraživanju jeste verovanje da velika količina materijala automatski znači i snažne dokaze. To nije tačno. Studija može imati mnogo stranica intervjua, duge beleške sa terena ili sate snimljenih interakcija, a da ipak proizvede tanke kvalitativne dokaze. Tanki dokazi nastaju onda kada intervjui ostanu na površini, kada posmatranje zahvati premalo relevantnog konteksta ili kada prikupljeni materijal ne daje dovoljno analitičke dubine da podrži tvrdnje koje studija želi da iznese. Sutton i Austin (2015) naglašavaju da kvalitativno istraživanje ne zavisi samo od prikupljanja reči, već od prikupljanja materijala koji može nositi smisleno tumačenje. Moser i Korstjens (2018) slično tretiraju uzorkovanje, prikupljanje podataka i analizu kao čvrsto povezane, a ne kao odvojene faze.

Ove greške pripadaju zajedno zato što nisu odvojeni tehnički nedostaci. One su tri izraza istog neuspeha u dizajnu: studija prikuplja kvalitativni materijal, ali ne dovoljno prave vrste materijala da bi dobro odgovorila na istraživačko pitanje. Površan intervju daje malo interpretativne dubine. Slabo posmatranje propušta društvenu, prostornu ili bihejvioralnu teksturu koja rečima daje značenje. Nizak analitički prinos znači da ni posle kodiranja i tumačenja materijal ne podržava uvid srazmeran ambiciji pitanja. Malterud, Siersma i Guassora (2016) deo te logike hvataju pojmom moć informacija: nije važno samo koliko podataka imamo, već koliko relevantne i korisne informacije uzorak i materijal zaista sadrže za cilj studije.

Zajednička logika neuspeha u ovoj grupi

Dominantan kontekst ovde je pre svega kvalitativan, iako je lekcija važna i za mixed methods istraživanja. Osnovna logika je D > M > RQ. Podaci dolaze prvi zato što se najočigledniji problem vidi upravo u dokazima: intervjui, posmatranja, dokumenti, terenske beleške ili interakcijski materijal su previše tanki da bi nosili interpretativni teret koji im studija nameće. Metodologija dolazi druga zato što tanke dokaze često proizvodi slaba strategija generisanja podataka, loš dizajn intervjua, nedovoljno posmatranje, ograničen pristup, ubrzan terenski rad ili nedovoljno razvijena logika uzorkovanja. Istraživačko pitanje dolazi treće zato što pitanje može i dalje biti vredno, ali studija nije proizvela dokaze sposobne da na njega odgovore.

Ova grupa nije prvenstveno o statistici, niti o veličini uzorka u kvantitativnom smislu, niti o tome da li ima deset ili dvadeset intervjua. Hennink, Kaiser i Marconi (2017) razlikuju zasićenje kodova od značenjskog (ili interpretativnog) zasićenja, pokazujući da istraživač može relativno brzo doći do ponavljanja tema, a da ipak ne dostigne dublje interpretativno razumevanje potrebno za snažne kvalitativne zaključke. Upravo zato tanki dokazi mogu postojati čak i kada dataset na papiru izgleda „dovoljno velik“.

Tri povezane greške, jasno razdvojene

Prva greška su slabi intervjui. To se dešava kada intervjui proizvode kratke, opšte, previše deskriptivne ili društveno uglađene odgovore koji ne osvetljavaju procese, značenja, dileme, kontradikcije ili kontekst. Problem nije samo u tome što učesnici malo govore. Problem je u tome što dizajn intervjua, stil postavljanja pitanja, odnos poverenja ili konceptualni fokus ne uspevaju da izvuku materijal koji može nositi interpretaciju. Sutton i Austin (2015) naglašavaju da kvalitativno prikupljanje podataka zahteva veštinu izvlačenja iskustva, a ne samo postavljanje spiska pitanja.

Druga greška je slabo posmatranje. Posmatranje je slabo kada istraživač vidi premalo, ostaje previše daleko od relevantnog okruženja, beleži samo očigledne događaje ili ne zahvata interakciju, rutinu, tišinu, vreme, prostorne rasporede i telesno ponašanje. U mnogim studijama posmatranje se dodaje samo simbolično, ali nije dizajnirano kao ozbiljan izvor dokaza. Moser i Korstjens (2018) naglašavaju da strategija prikupljanja podataka mora odgovarati prirodi fenomena, što znači da kada su društvena praksa, prostor ili interakcija važni, posmatranje ne može biti svedeno na nekoliko usputnih poseta.

Treća greška je nizak analitički prinos. To se dešava kada materijal, čak i nakon kodiranja i pažljivog čitanja, proizvodi samo očigledne teme, deskriptivno ponavljanje ili slab konceptualni zahvat. Istraživač može imati mnogo stranica teksta, ali malo stvarnog uvida u mehanizam, značenje, obrazac ili kontrast. Nizak analitički prinos je često nizvodna posledica prve dve greške, ali se može dodatno pojačati slabim uzorkovanjem i loše fokusiranim pitanjima. Hennink et al. (2017) pomažu da se razjasni zašto ponavljanje površinskih tema nije isto što i interpretativna dovoljnost.

Gde ova grupa prekida lanac RQ–RH–D–M

Na nivou RQ, studija može početi sasvim razumnim kvalitativnim pitanjem: kako ljudi doživljavaju neku politiku, kako tumače zdravstveno stanje, kako se snalaze u profesionalnoj ulozi ili kako koriste kulturno značajan pejzaž? Problem nije nužno u tome što je pitanje pogrešno. Problem je u tome što dizajn često potcenjuje koliko dubine, specifičnosti i kontakta sa kontekstom je potrebno da bi se na takvo pitanje odgovorilo odgovorno. Široko interpretativno pitanje ne može se odgovoriti tankim govorom i minimalnim dodirom sa terenom.

Na nivou M, neuspeh postaje konkretniji. Intervjui mogu biti previše strukturisani, prekratki ili preopšti. Posmatranje može biti povremeno, periferno ili loše dokumentovano. Uzorkovanje može biti vođeno pogodnošću, a ne relevantnošću, što smanjuje moć informacija. Malterud et al. (2016) ističu da adekvatnost uzorka u kvalitativnom istraživanju zavisi od cilja, specifičnosti uzorka, kvaliteta dijaloga, upotrebe teorije i strategije analize. To znači da tanki dokazi nisu jednostavno isto što i „premalo učesnika“. Radi se o nedovoljno informativnom materijalu u odnosu na pitanje.

Na nivou D, slabost postaje potpuno vidljiva. Istraživač sada ima podatke, ali su ti podaci previše plitki, previše opšti, previše repetitivni na površinskom nivou ili previše odsečeni od konteksta da bi podržali snažan odgovor. Zato je D rangiran prvi u ovoj grupi. Najneposredniji problem studije nije to što je pitanje nezanimljivo ili što je metodološka etiketa pogrešna, već to što su sami dokazi previše tanki za posao zaključivanja koji studija želi da obavi. Sutton i Austin (2015) eksplicitno povezuju prikupljanje, analizu i upravljanje kvalitativnim podacima; tanki podaci u fazi prikupljanja kasnije postaju tanki nalazi.

Ovde nema centralnog problema sa RH, jer ova grupa pre svega pripada kvalitativnim istraživanjima, gde formalne hipoteze obično ne upravljaju dizajnom. Ključni lanac je zato RQ → M → D, pri čemu je najuočljiviji neuspeh vidljiv u D.

Kako ova grupa grešaka iskrivljuje nalaze i zaključke

Tanki kvalitativni dokazi iskrivljuju studije na suptilan, ali ozbiljan način. Oni često proizvode nalaze koji zvuče uverljivo, ali ostaju nedovoljno potkrepljeni. Teme mogu izgledati uredno, ali su generičke. Citati mogu biti čitljivi, ali ne nose mnogo interpretativne težine. Zaključci mogu zvučati kao uvid, ali su zasnovani na materijalu koji nije dostigao dovoljno dubine da bi opravdao snažne tvrdnje o značenju, procesu ili doživljenom iskustvu. Hennink et al. (2017) pokazuju zašto se to dešava: istraživači mogu relativno rano dostići ponavljanje na nivou tema, a ipak ostati bez dovoljno dubine za interpretativno samopouzdanje.

U sociologiji, studija može pitati kako prekarni radnici žive nesigurnost, a koristiti kratke intervjue koji hvataju samo standardne žalbe i opšte stavove. Rezultat može prepoznati poznate teme poput nesigurnosti, stresa i nestabilnosti, a da ipak ne pokaže kako radnici zaista tumače kompromise, nose se sa rizikom ili pregovaraju o identitetu.

U istraživanjima zdravlja i dobrobiti, studija može pitati kako pacijenti žive sa hroničnim stanjem, a osloniti se na kratke intervjue fokusirane uglavnom na simptome i zadovoljstvo uslugom. Takav materijal može opisati teret, ali ne i dovoljno osvetliti adaptaciju, značenje, vreme i relacijski kontekst.

U arheoastronomiji, projekat može pitati kako se zajednica ritualno odnosi prema mestima orijentisanim prema nebu, ali posmatranje može biti previše ograničeno, a intervjui previše opšti da bi se povezali prostorna orijentacija, praksa, sećanje i tumačenje. U svim tim slučajevima nalazi lako ostaju deskriptivni fragmenti umesto dobro potkrepljenih kvalitativnih objašnjenja.

Kako izbeći ovu grupu grešaka pre prikupljanja podataka

Najsnažnija prevencija jeste da se dizajnira za dubinu, a ne samo za pristup. Pre nego što prikupljanje podataka počne, istraživač treba da pita kakav bi materijal uopšte omogućio uverljiv odgovor. Ako se pitanje odnosi na značenje, kontradikciju, suočavanje, ritual ili proces, vodič za intervju mora podstaći naraciju, primer, napetost, sekvencu i refleksiju, a ne samo iskazivanje mišljenja. Sutton i Austin (2015) podvlače da kvalitativno intervjuisanje zahteva pažnju prema tome kako se pitanja postavljaju i kako se izvlače bogati odgovori.

Drugi preventivni korak jeste da se posmatranje tretira kao ozbiljan izvor dokaza kad god je fenomen praktičan, prostoran, telesan ili interakcijski. Slabo posmatranje često dolazi iz potcenjivanja važnosti konteksta. Moser i Korstjens (2018) naglašavaju da strategije prikupljanja podataka moraju odgovarati fenomenu koji se proučava. Ako je praksa važna, dizajn mora stvoriti uslove da se praksa zaista vidi.

Treći preventivni korak jeste razmišljanje kroz moć informacija, a ne kroz mehaničku veličinu uzorka. Malterud et al. (2016) tvrde da bogatiji, specifičniji i relevantniji podaci mogu opravdati manje uzorke, dok slabiji dijalog i širi ciljevi zahtevaju više materijala. To je važna korekcija plitkog pravila da se kvalitativna rigoroznost pre svega svodi na dostizanje određenog broja intervjua.

Četvrti preventivni korak jeste da se ne prati samo da li novi intervjui dodaju nove kodove, već da li dodaju novo značenje. Hennink et al. (2017) pokazuju da zasićenje kodova i značenjsko zasićenje nisu isto. Ta razlika pomaže istraživaču da proceni da li zaista gradi dubinu ili samo prikuplja više istog površinskog materijala.

Šta se još može popraviti nakon prikupljanja podataka

Nakon prikupljanja podataka neka popravka jeste moguća, ali samo u ograničenoj meri. Ako su intervjui donekle tanki, ali ne i prazni, istraživač može suziti tvrdnju, smanjiti interpretativnu ambiciju i nalaze predstaviti više kao deskriptivne nego kao eksplanatorne. Ako je posmatranje slabije nego što je planirano, ono i dalje može pomoći u kontekstualnom uokvirivanju, čak i ako ne može podržati jače tvrdnje o praksi ili interakciji. U nekim slučajevima naknadna runda intervjua ili dodatno posmatranje može zaista ojačati studiju, ali samo ako je projekat još otvoren i ako je istraživač transparentan u vezi sa izmenom.

Ono što se obično ne može popraviti jeste duboki nedostatak evidencijske bogatosti kada je terenski rad završen. Kratak, generički intervju bez poverenja ne može se naknadno pretvoriti u bogat iskaz samo kodiranjem. Minimalno posmatranje ne može se retroaktivno proširiti u uranjanje u kontekst. Tanki podaci ponekad mogu podržati uži rad, ali retko mogu podržati prvobitno ambiciozno pitanje. Zato je prevencija u ovom delu serije važnija od spašavanja.

Kratak kontrolni spisak

Pre prikupljanja podataka, pitajte se:

• Da li će moji intervjui proizvesti priče, napetosti, primere i procese ili samo stavove?
• Ako su praksa i kontekst važni, da li sam dizajnirao ozbiljno posmatranje, a ne simbolično posmatranje?
• Da li tražim samo ponavljanje kodova ili dovoljno dubine za interpretaciju?
• Da li moj uzorak ima dovoljno information power za cilj studije?
• Kada bi moj terenski rad stao sutra, da li bi moj materijal podržao samo opis ili pravi kvalitativni uvid?

Dobro kvalitativno istraživanje ne određuje se brojem stranica transkripta. Određuje se time da li su dokazi dovoljno bogati, dovoljno fokusirani i dovoljno kontekstualni da na pitanje odgovore dobro.

Literatura

Hennink, M. M., Kaiser, B. N., & Marconi, V. C. (2017). Code saturation versus meaning saturation: How many interviews are enough? Qualitative Health Research, 27(4), 591–608. https://doi.org/10.1177/1049732316665344

Malterud, K., Siersma, V. D., & Guassora, A. D. (2016). Sample size in qualitative interview studies: Guided by information power. Qualitative Health Research, 26(13), 1753–1760. https://doi.org/10.1177/1049732315617444

Moser, A., & Korstjens, I. (2018). Series: Practical guidance to qualitative research. Part 3: Sampling, data collection and analysis. European Journal of General Practice, 24(1), 9–18. https://doi.org/10.1080/13814788.2017.1375091

Sutton, J., & Austin, Z. (2015). Qualitative research: Data collection, analysis, and management. The Canadian Journal of Hospital Pharmacy, 68(3), 226–231. https://doi.org/10.4212/cjhp.v68i3.1456