Ali res izvemo, kar smo vprašali?

»Anketne raziskave sodijo med najpogosteje uporabljana orodja za zbiranje podatkov v družboslovnih znanostih, kjer je zaradi zapletenosti in pogosto subjektivne narave predmeta proučevanja neredko težko zagotoviti zanesljive in veljavne meritve. Čeprav spletne ankete dosežejo veliko število oseb brez velikih stroškov v kratkem času in kjerkoli po svetu, so rezultat najpogosteje pristranski vzorci, ki predstavljajo za metodologe velik izziv, kako iz teh ogromnih količin podatkov potegniti pravilne sklepe. Veliko ni vedno tudi dobro,« opozarja sociolog prof. dr. Mick P. Couper z univerze v Michiganu.

Prof. dr. Mick P. Couper, raziskovalec na inštitutu za družboslovne raziskave in v centru za anketno raziskovanje univerze v Michiganu, se je kot vabljeni predavatelj udeležil nedavne 5. konference Evropskega združenja za anketno raziskovanje (European Survey Research Association – ESRA), ki je potekala na fakulteti za družbene vede. Poleg številnih strokovnih publikacij je Couper tudi avtor odmevne knjige Designing Effective Web Surveys, ki je izšla pri založbi Cambridge University Press, za delo Nonresponse in Household Interview Surveys, ki je izšlo pri založbi Wiley v zbirki Series, in Probability and Statistics: Survey Methodology Section je – s soavtorjem Robertom M. Grovesom – prejel nagrado Ameriškega združenja za raziskave javnega mnenja (American Association for Public Opinion Research – AAPOR). Letos spomladi je pri založbi Oxford University Press v sodelovanju z metodologoma Rogerjem Tourangeaujem in Frederickom G. Conradom izdal knjigo The Science of Web Surveys.

Kot pravi prof. dr. Anuška Ferligoj, profesorica statistike na fakulteti za družbene vede, članica organizacijskega odbora in lokalna organizatorka konference, ki je pritegnila več kot 650 udeležencev z vsega sveta, je »veliko zanimanje za metodološke probleme anketnega raziskovanja povsem logično, saj so dosedanji načini anketnega raziskovanja zaradi nizke udeležbe premalo učinkoviti, nove tehnologije pa ponujajo možne izhode iz teh težav, vendar njihovi učinki še niso dovolj raziskani«. Tudi povezovanje kvalitativnega in kvantitativnega zbiranja anketnih podatkov predstavlja nove možnosti za kakovostnejše družboslovno raziskovanje in prav te teme so bile na letošnji konferenci najpogosteje obravnavane.

Prvo tovrstno konferenco so organizirali leta 2005 v Barceloni na pobudo prof. dr. Willema E. Sarisa, ki je tudi eden od ustanoviteljev evropskega združenja za anketno raziskovanje, že od začetka pa kot metodolog sodeluje v ožji koordinacijski skupini za pripravo in izvedbo Evropske družboslovne raziskave (European Social Survey – ESS), ki je kot prvi družboslovni projekt prejela prestižno Descartesovo nagrado za odličnost raziskovanja. Na konferenci v Ljubljani je prof. Saris prejel odlikovanje ESRA za življenjsko delo na področju merskih napak v anketnem raziskovanju, kar je bila tudi osrednja tema njegovega vabljenega predavanja.

Med drugim je Saris, ki je profesor metodologije na fakulteti za politične in družboslovne vede univerze Pompeu Fabra v Barceloni, v soavtorstvu z Irmtraud N. Gallhofer pri založbi Wiley izdal knjigo Design, Evaluation, and Analysis of Questionnaires for Survey Research, pri založbi Princeton University Press pa kot sourednik s Paulom M. Snidermanom delo Studies in Public Opinion: Attitudes, Nonattitudes, Measurement Error, and Change.

S prof. dr. Willemom E. Sarisom in prof. dr. Mickom P. Couperjem smo se ob konferenci v Ljubljani pogovarjali o nekaterih aktualnih vidikih sodobne metodologije anketnega raziskovanja in o raziskovalnih projektih, pri katerih sodelujeta.

Profesor Saris, poudarili ste, da podatki anketnih raziskav vedno vsebujejo napake, vendar jih le redki raziskovalci skušajo odpraviti. Zakaj je tako?

Saris : Glavni poudarek mojega predavanja je bil dokaj enostaven, saj pravim, da obstajajo pri anketnem raziskovanju napake v podatkih, vendar je te napake mogoče tudi popraviti. Kako se to naredi, je bilo znano že leta 1971, ko sta Otis D. Duncan, kvantitativni sociolog, in Arthur S. Goldberger, ekonometrik in ekonomist, razvila postopek za popravljanje napak merjenja. Toda problem je v tem, da teh postopkov tako rekoč nihče ne uporablja, in to nadalje vodi v problem, da nihče ne ve, koliko je mogoče zaupati rezultatom teh raziskav, kajti če so napake prevelike, vplivajo na zaključke, ki jih iz teh raziskav izpeljemo.

Obstajajo trije različni razlogi, zakaj se to dogaja. Prvi razlog je prepričanje, da je učinek napake merjenja zelo majhen, kar ni res. Drugi pogost razlog je mnenje, da je napake zelo težko popraviti, kar tudi ni res. Kot tretji razlog pa ljudje pogosto navajajo, da ne obstaja dovolj informacij o kvaliteti vprašanj oziroma o velikosti napak merjenja – in to je bila glavna tema mojega predavanja, saj sta bila prva razloga že prej dovolj znana. Na podlagi postopkov, ki smo jih s sodelavci razvijali več kot dvajset let, je napake v anketnih raziskavah mogoče zlahka popraviti, vendar moramo imeti informacije o kvaliteti vprašanj in velikosti napake merjenja.

V okviru Evropske družboslovne raziskave zastavljate številna vprašanja v različnih jezikih, ki jih govorijo državljani sodelujočih držav. Kako ocenjujete kakovost posameznih anketnih vprašanj?

Saris : V okviru Evropske družboslovne raziskave, ki poteka vsaki dve leti od leta 2001 dalje, smo opravili študijo kvalitete 3000 vprašanj, vendar smo v raziskavi zastavili 60.000 vprašanj. Torej ni pomagalo veliko, da smo analizirali teh 3000 vprašanj, preostalih pa nismo poznali, saj je nemogoče oceniti tako veliko količino vprašanj. Tako smo s sodelavci začeli razvijati računalniški program SQP (Survey Quality Predictor) za napovedovanje kakovosti posameznih anketnih vprašanj s kodiranjem njihovih značilnosti. Na podlagi številnih t. i. večrazsežnostnih-večmetodnih (multitrait-multimethod – MTMM) eksperimentov smo opredelili 60 značilnosti, ki jih je treba upoštevati, ko oblikujemo anketno vprašanje.

Vse te probleme smo analizirali in reševali v okviru mednarodne skupine za metodološke in primerjalne študije anketnih raziskav, v kateri je več kot desetletje aktivno sodelovala tudi prof. dr. Anuška Ferligoj, organizatorka te konference. Program SQP, pri razvoju katerega moram še posebej omeniti prispevek svojega nekdanjega doktorskega študenta Daniela Oberskega, je zdaj brezplačno dostopen na internetu (http://sqp.upf.edu/), zasnovan pa je tako, da lahko vsak uporabnik kodira značilnosti svojih vprašanj ter s tem preverja njihovo zanesljivost in veljavnost, hkrati pa dodaja v bazo nova vprašanja. Tako ustvarjamo čedalje obsežnejšo wikipedijo anketnih vprašanj.

Lahko pojasnite, katere so značilnosti dobrih in slabih vprašanj?

Saris : Kot sem že rekel, ocenjujemo vprašanja glede na 60 značilnosti, ki bi jih težko vse naštel. Zelo pomembne so kategorije odgovorov. Bolje je, če imamo več kategorij odgovorov. V družboslovnih raziskavah obstaja težnja, da se postavi vprašanje, se strinjate ali se ne strinjate z navedenimi trditvami. Taka vprašanja so zelo slaba, ker se ponavljajo vedno v isti obliki, in zaradi enoličnosti ljudje običajno manj pozorno odgovarjajo, zaradi česar lahko dobimo slabe rezultate. Vprašamo na primer lahko, se strinjate ali se ne strinjate, da ste zadovoljni s svojim življenjem. Vendar lahko vprašamo tudi, koliko ste zadovoljni s svojim življenjem, odgovor pa lahko vpišete na 11-stopenjsko lestvico. To vprašanje je za ljudi veliko bolj enostavno kot prvo in da boljše rezultate. Se pravi, če želimo dobiti dobre odgovore, moramo vsako vprašanje zastaviti na drugačen, vsebini ustrezen način.

Profesor Couper, kot ste opozorili v svojem predavanju, je eden od velikih problemov anketnega raziskovanja tudi nepripravljenost ljudi, da bi odgovarjali na ankete.

Couper : Soočamo se z dejstvom, da tudi v primerih, ko je anketa zelo dobro pripravljena in ko je vloženega veliko truda v to, da bi ljudje nanjo odgovorili, lahko pričakujemo, da jih vsaj 40 odstotkov ne bo želelo sodelovati. Vzrok je po eni strani velika zasičenost z najrazličnejšimi anketami, po drugi strani pa ljudje stacionarnih telefonov, prek katerih je še do nedavnega potekala večina anketnih raziskav, skoraj več ne uporabljajo.

Saris : Če izvajamo anketno raziskavo prek stacionarnih telefonov, zdaj že kar 80 odstotkov ljudi, ki so zajeti v vzorec, ni pripravljenih sodelovati, zato iščemo nove načine zbiranja podatkov prek interneta, mobilnih telefonov ali s kombinacijo različnih načinov. Ta mešani način se čedalje bolj uveljavlja; tako na primer anketo začnemo na telefonskem vzorcu, vendar če se ljudje na telefon ne odzovejo, jih poskušamo doseči bodisi po pošti, po elektronski pošti ali pa poskušamo opraviti osebne pogovore.

V strokovni literaturi so se celo pojavila mnenja, da bodo t. i. veliki podatki (big data) nadomestili anketne raziskave.

Couper : Ja, o velikih podatkih potekajo v strokovni javnosti že nekaj let zelo žive razprave, saj se količina podatkov, ki jih zbirajo različne ustanove po vsem svetu, vsako leto poveča skoraj za polovico, iz njih pa je mogoče z naprednimi analitičnimi metodami izluščiti pomembne zakonitosti in povezave med različnimi dogodki in pojavi. Obstajajo trije različni tipi velikih podatkov. Najprej so to administrativni podatki, ki jih zbirajo vlade, ko urejajo različne zadeve, drugi tip so transakcijski podatki, denimo, vsakič ko nekaj kupite s kreditno kartico v trgovini ali prek interneta, se ta podatek shrani, in tretji vir podatkov so družabna omrežja, kot so facebook, twitter, blogi in podobno.

Nekateri raziskovalci menijo, da zdaj ko imamo velike podatke, anketnih raziskav ne potrebujemo več, s čimer se seveda ne strinjam. Vzemimo kot primer omrežje twitter, ki je v ZDA veliko večje omrežje kot v Sloveniji, toda ljudje, ki ga uporabljajo, so zgolj zelo majhen del prebivalstva, to so mnenjski voditelji, in če raziskujemo njihove značilnosti, ne raziskujemo celotne družbe. Ti podatki so sicer prosto dostopni, so poceni in veliki, vendar so zelo pristranski. Moje mnenje torej je, da veliki podatki ne bodo nadomestili anketnih raziskav ali jih ukinili, ampak bodo dodali nove metode, nova orodja za družboslovne raziskave.

Dobro načrtovane anketne raziskave so nujno potrebne tudi zato, ker omogočajo razumevanje velikih podatkov in ker lahko njihove rezultate primerjamo z rezultati analiz, ki so bile opravljene na velikih podatkih. Anketne raziskave se morajo spremeniti in se prilagoditi razvoju novih tehnologij, toda metoda anketnega raziskovanja je še vedno uporabna, dobra in pomembna.

Kaj priporočate raziskovalcem, da bodo njihove anketne raziskave bolj uspešne?

Saris : Predvsem moramo razmišljati, kako oblikovati vprašanja, da bo anketa kratka in jedrnata, vendar dovolj informativna, da bo omogočila preverjanje teorije, ki nas zanima. Še posebej na internetu anketa ne sme biti dolga, saj ljudje odgovarjanje hitro opustijo, če vidijo, da jim bo vzelo preveč časa.

Couper : Čim bolj je treba izkoristiti možnosti, ki jih ponujajo nove komunikacijske tehnologije, kot so mobilni telefoni in internet. Ob tem bi želel podariti, da je Slovenija med vodilnimi v svetu pri spletnih anketnih raziskavah. Tokrat sem v Ljubljani četrtič in ob vsakem obisku opažam, da poteka tu za tako majhno državo izjemno veliko zanimivih in pomembnih raziskav. Prva doktorska disertacija o spletnih anketah, ki je bila napisana v angleščini, je bilo pred dobrim desetletjem delo dr. Katje Lozar Manfreda, katere somentor sem bil v tistem času in ki je zdaj predavateljica družboslovne informatike in metodologije na fakulteti za družbene vede v Ljubljani.

Kot metodolog tudi menim, da bi morali raziskovalci več pozornosti posvečati problemu manjkajočih odgovorov, razvijati boljše metode merjenja kvalitete podatkov ter uporabljati in razvijati boljša statistična orodja.

Mladim raziskovalcem vselej svetujem, naj bodo odprti za nove ideje, vendar naj »starih« metod ne zavržejo prehitro, naj gledajo v prihodnost, vendar naj ne ignorirajo preteklosti, naj si pridobijo, kolikor je le mogoče, tehničnega in statističnega znanja in naj ne podcenjujejo vrednosti dobre teorije.

Profesor Couper, med drugim sodelujete tudi v obsežnem raziskovalnem projektu o dejavnikih tveganja za samomorilno vedenje v ameriški vojski, ki ga poleg raziskovalcev univerze v Michiganu izvajajo tudi raziskovalci z univerz Harvard in Columbia. Kateri dejavniki so za to dokončno odločitev najbolj pomembni?

Couper : Za zdaj še vedno zbiramo podatke, tako da bo preteklo še nekaj let, preden bomo prišli do rezultatov. Tako kot pri večini drugih raziskav, v katerih sodelujem, je tudi v tem projektu moja vloga predvsem pomoč pri načrtovanju in skrb za metodološko ustrezno izvedbo raziskave. Problem samomorov v ameriški vojski smo začeli raziskovati, ker se je število samomorov v Afganistanu in pred tem v Iraku skrb zbujajoče povečalo. Poleg tega se je veliko vojakov vrnilo iz spopadov z resno posttravmatsko stresno motnjo.

Ameriška vojska je ugotovila, da je to zelo velik problem, in je vložila veliko denarja v raziskave, na podlagi katerih bi poskušali ugotoviti, kakšne so posledice, zaradi katerih trpijo vojaki, ko se vrnejo z bojišč, in kakšen je njihov obseg. Med drugim testiramo vojake pred odhodom na bojišče in opravimo obsežne pogovore z njihovimi družinami, sorodniki, prijatelji in sodelavci. Poglobljene klinične pogovore pa opravimo z družinami tistih vojakov, ki so umrli zaradi samomora ali pa je bil vzrok njihove nenadne smrti kak drug razlog. Pogovorimo se tudi z vsemi drugimi osebami, ki so bile za tega vojaka pomembne oziroma so mu bile blizu.

Cilj te obsežne študije je, da bi raziskali kratko- in dolgoročne učinke izpostavljenosti vojni, kot so verjetnost, da bo človek naredil samomor, da bo depresiven, da bo njegovo splošno zdravstveno stanje slabše ipd. Namen študije ni preprečevanje samomora, temveč bomo poskušali pojasniti, kateri dejavniki vplivajo nanj, in upamo, da bo na tej podlagi njihov učinek mogoče zmanjšati.

Na konferenci je bilo v razpravi izraženo mnenje, da se raziskave samomorilnosti vse preveč osredotočajo na posameznika, manj pa na situacijo, v kateri se je to dejanje zgodilo.

Couper : S tem stališčem se strinjam in prav zato izvajamo zelo obširne anketne raziskave z namenom, da bi raziskali tudi kontekst: družbo, družino, podporno omrežje, se pravi, ožje in širše okolje, v katerem človek živi in dela.

V ZDA že vrsto let obstaja gibanje, ki se imenuje Od osebe do družbe. Če želimo razumeti neko bolezen, moramo proučiti tudi genetske dejavnike, ki jo lahko povzročajo, vendar obstaja danes veliko raziskav, ki dokazujejo, da je to, kar so še pred nedavnim mislili, da je genetski povzročitelj problema, dejansko interakcija med genetskimi dejavniki in okoljem. Torej, tako v medicini kot tudi v drugih vedah, ki se ukvarjajo s človekovim zdravjem, vse bolj in bolj spoznavajo, da za pojasnjevanje bolezni ni dovolj, če raziskujemo zgolj človeka kot posameznika, temveč moramo razumeti celotno družbo na vseh ravneh, vse od družine, šole, podjetij in drugih ustanov do politike in države. To je zelo pomembno odkritje, ki povezuje spoznanja različnih znanstvenih disciplin, kot so sociologija, psihologija, medicina, antropologija in biologija.

Kakšno družbeno okolje v Evropi osvetljuje Evropska družboslovna raziskava, ki poteka od leta 2001 zdaj že v 34 državah?

Saris : Ena ali več Evrop, se sprašujemo raziskovalci, ki sodelujemo pri tem obsežnem raziskovalnem projektu, pri katerem je moja naloga predvsem, da skrbim za metodološko pravilno izvedbo raziskave, za nadzor kvalitete, da so vprašanja dobro oblikovana. Kot je pokazalo zadnje anketiranje, kljub večji evropski integraciji še vedno obstajajo pomembne razlike med državami. Še posebej izstopajoče so razlike med vzhodnimi in zahodnimi državami v politični angažiranosti državljanov in s tem povezanimi političnimi stališči, kar je posledica zgodovinskih in kulturnih razlik ter različnih pravnih in institucionalnih ureditev. Iz rezultatov je razvidno, da obstaja bistveno manjša verjetnost, da bodo ljudje, ki živijo v državah vzhodne Evrope, sodelovali pri institucionalnih političnih akcijah, stopili v stik s politikom, ki bi lahko prispeval k rešitvi njihovega problema, sodelovali s politično stranko ali kakšno drugo politično organizacijo, podpisali peticijo ali pa šli na demonstracije, medtem ko je za državljane zahodnoevropskih držav to veliko bolj verjetno.

Iz rezultatov so razvidne tudi vse večje razlike med severno in južno Evropo, ki so posledica gospodarske krize v evroobmočju. Kot kaže, je kriza najmanj prizadela delavce v nordijskih državah, najbolj pa na jugu, še posebej v Grčiji, kjer je opazen velik upad zaupanja v politične institucije. Poleg tega prebivalci nordijskih držav najbolj zaupajo svoji policiji in sodiščem in menijo, da njihove državne ustanove delujejo verodostojno in pošteno, medtem ko državljani vzhodne Evrope svojim institucijam in pravnemu sistemu bistveno manj zaupajo.

Je raziskava pokazala tudi razlike v zdravstvenem stanju prebivalcev Evrope?

Saris : Rezultati ESS so pokazali jasno povezanost med zdravjem in različnimi pokazatelji družbenega in ekonomskega položaja ljudi. Zdravje človeka je odvisno od kvalitete njegovega bivanja, kraja, kjer živi, koliko zasluži, kakšno izobrazbo ima, kakšen je njegov poklic in delo, ki ga opravlja. Ljudje, ki opredeljujejo svoje zdravstveno stanje kot slabo, imajo najpogosteje nizke osebne dohodke, zaposleni so na manj uglednih delovnih mestih in nimajo dokončane srednje šole.

Kot je razvidno iz raziskave, je splošno zdravstveno stanje prebivalstva najboljše v nordijskih državah, na Irskem in v Veliki Britaniji, slabše pa v državah jugovzhodne Evrope. Delež prebivalcev, ki ocenjuje svoje zdravstveno stanje kot dobro, je namreč najnižji na Madžarskem, nizek pa je tudi na Češkem, v Sloveniji in na Poljskem. Neenakosti v zdravju prebivalstva znotraj in med državami predstavljajo velik izziv tako za politike kot tudi za strokovnjake, saj bi jih z ustrezno socialno politiko prav gotovo lahko zmanjšali.