Method effects: analysis of selected characteristics of a group of phenomena that affect survey results

Prema klasičnoj teoriji testova, bruto rezultat se sastoji od dva djela: pravog rezultata i komponente pogreške, koja se dijeli na dva tipa: sustavnu i slučajnu pogrešku. U anketnim istraživanjima postoji dodatna grupa efekata koji utječu na rezultate, koji po svojoj definiciji ne spadaju u sustavne pogreške, ali im po svojim utjecajima sliče, a to su efekti metode. U studiji 1, fokusirali smo se isključivo na utjecaje jednog efekta metode, formulacije iskaza te smo koristili dvije inačice anketnog upitnika. Uzorak se sastojao od N = 791 sudionika. Utjecaji formulacije iskaza vidljivi su u statistički značajnoj razlici u aritmetičkim sredinama, ali i u razinama mjerne invarijatnosti koje skale dosežu. Na kraju smo dali prijedlog konstruiranja skala koje u sebi sadrže i pozitivne i negativne iskaze. U studiji 2, fokusirali smo se na utjecaje nemarnog odgovaranja i pristranosti slaganja. Istraživanje je provedeno na kvotnom uzorku veličine N=483. Kako bismo mogli mjeriti utjecaj nemarnog odgovaranja, uključili smo dva posebna iskaza (IMC). Pristranost slaganja s iskazima mjerili smo tako što smo specificirali indeks pristranosti slaganja s iskazima bez obzira na njihov sadržaj odnosno NARS. Osim ovog pristupa, koji je primarno usmjeren na mjerne i strukturne modele, odlučili smo koristiti i ipsatizaciju rezultata. Konstruirali smo i indeks pomoću kojeg smo otežali varijable s obzirom na efekte metode. IMC iskazi nisu pokazali zadovoljavajuće razine valjanosti, ali smatramo da je to jednim dijelom rezultat veličine uzorka/grupa. Utjecaji nemarnog odgovaranja su vidljivi po tome što multigrupnom analizom nije došlo do konvergiranja konfiguralnog modela suvremenog seksizma, koji je pokazao zadovoljavajuće pristajanje na razini cijelog uzorka. Ipsatizacija se nije pokazala korisnom metodom kontroliranja pristranosti slaganja, dok se SEM pristup pokazao korisnim. Na temelju naše analize, model koji odvaja latentne dimenzije nemarnog odgovaranja i pristranosti slaganja, koje su u nultoj korelaciji međusobno i sa sadržajnim dimenzijama, pokazuje najbolje slaganje.The classical test theory defines that the raw result is made up of two parts: true score and its error, which can be random or systematic. There is a group of phenomena in survey research, which by definition aren’t a part of systematic errors, but are similar to them in regard to their effects: method effects. In the first study, we tested the effects of one method effect: item wording, using a split-ballot design. The sample size was N = 791 participants. The effects of item wording were noticeable in item means, but also in levels of measurement invariance. We presented a way of handling item wording effects when constructing balanced scales. In the second study, we tested the effects of careless responding and acquiescence bias. We used a quota sample [N = 485]. To classify respondents as either careful or careless, we used IMC items. To test levels of acquiescence, we specified a NARS index. These ways were primarily SEM oriented, so we decided to ipsatize the results as well. We also constructed a bias index which should remove the biases from the raw data. The IMC items didn’t show adequate levels of validity, but we think that it is in part due to the sample size. Careless responding effects were noticeable in the multigroup model not converging, whereas the whole-sample model showed adequate fit parameters. Ipsatization did not prove to be a useful method for controlling acquiescence, whereas the SEM approach was. The model which separated method effects and traits showed best fit parameters