Il pretesting del questionario strutturato. l'analisi dell'interazione tra intervistatore e intervistato

Nella lunga tradizione di riflessioni e ricerche sul tema della “qualità del dato”, mi sembra che due posizioni, tra loro antitetiche, prevalgano sulle altre: una di origine comportamentista secondo la quale la qualità del dato è definita come “assenza di distorsioni nel processo di misurazione” (Groves 1991); l’altra, che Mauceri (2003) ha chiamato “pragmatica”, vede nella qualità del dato “la soddisfazione delle condizioni logiche e metodologiche necessarie al conseguimento degli obiettivi cognitivi della ricerca”. La prima nasce nella psicometria ed è stata successivamente importata nella metodologia della ricerca sociale. Nell’ottocento si diffuse quello che von Hayek (1989) ha chiamato “atteggiamento scientista”, in base al quale le scienze sociali possono svilupparsi solo seguendo strettamente gli orientamenti e i procedimenti delle scienze fisiche. Tale atteggiamento è ancora oggi diffuso. Secondo questa visione, il compito della scienza, di tutte le discipline scientifiche, è individuare relazioni essenzialmente quantitative tra le proprietà indagate di un oggetto, dando per scontata una sostanziale equivalenza tra scienza e misurazione. Lundberg (1939) ha scritto che "se la misurazione dei fenomeni sociali è possibile, il cammino delle scienze sociali conduce sullo stesso difficile ma non insuperabile terreno sul quale la fisica e le altre scienze hanno progredito fino ai loro cospicui trionfi attuali". In un certo senso possiamo dire che la psicometria nasce come trasposizione nella psicologia degli obiettivi, dei metodi e delle tecniche di ricerca in uso nelle scienze fisiche. La progressiva svalutazione delle differenze tra le scienze fisiche e umane si è pian piano trasferita anche alle scienze sociali, che ha fatto propria l’ideologia scientista, dando vita alla cosiddetta “survey methodology”, un approccio fondato sulla teoria della misurazione e del true score . La survey methodology concepisce la qualità del dato come assenza di errori nel processo di misurazione. La definizione di Groves (1989) di “qualità del dato” è “l’assenza di distorsioni e di errori non campionari nel processo di misurazione”, che alterano lo stato reale del soggetto studiato; tale interpretazione concettualizza la qualità del dato in modo discreto e dicotomico (assenza/presenza di distorsioni). Precedentemente Kahn e Cannell (1968, 231) avevano definito la distorsione “un’intrusione di una qualsiasi influenza non programmata e non desiderata” sulla qualità (intesa in senso di integrità) dei dati raccolti. Secondo la prospettiva della survey methodology, per raggiungere tale obiettivo, l’integrità del dato, è opportuno definire e indagare tutte le possibili cause che alimentano l’errore, e che allontanano il valore misurato dal valore vero. Il prodotto di questo lavoro è un complesso di procedure e strumenti utili al ricercatore a prevenire e correggere l’azione distorsiva delle fonti dell’errore. Groves sostiene che tali accortezze hanno come risultato o il pieno raggiungimento della qualità o la sua inevitabile alterazione. Criticando l’atteggiamento scientista sopra descritto, altri studiosi rivendicano l’autonomia ontologica, epistemologica e metodologica delle scienze sociali. Rifiutando l’idea che esiste un solo modello di scienza a cui tutti devono tendere, e accusando i loro stessi colleghi di negare le proprie origini filosofiche perché attratti dalle scienze fisiche e dal loro modello di scienza, questi studiosi hanno dato vita a una visione che Mauceri (2003) ha definito “pragmatica”, cioè un approccio alla qualità del dato che si sottrae al “feticcio della misurazione scientista” (Marradi 1992) e che guarda alle effettive condizioni di ricerca e agli obiettivi cognitivi che la muovono. Tale approccio rifiuta il concetto di “dato reale”; il dato è sempre “costruito” dalle scelte del ricercatore. Secondo Mauceri (2003, 40) è sbagliato concettualizzare “la qualità del dato” in forma discreta e dicotomica. Se il ricercatore dovesse preoccuparsi di ogni possibile fattore di alterazione della qualità del dato da quanto programmato e desiderato, la sua azione risulterebbe inevitabilmente vana, vista l’impossibilità logica di controllarli tutti. È, quindi, necessario ridefinire il concetto di “errore”, e conseguentemente di “distorsione”. C’è distorsione, continua Mauceri (ivi, 41), quando “un dato non soddisfa le condizioni logiche e metodologiche, necessarie ai fini del conseguimento degli obiettivi cognitivi definiti da chi lo ha progettato. (…) In altri termini la distorsione allontana l’esito reale della rilevazione da quello ideale”. L’esito ideale corrisponde a un dato che ha carattere evidenziale rispetto agli obiettivi cognitivi della ricerca, perché in grado di costituire la base empirica necessaria a sottoporre a controllo le ipotesi di lavoro. Per questo il concetto di qualità non può essere dicotomizzato, bensì concettualizzato lungo un continuum che va dal minimo al massimo grado di evidenzialità. Uno dei compiti del ricercatore è prendere in considerazione le migliori strategie di progettazione ex-ante della qualità del dato. Progettare la qualità significa individuare in anticipo le possibili fonti di distorsione, e pianificare le procedure adeguate che riducano al minimo l’impatto del bias sui dati raccolti. Il dato progettato in un’ottica di tutela della qualità non corrisponderà mai al dato successivamente raccolto. Sarebbe utopico sostenere le posizioni di Kahn e Cannell sul controllo totale dei fattori che alterano gli attributi di qualità del dato. Pur consapevole di tali limiti, il ricercatore ha il dovere di progettare la migliore strategia procedurale per garantire che il dato raccolto abbia un notevole carattere evidenziale rispetto alle ipotesi di partenza. Il pretesting è la fase della ricerca deputata allo svolgimento di questa attività. Nel pretesting, infatti, sono implementate quelle procedure e strumenti di ricerca che “tengono sotto controllo le condizioni necessarie per giungere a un dato di qualità, prima di avviare la rilevazione” (Mauceri ivi, 164). Il pretesting si pone una serie di obiettivi conoscitivi finalizzati al miglioramento dello strumento che poi sarà somministrato. Sul piano diagnostico, l’obiettivo del pretesting è rendere il più chiaro e visibile possibile il “passaggio dalla domanda così come formulata dal ricercatore alla domanda così come interpretata dall’intervistato, e dalla risposta così come formulata dall’intervistato alla risposta così come interpretata e registrata sul questionario” (Mauceri ivi, 167). Questo ricostruzione permette al ricercatore di cogliere i processi interpretativi dell’intervistato e controllare se esiste congruenza semantica tra i suoi schemi concettuali, operativizzati nelle domande del questionario, e quelli dell’intervistato. Qualora tale corrispondenza non emerga, il questionario deve essere riprogettato e le domande riformulate. Tutto questo porterebbe alla luce problemi di validità e attendibilità che altrimenti rimarrebbero sconosciuti al ricercatore, alterando incontrollatamente la qualità dei dati raccolti nella rilevazione. Una parte consistente della letteratura metodologica è del parere che l’interazione tra intervistatore e intervistato nell’intervista standardizzata sia un proficuo oggetto di studio per chi si pone nell’ottica di progettare ex ante la qualità del dato. Cannel, Fowler e Mangione (1968) sono stati i primi studiosi a scorgerne l’enorme potenziale. Tralasciando colpevolmente le dinamiche dell’interazione personale tra intervistatore e intervistato, fino agli anni ’70 l’attenzione dei metodologi studiosi del cosiddetto “effetto intervistatore” era focalizzata esclusivamente sul monitoraggio dell’attività dell’intervistatore (la sua capacità di performance rispetto ai compiti assegnatigli) e sugli effetti dei suoi errori. Al fine di individuare quali fossero gli intervistatori peggiori che con il loro ‘cattivo’ comportamento incidevano negativamente sulla qualità delle risposte, la figura dell’intervistato e l’intero processo domanda-risposta sono stati colpevolmente trascurati. Negli ultimi trent’anni gli studi sulla qualità del dato hanno gradualmente spostato l’attenzione dallo studio della figura dell’intervistatore allo studio dell’interazione nell’intervista. La comunità dei metodologi ha preso consapevolezza che il monitoraggio del comportamento dell’intervistatore non ha senso se non include la figura dell’intervistato. L’intervistatore non lavora in una campana di vetro, isolato da chiunque, e la sua capacità di applicare le tecniche della standardizzazione non è indipendente dal soggetto intervistato. Così agli inizi degli anni ’80 la ricerca metodologica si è pian piano avvicinata all’analisi dell’interazione, fino al punto da considerarla oggetto di studio privilegiato per indagare i fattori che incidono sulla qualità del dato. L’analisi dell’interazione non solo ha permesso di valutare meglio l’attività dell’intervistatore, raffinando i modelli concettuali con cui il monitoraggio è progettato e implementato (che finalmente includono anche il ruolo dell’intervistato), ma soprattutto ha consegnato una nuova prospettiva teorica alle strategie di progettazione ex ante della qualità del dato. Le due prospettive teoriche/epistemologiche che nel corso degli anni si sono contrapposte per dettare i principi guida dell’analisi dell’interazione nello studio dell’intervista standardizzata sono state il comportamentismo e l’analisi della conversazione. Nato alle fine del 1800 nelle scienze psicologiche con l’esigenza di superare i limiti del metodo introspettivo wundtiano, l’obiettivo del comportamentismo è stato il perseguimento dell’obiettività della conoscenza attraverso l’oggettività del metodo (Mackenzie 1980). Il metodo introspettivo ideato da Wundt era ormai considerato obsoleto e non più affidabile, per via di un suo grosso limite: non garantiva la replicabilità dei risultati ottenuti in laboratori differenti. A questo proposito Watson, il padre del comportamentismo, autore di La psicologia come la vede il comportamentismo, adottò una soluzione radicale al problema del dualismo anima/corpo: il rifiuto, a priori, degli eventi mentali, perché non osservabili e quindi non indagabili. Watson, sulla scia dei successi delle scienze fisiche e naturali contemporanee, rifiutò l’introspezione, bocciandola come non affidabile e sostenendo un approccio anti-mentalista. L’antimentalismo comportamentista si oppose alla distinzione wundtiana tra “esperienza immediata” ed “esperienze mediata” – distinzione fatta da Wundt per separare le scienze fisiche dalle scienze umane. Venivano così a cadere le reciproche differenze ontologiche ed epistemologiche: gli stessi metodi logici, le stesse tecniche di osservazione, gli stessi standard di evidenza e validità venivano trasferiti dalle scienze fisiche alle scienze sociali. L’oggetto di studio diventava lo stesso della fisica: i corpi in movimento. Watson scriveva: “il comportamentismo è una vera e propria scienza naturale” (Bergmann 1967, 5), che, per ottenere il radicale oggettivismo conoscitivo, non dà altra scelta allo scienziato che l’applicazione di rigidi standard metodologici. Il contributo maggiore che il movimento comportamentista ha lasciato alla ricerca sociale è stato il tentativo di perseguire la “comparabilità delle risposte” tramite l’invarianza degli stimoli somministrati (Fideli e Marradi 1996, 74). Per conseguire il risultato della comparabilità delle risposte è necessario che tutti gli intervistati siano esposti allo stesso stimolo, così che lo scienziato abbia la piena certezza che le risposte ottenute da intervistati differenti siano state reazioni causate da uno stimolo equivalente. Ma questo obiettivo è perseguibile solo attraverso una precisa individuazione e un rigido controllo di tutti quegli elementi che alimentano l’errore dell’esito della misurazione (usando la terminologia comportamentista). Tale errore renderebbe vana la comparabilità delle risposte ottenute da intervistati differenti, perché non si avrebbe più la certezza che le loro reazioni siano state tutte la y della stessa x. I comportamentisti hanno individuato le possibili fonti dell’errore non campionario, cioè quei fattori causa di errore dell’atto della misurazione, che non sono riconducibili alla teoria dei campioni e alle procedure della statistica inferenziale, ma che, se sistematici, possono dilatare incontrollatamente la distanza tra il dato raccolto e quello reale. Tra questi ricordo lo strumento (il questionario strutturato) e l’intervistatore; maggiore è l’entità dell’errore, minore è la possibilità di comparare i dati raccolti su soggetti differenti. Al fine di limitare il più possibile l’impatto delle fonti di errore sulla qualità del dato finale, i comportamentisti hanno studiato i modi e le forme, a loro parere, più efficaci, che sono state poi integrate nel concetto di “standardizzazione”: un insieme di principi generali e tecniche operative utili a tenere sotto controllo l’azione delle numerose fonti di errore nella ricerca sociale. Tra le fonti di errore che hanno maggiormente occupato il tempo e le energie dei comportamentisti c’è “l’intervistatore”. Al riguardo è interessante chiarire la visione comportamentista del concetto di “situazione d’intervista”. Nella teoria behaviorista, la situazione d’intervista – come ogni altro evento comunicativo – è ridotta a un modello meccanico stimolo-risposta: tutta l’attenzione è rivolta allo stimolo somministrato, mentre la risposta è solo un riflesso, una reazione (Gobo 1997, 15). Questa concettualizzazione ipersemplificata ha portato a una marginalizzazione – sul piano della riflessione metodologica – dell’intervista, a vantaggio della progettazione del questionario. Relegando l’intervistatore al ruolo di puro somministratore di uno stimolo, peraltro rigidamente controllato da una serie di vincoli che ne limitano l’azione, i ricercatori comportamentisti si sono dedicati unicamente alla ricerca e allo sviluppo di uno strumento di rilevazione che garantisse loro la standardizzazione dello stimolo somministrato, il questionario strutturato (Mauceri 2003, 81). Nella concezione comportamentista l’intervistatore ha il compito di “applicare senza alcun margine di autonomia lo strumento al materiale umano… che reperirà seguendo le istruzioni. L’intervistatore non deve fare altro che somministrare il questionario strutturato, avendo l’obbligo di non introdurre alcun elemento di variabilità nell’intervista, che, non essendo stato previsto a monte, rischia di compromettere la standardizzazione degli stimoli somministrati” (Pitrone 1983/ 2002, 107). L’intervistatore è un mero esecutore, quasi un automa, che non deve prendere iniziative (Marradi 1980, 65); un soggetto passivo che, rispettando le istruzioni impartite dal ricercatore, mantiene una costante distanza psicologica e fisica dall’intervistato (Mauceri 2003, 81). Secondo le prescrizioni comportamentiste, l’intervistatore deve seguire fedelmente il testo del questionario, leggendo le domande così come sono scritte e rispettandone rigidamente l’ordine. Non è possibile introdurre commenti o indicazioni di altro tipo fra una domanda e l’altra – eccetto le informazioni previste. L’intervistatore deve leggere la domanda senza flessioni di tono, ma come se stesse parlando. Se l’intervistato evita di rispondere, rivolgendosi all’intervistatore con espressioni “ma lei come la pensa al riguardo?”, l’intervistatore deve subito richiamare la differenza dei ruoli fra lui, che fa le domande, e l’intervistato, che risponde. Se l’intervistato dichiara di non aver compreso la domanda, l’intervistatore deve ripeterla così com’è scritta, senza aggiungere commenti o informazioni non previsti. Se il rispondente continua con le sue richieste di chiarimento, l’intervistatore deve passare alla domanda successiva (Guidicini 1968). Le ripercussioni di queste prescrizioni sono evidenti sull’impostazione dello studio dell’interazione nell’intervista standardizzata. In sintesi: tutti gli intervistati devono essere esposti allo stesso stimolo; lo stimolo deve essere altamente strutturato (la ricerca sociale deve limitarsi all’uso del questionario strutturato, tralasciando altri strumenti di indagine); l’intervistatore deve limitarsi a somministrare lo strumento così come progettato, senza immettere alcuna forma di deviazione rispetto al lavoro del ricercatore; ogni deviazione occorsa durante la fase di somministrazione del questionario è una potenziale fonte di errore non campionario che può invalidare la possibilità di comparabilità delle risposte dei differenti intervistati. Per impedire variazioni impreviste e non volute dal ricercatore, il comportamento dell’intervistatore e dell’intervistato è altamente vincolato al rispetto di certe norme che rientrano nei principi della standardizzazione. Sul piano dell’interazione le ripercussioni del modello stimolo-risposta sono notevoli: l’unica forma di sequenza domanda-risposta accettabile è quella in cui l’intervistatore deve leggere tutte le domande nell’ordine e nella forma prevista nel questionario strutturato; una volta letta la domanda nella forma così come prevista, l’intervistato deve rispondere scegliendo una delle modalità già formulate; registrata la risposta, senza immettere alcun criterio di interpretazione personale, l’intervistatore deve passare alla domanda successiva; nel caso in cui l’intervistato mostrasse segni di incomprensione di tutta o parte della domanda, l’intervistatore deve limitarsi a rileggere la domanda nella forma prevista. Salta subito all’occhio che analizzare l’interazione tra intervistatore e intervistato a partire dalla matrice comportamentista significa negare la natura intrinsecamente relazionale dell’intervista (anche di quella standardizzata), all’interno della quale si attivano processi cognitivi e interazionali complessi. La concettualizzazione della sequenza domanda-risposta secondo la visione comportamentista è stata etichettata da Schaeffer e Maynard (1996) “sequenza paradigmatica”: gli atti linguistici utilizzati dai due attori sono quelli intesi dal ricercatore che costruisce il questionario; il processo comunicativo è il più efficiente possibile solo se è veloce e senza deviazioni rispetto a quanto previsto nello strumento e dai vincoli della standardizzazione. Qualsiasi deviazione del comportamento dell’intervistatore e dell’intervistato rispetto alla sequenza paradigmatica è una traccia empirica di un problema latente. I contributi empirici allo studio dell’intervista standardizzata, che negano i principi comportamentisti più radicali e che sono interessati allo studio del carattere relazionale dell’intervista, hanno portato alla luce le teorie formulate nell’ambito della psicologia cognitiva e dell’analisi della conversazione. In questa ricerca farò riferimento ai preziosi contributi degli studiosi della conversazione e lascerò da parte i pur interessantissimi studi cognitivisti perché poco adatti ai miei obiettivi. Mi spiego. Chi studia l’intervista standardizzata attraverso un approccio cognitivista è interessato a ricostruire i meccanismi cognitivi di un soggetto intervistato impegnato nell’attività di risposta. Tale attività richiede diversi steps cognitivi: interpretazione e significazione della domanda; recupero delle informazioni rilevanti dalla memoria; formazione di un giudizio a partire dalle informazioni recuperate; verbalizzazione e formattazione della risposta (Tourangeau et al. 2000). Questa è solo una possibile ricostruzione dei meccanismi cognitivi che un individuo avvia nel momento in cui è impegnato in un’attività a lui così poco usuale, come quella di rispondere a un questionario. Molti altri studiosi (Sander et al. 1992) si sono cimentati nell’impresa di concettualizzarla. Ciò che accomuna i differenti contributi sta nel teorizzare un’origine prettamente individuale dei meccanismi di comprensione, interpretazione, recupero delle informazioni, formulazione e verbalizzazione della risposta del soggetto rispondente; tali meccanismi sono atti cognitivi ‘individuali e psicologici’, chiaramente distinguibili da processi sociali esterni che non possono influenzarli, e messi in atto dal singolo attore impegnato nell’attività di rispondere a domande inserite in un questionario altamente strutturato (Levin e Resnick e Higgins 1993, 588). Di tutt’altra opinione sono gli studiosi della conversazione che si occupano dell’intervista standardizzata. L’analisi conversazionale ha radici nelle riflessioni etnometodologiche di Garfinkeld negli anni ’60. Le azioni degli attori non sono la manifestazione di strutture sociali fisse, bensì il risultato di azioni (anche linguistiche) e interazioni “socialmente conseguite” (Garfinkeld 1967). L’origine del significato che ne deriva “è sempre sociale. Il significato è costantemente negoziato e rinegoziato nelle interazioni sociali, per cui esso non può essere considerato un dato stabile e indipendente dai continui mutamenti che si danno nelle interazioni” (Coulon 1987, 12). Ne consegue che l’etnometodologia si occupa di studiare le pratiche attraverso le quali gli individui, immersi in un mondo di significati intersoggettivamente condivisi, rendono il proprio comportamento intelligibile agli altri, e danno significato al comportamento altrui. L’analisi conversazionale è una sorta di specificazione etnometodologica nel campo linguistico, in quanto disciplina che studia la costruzione dell’azione sociale “in e per mezzo dell’interazione linguistica” (Schegloff 1987). Il parlato conversazionale è "luogo primario della socializzazione, sia come una precondizione, e allo stesso tempo come un risultato, della vita sociale organizzata" (Schegloff 1992). Lo scopo central