Ma voi limita la foarte putine dimensiuni din lista lunga de criterii care dau calitate unui sondaj – reprezentativitatea esantionului obtinut, stilul de lucru, artificiile obtinute prin ponderare sau comparatia cu rezultatele înregistrate în scrutinele electorale; va expun cîteva ”povesti de succes” recente:
Sondajele Gallup – adesea sunt numite de politicieni ”sondaje interne” deoarece rezultatele lor sunt distribuite partidelor politice cu conditia ca ele sa nu fie facute publice (ele însa sunt distribuite cu grija publicului larg, cu grija de a manipula desigur – aveti aici o mostra din care ati putea întelege ca PCRM a ramas singur pe lume. Atunci cînd vine vorba despre un sondaj prezentat si discutat public, la lumina zilei, paradoxal sau nu, daca urmariti declaratiile politicienilor care fac de doua ori pe an trimitere la aceste ”sondaje interne”, toti, fara exceptie, declara ca ei detin sondaje în care stau mai bine.
Ce este de fapt acest ”sondaj intern”? Un sondaj realizat la solicitarea IRI Moldova ( The International Republican Institute) de catre Magenta, ”o companie de consultanta în afaceri, specializata în marketing strategic” . Ahh, sa nu uitam ca e sondaj Gallup! Sper ca n-ati crezut ca Gallup are vreun angajat în Rep. Moldova sau ca stiu cum se culeg datele în teren; mai exact, e vorba despre Gallup Baltic Surveys care fac analiza de la o suficienta distanta astfel încît sa înteleaga corect ce se întîmpla în atît de senzitivul mediu de opinie al Rep. Moldova.
Desigur, e dreptul lor sa procedeze asa, dar e dreptul unora sa îi considere lipsiti de decenta de a-si supune produsul observatiei si discutiilor publicului, de a respecta regulile unei competitii derulate în vazul tuturor si nu al birourilor în care partidele mai primesc si ceea ce doresc.
Iata cîteva elemente ce tin de (ne)reprezentativitatea esantioanelor IRI-Magenta-Gallup (spuneti-le cum doriti):
- 2% Rusi si 2% Ucraineni intervievati în conditiile în care nu exista nici un alt sondaj cu o astfel de structura realizata, iar Biroul National de Statistica mentioneaza ca în Rep. Moldova traiesc 5.9% rusi si 8.4% ucraineni. Chiar daca numarul lor a mai scazut de la ultimul recensamînt din 2004, diferenta este una majora.
O sa spuneti ca nu e nimic grav în asta, dar structuri diferite de cele reprezentative, atrag rezultate nereprezentative mai ales la întrebarile la care etnia e principal predictor de variatie. În plus, unii pot confunda rezultatele referitoare la structura unui esantion cu realitatea efectiva; bunaoara, domnul Vlad Cubreacov trage o concluzie demna de o noua revolutie sociologica si afirma ca Republica Moldova înregistreaza adevarate schimbari în corpul social, fiind parasita de grupurile etnice si populata tot mai mult de români. (Desigur, si interpretarile si predictiile dînsului legate de recensaminte din RM au legatura doar cu tezele din care domnia sa nu doreste sa iasa).
- Proiectarea eronata a esantionului pe palierul distributiei urban-rural; un student bun de anul II de la Sociologie poate face asta cu ochii închisi. Dar de ce ne-ar mira un esantion realizat de o companie moldoveneasca cînd raspunsul venit de la marele Gallup a fost paralizant? ”Sondajul e reprezentativ chiar daca în rural e mai putina populatie în comparatie cu ponderea înregistrata în esantionul sondajului” (conform BNS, în rural sunt 58.4% dintre cetateni.
Sondajele BOP (Institutul de Politici Publice) – Barometrul Opiniei Publice, un instrument cu o traditie bogata, cu un rol frumos în dezvoltarea sociologiei si a companiilor de profil, dar supus din pacate fluctuatiei de calitate în functie de casa de sondaj care realizeaza masurarea (parerea mea).
Iata cîteva elemente ce tin de (ne)reprezentativitatea ultimului sondaj BOP, realizat de CBS-AXA în noiembrie 2011:
- Persoane intervievate: 15% persoane 18-29 ani (în loc de 28% din statistica oficiala sau 21%-24% ponderea din alte sondaje), 32% persoane de peste 60 de ani (în loc de 18% din statistica oficiala sau 22%-26% ponderea din alte sondaje), 62% persoane de gen feminin intervievate (în loc de 53% ponderea statistica), doar 31% persoane intervievate care lucreaza etc.
- O cauza plauzibila a structurii înregistrate o constituie stilul de lucru imprimat de casa de sondaj: iata cîtiva indicatori extrasi din baza de date: 58% din interviuri începute pîna la ora 14:00; 80% din interviuri începute pîna la ora 16:00; 97% din interviuri realizate la prima vizita – toate acestea genereaza o structura de esantion din care lipsesc grupurile care pot fi gasite mai greu: tinerii, persoanele care lucreaza etc. Consecinta directa sunt rezultatele sondajului a caror raspunsuri sunt ”trase” prea mult într-o parte de grupurile care domina esantionul: batrînii, femeile, persoanele inactive ocupational etc.
- Pentru a corecta structura obtinuta, sociologii apeleaza la un artificiu destul de controversat în anumite contexte – ponderarea datelor (menit sa aduca structura obtinuta în sondaj la o structura mai aproape de realitate sau de cifrele statistice; de fapt, se aplica niste coeficienti care fac ca parerea grupurilor sub-reprezentate sa conteze mai mult, iar acelor supra-reprezentate sa conteze mai putin). Exemplu: daca au fost intervievati 150 de tineri în loc de 300, atunci parerea celor 150 intervievati va fi înmultita cu un coeficient de 2.0. Acest artificiu însa poate influenta semnificativ rezultatele sondajului, putini fiind cei care stiu de existenta sau nu a acestui tip de interventie în date.
BOP-ul din noiembrie 2011 ne ofera un exemplu elocvent în acest sens cu toate ca, în pagina 5 a raportului suntem informati ca ”Diferenta dintre rezultatele ponderate si cele neponderate nu depaseste la niciuna din întrebari 1.5%” . La întrebarea privind votul pentru aderarea Rep. Moldova la UE, în baza neponderata gasim 42.8% raspunsuri ”Da”, iar în baza ponderata, pentru acelasi indicator avem 47% - rezultat care a fost si publicat. Daca aplicam si marjele de eroare la 42.8% si 47.0%, am putea de fapt avea o variabilitate pe un interval de circa 8%.
Asociatia Sociologilor si Demografilor – în cazul acestor domni, certati cu bunul simt (inclusiv cel sociologic), o sa ma rezum doar la a va trece în revista rezultatele sondajului din noiembrie 2010:
- 6 partide vor trece pragul electoral, ”noutatile” fiind AMN – 7%, PUM – 6%, iar MAE fiind si ei foarte aproape de pragul electoral cu 3% în sondaj (rezultatele înregistrate la alegeri de aceste partide fiind AMN – 2.05%, PUM – 0.9%, iar MAE – 1.22%). Ca o coincidenta, MAE elaboreaza si difuzeaza imediat dupa sondaj, timp de doua zile, un spot electoral controversat în care prezinta % înregistrat de MAE în sondaj si explica electoratului ca sunt la limita pragului si au nevoie de înca putin sprijin.
- 6 partide vor trece pragul electoral, ”noutatile” fiind AMN – 7%, PUM – 6%, iar MAE fiind si ei foarte aproape de pragul electoral cu 3% în sondaj (rezultatele înregistrate la alegeri de aceste partide fiind AMN – 2.05%, PUM – 0.9%, iar MAE – 1.22%). Ca o coincidenta, MAE elaboreaza si difuzeaza imediat dupa sondaj, timp de doua zile, un spot electoral controversat în care prezinta % înregistrat de MAE în sondaj si explica electoratului ca sunt la limita pragului si au nevoie de înca putin sprijin.
Sondajele AVA.md – probabil cele mai amuzante pentru specialistii din domeniu. Iata cîteva ”coincidente” din sondajul AVA din noiembrie 2010: publicarea lui a fost facuta în ultima zi cînd legea mai permitea publicarea de sondaje, imediat dupa ce BOP-ul realizat de IMAS la solicitarea IPP a publicat 37% pentru PCRM – sondajul AVA a oferit aceluiasi partid 54%, dar la scrutin PCRM a obtinut 39%; 1580 de respondenti au fost intervievati în doar 3 zile !!! (30 octombrie – 1 noiembrie 2011); esantionul de 1580 de respondenti a fost facut în doar 72 de localitati, de obicei numarul de localitati în care se fac sondaje pe esantioane de 1000-1100 persoane.
Faceti exercitii similare cu oricare dintre sondajele publicate sau nepublicate; faceti comparatii cu rezultatele de la scrutine; faceti aceleasi exercitii cu ultimele exit-poll-uri, înseosebi cu cel realizat de IRES în noiembrie 2010 – cautati structura esantionului obtinut si veti gasi principala sursa a unei erori istorice, care sper sa ramîna istorica (erori cumulate de peste 30%).
Adesea mi se reproseaza ca nu sunt solidar cu ”miscarea sociologica din Moldova”. Despre ce ”miscare” discutati, stimati tovarasi? Despre cea care deplaseaza reprezentativitatea sondajelor pentru a obtine cifrele dorite!? Cifrele finale dintr-un sondaj sunt ultimele care ar trebui sa atraga atentia. E ultimul aspect pe care îl analizez dintr-un sondaj realizat în Rep. Moldova.
Probabil fiecare casa de sondaj si-a ales o strategie si stie cît de mult doreste sa se prostitueze, cît de mult trebuie sa umble cu ”sorcova” pe la partide, televiziuni sau companii care solicita si platesc pentru obtinerea unor % nu tocmai aproape de realitate. O alta explicatie, mai inocenta pentru cele de mai sus, poate fi pur si simplu prostia, nepriceperea.
SURSA: Blogul lui Doru Petruti