Blog > Komentarze do wpisu

Magia pomiarów

Gorączka przedwyborczych sondaży znowu ogarnia media, wyborców i polityków. Szkoda, że większość gorączkujących nie ma zielonego pojęcia co to jest sondaż, co mierzy i do czego służy.


Wiele osób przykłada do wyników badań społecznych rolę niemal magiczną. Na przykład wierzą, że jeśli sfałszujemy wyniki sondaży to one się potem spełnią w rzeczywistości, ale to tak nie działa.

Sondaż ma dużo wspólnego z badaniem pogody. Patrzymy na termometr i barometr. Spoglądamy w niebo. I co wiemy? Jaka jest teraz pogoda. Owszem, regularna obserwacja meteorologiczna może pomóc nam wykryć pewne trendy i, z pewnym prawdopodobieństwem, przewidzieć pogodę jutro i, z dużo mniejszym, za tydzień.

Podobnie sondaże. Sprawdzają one deklaracje wyborców w danym momencie i jako takie są skazane na to, że:

1. Deklaracje nie muszą być zgodne z prawdą. W szczególności dotyczy to elektoratu partii, na które nie wypada głosować (kiedyś taką sytuację miała Samoobrona).

2. O wyniku wyborów decydują opinie wyborców w dniu wyborów, a nie kilka dni wcześniej podczas sondażu. Preferencje się zmieniają, a wiele osób głosuje pod wpływem impulsu.

3. Elektoraty różnych partii mają różną skłonność do chodzenia na wybory. Na przykład, słabością PO jest to, że popierają ją ludzie z wyższym wykształceni i młodsi. Wielu z nich w dniu wyborów nie będzie się chciało wyjść, bo zabalowali dzień wcześniej, lub pod wpływem impulsu postanowi wyjechać sobie na weekend poza miasto.

4. Każdy pomiar opinii jest obarczony pewnymi błędami. Na przykład, jeśli badamy opinie przez telefon to pewne grupa wyborców odmawia udziału w takich badaniach, pewne nie ma telefonu, a jeszcze inna w godzinach pracy ankieterów w domu nie bywa.

5. I dość ważna rzecz. Czy mierzymy to, co chcieliśmy (czy my i badany identycznie rozumiemy pytanie)? Kilkanaście lat temu zrobiono badanie, jaki procent Polaków popiera konkordat. Było to (o ile dobrze pamiętam) ponad 75%. Wszystko super, ale kilku wrednych studentów zrobiło swoje badanie i spytało, co to jest konkordat. Dla znacznej części obywateli był to nieformalny związek kobiety i mężczyzny... No, ale byli za.

Nic dziwnego, że wybory przynoszą potem zawiedzione nadzieje i rozgoryczenie, że "miało być inaczej" i że "sondaże kłamią".

Wielu polityków próbuje sobie potem radzić ze swoim dysonansem. A to rzuci pomysł (LPR) na stworzenie "narodowego" centrum badającego pogodę, przepraszam, preferencje wyborcze i karanie tych firm badawczych, które nie przewidziały wyników wyborów. A to zakłada własną agencję badawczą (Samoobrona), której w jednym badaniu udaje się powtórzyć błędy badawcze, które innym agencjom zajęły ponad dziesięć lat.

Powyższe problemy nie dotyczą tylko sondaży przedwyborczych. Niestety, również dobrze zrobione badania marketingowe to mniejszość. A potem jeszcze trzeba wyniki zrozumieć... I tu znów zaczynają się schody.

Mylenie korelacji z przyczynowością to podstawa - jeśli na danym terenie jest więcej bocianów na tysiąc mieszkańców to rodzi się również więcej dzieci. Istnieje taka korelacja. Czy mówi nam ona o przyczynach? Nie. Oba zjawiska mają wspólną przyczynę (na terenach wiejskich rodzi się więcej dzieci i żyje więcej bocianów), ale nie są nawzajem od siebie zależne.

Ten błąd jest popełniany też przez część naukowców. Pamiętam jak głośno trąbiono o wynikach jakiś medyków, którzy odkryli, że żonaty facet żyje dłużej. Uznali, iż wynika to z troski żony o męża. A do głowy nie przyszło im sprawdzenie hipotezy, która każdemu zwolennikowi socjobiologii powinna od razu przyjść do głowy, że może to zdrowemu facetowi łatwiej znaleźć żonę.

Często też sięga się po złe narzędzia analityczne. Średnia to tylko jedna z miar tendencji centralnej (jest jeszcze mediana, modalna, centyle - możemy sprawdzić skośność, etc.) i też nie zawsze można ją zastosować. Kiedyś na jednym ze spotkań biznesowych przedstawiciel sieci stacji benzynowych powiedział coś w stylu: "mamy lepszych klientów: średnio na stacji wydają 101,56 zł, a u konkurencji jest to 99,78 zł". Wszystko pięknie, ale nie, gdy średnią mamy z pytania, w którym odpowiedzi brzmią: "wydaje mniej niż 50 zł, wydaję między 50-100zł, wydaję między 100-200 zł, etc.". Bo wtedy liczenie średniej ma tyle sensu, co mierzenie temperatury wysokościomierzem. Spójrzmy zresztą:

Stacja A ma dwudziestu klientów: piętnastu płaci po 101 zł, a pięciu po 90 zł. Średnio płacą 98,25 zł. Ale jeśli będziemy mieli odpowiedzi od nich, że piętnastu płaci między 100-200 zł, a pięciu między 50-100 zł i do liczenia średniej weźmiemy środkowe wartości tych przedziałów (150 i 75 zł) to średnia wyniesie 131,25. Więcej niż płaci nasz najlepszy klient.

Zerknijmy jeszcze na stację B, która też ma dwudziestu klientów: piętnastu płaci po 98 zł, a pięciu po 190 zł. Średnia to 121 zł, ale gdy policzymy ją w magiczny (i błędny) sposób z ankiety, w której pytamy o przedziały to wyjdzie nam 93,75 - mniej niż płaci najgorszy z naszych klientów.

Przedstawiciel sieci stacji był zdziwiony, gdy go o to spytałem i zmienił temat...

Czasami podkręcanie wyników pod swoją tezę odbywa się w sposób bardziej bezczelny. Miałem kiedyś ostrą scysję z agencją badawczą, której przedstawiciel spytał, jakich chcę wyników. Odpowiedziałem, że prawdziwych, czym go lekko zaskoczyłem.

Na zakończenie chciałbym podkreślić jedno - statystyki nie kłamią. To ludzie się okłamują dopowiadając do statystyk to, czego w nich nie ma (lub popełniajć błędy metodologiczne).

I by podkreślić, że badania to czasem wróżenie mały filmik z moim ulubionym Grzegorzem Halamą:





Wasz Szaman

piątek, 12 października 2007, shaman2
-- Polub blog i otrzymuj powiadomienie o nowościach: https://www.facebook.com/SzamanieMamrotanie

Polecane wpisy

TrackBack
TrackBack w tym blogu jest moderowany. TrackBack URL do wpisu:
Flejm w praktyce. O interpretacji wyników badań naukowych. z starlift bloguje
Będzie to połączenie erystyki i ludzkiego błędu, który wykorzystamy i obrócimy na swoją korzyść. Jest to dość łatwe, najtrudniejsze w tym wszystkim jest dostrzeżenie błędnej całkowicie interpretacji wyników badań statystyki lub rażącej ... »
Wysłany 2007/11/28 10:58:07
Komentarze
Gość: eM, *.sofrecom.pl
2007/10/12 10:05:33
:) takie hermetyczne to ja lubię :P
-
2007/10/19 20:07:48
Ha, wykrakałem, że będą ataki na sondaże:

" Premier Jarosław Kaczyński wzywał we Wrocławiu do "pełnej mobilizacji". Przekonywał, że wbrew "sfałszowanym sondażom", PiS ma "pełne szanse na zwycięstwo" w wyborach parlamentarnych."

Złe sondaże, niedobre sondaże. I teraz jeśli PO wygra to będzie wina złych sondaży, jeśli przegra dowód, że sondaże były złe. Ech, szkoda, że polityków nikt nie edukuje.
-
Gość: centurion, 212.244.106.*
2009/05/19 23:41:43
Niestety większość sondaży robiona jest na konkretne zamówienie i niemal wszystkie na "wypróbowanej" a nie reprezentatywnej grupie respondentów. Ponadto sposób formułowania pytań typu sugerującego lub uniemożliwiającego odpowiedź jednym słowem. Jeśli ktoś pisze że wyniki sondazy nie mają wpływu na preferencje wyborcze to niech wyjaśni po co się je robi i publikuje. Wyniki "powalające na kolana" (PO) niosą przesłanie dlka wyborców sympatyzujących z innymi siłami: "jak byś nie głosował i tak wygra PO, więc lepiej zostań w domu". Oszustwo sondażowe jest wprowadzanie obywateli w błąd i jako takie powinno być ścigane z mocy prawa.
-
2009/05/20 12:01:15
Centurion: wycinam nadmiar Twoich komentarzy (cztery razy dałeś to samo).
A odnosząc się do meritum - znam jeden tylko sondaż, który był robiony "na zamówienie". Było to zamówienie Samoobrony i robiła to pseudobadawcza firma powołana specjalnie w tym celu. Rekomendowane agencje nie ryzykowałyby utraty imienia i wiarygodności, więc spiskowe teorie są tu jedynie spiskowymi teoriami.
Co do wpływania wyników na zachowania - tak, to prawda. Pogoda też wpływa na to jak się ubieram. I co z tego? Mamy z tego powodu przestać mierzyć temperaturę?