Raport z „nie-sondażu” na witrynie Instytutu Polskiej Akademii Nauk !

Na stronie facebookowej IFiS PAN pojawił się link do raportu profesora Henryka Domańskiego z analizy badania „Jaka jest Polska” przeprowadzonego dla fundacji Batorego w grudniu 2018. Z przypisu na pierwszej stronie raportu wynika, że, wbrew opinii Autora, wyników tego badania nie da się uogólnić i traktować jako trafny i wiarygodny opis stanu świadomości całego polskiego społeczeństwa. Takie uogólnienie jest możliwe tylko wtedy, gdy: (a) w badaniu próba losowana jest z dobrze określonej populacji, (b) sposób losowania umożliwia ocenę trafności i (c) możliwe jest wyznaczenie dokładności populacyjnych oszacowań (na założonym poziomie ufności). Tak zwany „panel Ariadna” nie spełnia żadnego z tych warunków.

Zbiorowość, z której pochodzą respondenci w badaniu „Jaka jest Polska”, składa się z osób, które zgodziły się wypełniać wysyłane do nich Internetem kwestionariusze ankiet (CAWI) w zamian za nagrody obiecane im przez firmę Ogólnopolski Panel Badawczy Sp. z o.o. Nie ma żadnych podstaw, aby twierdzić, że ta zbiorowość może być traktowana jako reprezentacja „całego społeczeństwa”, jak twierdzi profesor Henryk Domański. Co więcej, nie da się ustalić (wyliczyć), jak dalece ta zbiorowość różni się w rozkładach opinii od populacji dorosłych Polaków.

Nie wiadomo ponadto, jak z tej zbiorowości została wyłoniona grupa udzielających odpowiedzi. Szczegóły techniczne („dobór losowo-kwotowy”, „odsetek realizacji 42%”) zawarte w przypisie opisującym metodologię badania są bowiem wewnętrznie sprzeczne.

W kwotowym doborze prób odsetek realizacji wynosi z definicji 100%. Kwoty, czyli liczby osób o zadanych konfiguracjach kontrolowanych cech (płeć, wiek, miejsce zamieszkania) ustala się przed badaniem, które kończy się, gdy dla konfiguracji cech uzyska się zaprojektowaną liczbę wywiadów. Co zatem oznacza podawany w przypisie „odsetek realizacji 42%”? Nie wiadomo.

W doborze losowym response-rate to stosunek liczby respondentów do liczby osób wylosowanych. Gdyby ze zbiorowości zarejestrowanych w „panelu Ariadna” wylosowano 2486 osób, z których 1044 udzieliłyby odpowiedzi, response–rate wyniósłby 42%. W takim przypadku mielibyśmy do czynienia z próbą losową zrealizowaną w 42%. Wówczas, jednak dobór nie byłby „losowo-kwotowy” tylko „losowy” i wciąż nie byłoby wiadomo, z czego próba była losowana.

Możliwe, że „losowo-kwotowy” dobór polegał na zapraszaniu do udziału w badaniu osób wylosowanych z podzbiorowości odpowiadających poszczególnych kwotom. Badanie kończyłoby się w momencie uzyskania dla każdej z kwot założonej liczby wywiadów. Wtedy jednak poziomów response‑rate byłoby tyle, ile zadanych kwot (kilkadziesiąt, zależnie od liczby kategorii wieku i klas miejsc zamieszkania). W przypisie mamy podany jeden poziom response-rate. Dlaczego?

Powyższe spostrzeżenia prowadzą do wniosku, że wyniki badania „Jaka jest Polska” nie zawierają wartych naukowego komentarza informacji o polskim społeczeństwie, gdyż nie wiadomo, do jakiej zbiorowości się odnoszą i jak została wyłoniona jej reprezentacja. Raportowane badanie nie było de facto sondażem, którego rzemiosła i sztuki uczymy na studiach socjologicznych. Dziwi więc, że nie dostrzegł tego kierownik Zakładu Badania Struktury Społecznej i Zespołu Studiów nad Metodami i Technikami Badań Socjologicznych IFiS PAN. Raport z badania „Jaka jest Polska” nie powinien, moim zdaniem, w ogóle powstać. Tym bardziej nie powinien pojawić się na oficjalnej witrynie IFiS PAN, nad czym ubolewam.

Z poważaniem,

Henryk Banaszak

Zakład Statystyki, Demografii i Socjologii Matematycznej

Instytut Socjologii

Uniwersytet Warszawski

habanasz@is.uw.edu.pl

Print Friendly, PDF & Email

IFiS PAN

Log In

Create an account