Prof. Henryk Domański odpowiada na zastrzeżenia do raportu “Jaka jest Polska”

Szanowny Panie Dyrektorze:

W komentarzu do napisanego przeze mnie raportu z badania, „Jaka jest Polska” dr Henryk Banaszak stwierdza, że nie zawiera on „wartych naukowego komentarza informacji o polskim społeczeństwie, gdyż nie wiadomo, do jakiej zbiorowości się odnoszą i jak została wyłoniona jej reprezentacja.” Biorąc pod uwagę, że autor napisał to do Pana, a nie do mnie, ja również tak robię.

1. Dr Banaszak zaczyna od uwagi, że „wyników tego badania nie da się uogólnić i traktować, jako trafny i wiarygodny opis stanu świadomości całego polskiego społeczeństwa” i że jest to możliwe „tylko wtedy, gdy: (a) w badaniu próba losowana jest z dobrze określonej populacji, (b) sposób losowania umożliwia ocenę trafności i (c) możliwe jest wyznaczenie dokładności populacyjnych oszacowań (na założonym poziomie ufności). Tak zwany „panel Ariadna” nie spełnia żadnego z tych warunków.”

Sądzę, że dr Banaszak powinien zacząć od przekonania czytelników, dlaczego wyniki badań opierających się na próbach niedobranych metodą losową, nie mogą być trafnym odzwierciedleniem rzeczywistości społecznej. Przecież zakwestionowany przez Banaszaka dobór kwotowy (lub losowo-kwotowy w przypadku Ariadny) może dostarczyć nie gorszego, a zdarza się, że i bardziej wiernego odzwierciedlenia struktury społecznej niż dobór przeprowadzony metodą losową – oczywiście pod warunkiem, że wielkości kwot odzwierciedlają rozkłady faktyczne. Standardową metodą odpowiedzi na to pytanie jest porównywanie rozkładów cech metryczkowych z wynikami innych badań. Z dokonanego przeze mnie przeglądu nie wynika, żeby odchylenia uzyskane przez Ariadnę od wyników innych znanych mi badań były znaczące. Jeżeli, zdaniem dr Banaszaka, jakiś badanie nie zostało zrealizowane metodą doboru losowego, a w związku z tym nie da uogólnić i nie może być ono traktowane, jako wiarygodny opis stanu faktycznego, to powinniśmy zignorować np. pierwsze edycje Polaków’, albo niektóre ustalenia z World Value Survey, albo większość prowadzonych w Polsce (z wyjątkiem CBOS-u) badań opinii publicznej. Natomiast przewaga doboru losowego nad nielosowymi polega, na czym innym – na możliwości oszacowania błędów standardowych, co w przypadku doboru kwotowego nie miałoby sensu. Ale nie odnosi się to do omawianego raportu.

• Dalej jest zdanie: „Zbiorowość, z której pochodzą respondenci w badaniu, „Jaka jest Polska” składa się z osób, które zgodziły się wypełniać wysyłane do nich internetem kwestionariusze ankiet (CAWI) w zamian za nagrody obiecane im przez firmę Ogólnopolski Panel Badawczy Sp. z o.o.”

Nie robiłem tego badania, nie wiem o nim nic od strony logistycznej, ale domniemywam, że chodzi o listy zapowiednie. Niektórzy badacze, np. Roger Jowell i kilka innych postaci z Europejskiego Sondażu Społecznego nie zalecają stosowania listów zapowiednich w swych krajach, ale w Polsce się one sprawdziły. Co do kwestii ścierania się próby w badaniach panelowych, to nie wiem jak sobie radzi Ariadna, ale nie mam również powodów, żeby sądzić, że robi to źle.

• A następnie: „Co więcej, nie da się ustalić (wyliczyć), jak dalece ta zbiorowość różni się w rozkładach opinii od populacji dorosłych Polaków”.

Udało by się ustalić, gdybyśmy mieli dane z jakiegoś innego badania. Ale, po co? Po pierwsze, na ogół badania prowadzone są po to, żeby uchwycić coś oryginalnego, a nie żeby badać to samo. Sądzę, że Fundacja Batorego miała takie ambicje, prawdopodobnie stąd wzięła się nietypowa forma zadawania pytań dotyczących opinii (tak-nie). Po drugie, załóżmy, że jakieś porównywalne dane by były i okazałoby się, że dane z Ariadny różnią się od jakichś wcześniejszych wyników. Więc co? Czy dr Banaszak wyklucza możliwość wystąpienia zmian w opiniach Polaków. Z tego m.in. powodu takie analizy prowadzone są na zmiennych metryczkowych, co odnotowałem powyżej

• Dr Banaszak poświęcił najwięcej miejsca kwestii doboru respondentów: „Nie wiadomo ponadto, jak z tej zbiorowości została wyłoniona grupa udzialających odpowiedzi. Szczegóły techniczne („dobór losowo-kwotowy”, „odsetek realizacji 42%”) zawarte w przypisie opisującym metodologię badania są, bowiem wewnętrznie sprzeczne.” Następnie, jest kilka akapitów wyjaśniających, na czym polega dobór kwotowy.

Z wiedzy, którą mi przekazała Ariadna wynika, że badanie realizowane było ze wszystkimi osobami, które zgodziły się na przeprowadzenie wywiadu. Do tych, które odmówiły lub nie odpowiedziały nie wracano, „zastępując” je przez kolejne osoby. Odsetek realizacji, tak jak go definiuje Ariadna, obliczany jest wg wzoru: 1 – iloraz: „odmowy i brak odpowiedzi”/”wszystkie osoby, do których ankiety wysłano”. Definicja ta zasadniczo odbiega od podręcznikowych definicji response rate, ale jest to dobór kwotowy, a Ariadnie jak widać zależy na informowaniu odbiorcy. W tym badaniu wyniósł on 42%. Wielkości założonych kwot kontrolowane były na bieżąco w czasie realizacji badania, co sprowadzało się do kontrolowania założonych rozkładów brzegowych dla płci, wieku i wielkości miejscowości zamieszkania, czyli kwoty założone porównywano z rozkładami uzyskiwanymi. Kontrola badania obejmowała kontrolę spójności odpowiedzi i kontrolę czasu prowadzenia wywiadów: odrzucane były ankiety, których czas wypełnienia przez respondentów był zbyt krótki (poniżej 2-krotności mediany).

• Ostatnia uwaga: „W przypisie mamy podany jeden poziom response-rate. Dlaczego?”.

Dlatego, że taki jest standard informowania czytelnika stosowany w części metodologicznej artykułów, książek, raportów, chociaż jak powiedziałem, odsetek realizacji podawany w badaniu Ariadny nie jest porównywalny z response rate liczonym z próby losowej.W artykułach naukowych zamieszczana jest nota, że dodatkowe informacje są on request. Jeżeli dr Banaszak chce bardziej szczegółowych informacji, to może spróbować.

            Dziękuję za komentarz P.S. do „niezręczności”. Ponieważ Fundacja Batorego prosiła mnie o raport w miarę czytelny, niektóre terminy i styl są publicystyczne. Co do rekomendacji w kwestii „sondaży” i response rate, pozostanę przy swoim.

Henryk Domański