George Gallup vs. „Literary Digest”

źródło: http://www.thegalluphouse.com/georgegallupbiography.html

18 listopada 1901 roku urodził się George  Gallup (zm. 1984), amerykański socjolog i statystyk, pionier badań opinii publicznej, jeden z współwynalazców próby reprezentatywnej.  Stał się sławny w roku 1936 kiedy w swoim sondażu przewidział trafnie wygraną Franklina D. Roosevelta w wyborach prezydenckich, których zdecydowanym faworytem wg badań popularnego tygodnika „Literary Digest” był kandydat republikański, Alf Landon.

Magazyn „Literary Digest” słynął z badań opinii i stylów życia społeczeństwa amerykańskiego. W roku 1916 przeprowadził również po raz pierwszy sondaż dotyczący przewidywanych wyników zbliżających się wyborów prezydenckich i przez kolejne 16 lat bezbłędnie prognozował zwycięzcę kolejnych  wyborów: Wilsona (1916), Hardinga (1920), Coolidge’a (1924), Hoovera (1928) i Roosevelta (1932).

Metoda badania opinii elektoratu stosowana przez „Literary Digest” była dość prosta i pozornie niezawodna. Badacze wybierali adresy mieszkańców dostępne w książkach telefonicznych, z kilku lub kilkunastu stanów, następnie wysyłali do wybranych w ten sposób respondentów karty z nazwiskami kandydatów, z prośbą o zaznaczenie swojego faworyta i odesłanie do redakcji. W kolejnych pięciu sondażach pomiędzy rokiem 1916 a 1932 wysyłano w ten sposób  za każdym razem od kilku do kilkunastu milionów kart (tak, milionów, to nie pomyłka). W każdym sondażu (od roku 1920) karty odsyłane były przez mniej więcej 15% respondentów. W ten sposób badacze z „Literary Digest” mogli prognozować zwycięzcę na podstawie kilku milionów odpowiedzi. Statystycy ostrzegali, że metoda „im więcej uczestników, tym pewniejsza prognoza” może okazać się błędna, o ile przy doborze próby nie uwzględni się innych kryteriów, takich chociażby jak cechy demograficzne respondentów. Niektórzy z krytyków zwracali również uwagę na niewielki ich zdaniem odsetek kart odsyłanych przez respondentów (ha, współcześnie o takim „response rate” badacze mogą tylko pomarzyć). „Literary Digest” niewiele jednak sobie z tego robił, uważając, że 5-krotna z rzędu bezbłędna prognoza wyników wyborów prezydenckich jest najlepszym dowodem na trafność ich metody. Jak mówi przysłowie: „pycha kroczy przed upadkiem”.

W roku 1936 „Litery Digest” rozesłał do mieszkańców Stanów Zjednoczonych 10 milionów kart z pytaniem na kogo zamierzają głosować w zbliżających się wyborach prezydenckich. Karty zostały wysłane na adresy uzyskane zarówno z książek telefonicznych jak i rejestrów właścicieli samochodów. Redakcja otrzymała odpowiedzi od ponad 2 milionów respondentów i na tej podstawie oszacowała, że urzędujący prezydent Franklin D. Roosevelt przegra z kretesem, a zdecydowanym zwycięzcą wyborów zostanie republikanin Alf Landon.  

W tym samym czasie George Gallup, właściciel agencji badawczej noszącej nazwę Amerykański Instytut Opinii Publicznej (obecnie Instytut Gallupa), zaproponował inną metodę badania opinii elektoratu. Zamiast milionów osób zaprosił do badania ledwie kilka tysięcy,
ale przy doborze respondentów wziął  pod uwagę różnice w ich dochodach, tak aby próba badawcza była pod tym względem jak najbardziej podobna do struktury całego społeczeństwa. Na podstawie zebranych odpowiedzi Gallup uznał w swojej prognozie, że Roosevelt zostanie ponownie wybrany na urząd prezydenta.

Wygrana Roosevelta w 1936 i jego przewaga nad Landonem była wręcz przytłaczająca. Dość powiedzieć, że na 48 stanów Roosevelt wygrał w 46, Landon jedynie w dwóch pozostałych. Roosevelt odniósł swoje zwycięstwo między innymi dzięki masowemu poparciu robotników, zwolenników programu demokratycznego „New Deal”, którzy o posiadaniu telefonu, a co dopiero samochodu, często mogli jedynie pomarzyć. I z tego powodu nie wzięli udziału w sondażu „Literary Digest”, w którym uczestniczyła natomiast ogromna nadreprezentacja zamożnego elektoratu Partii Republikańskiej.

Badacze z „Literary Digest” długo nie mogli pogodzić się ze swoją klęską, ale ostatecznie już się z niej nie podnieśli i w 1938 zakończyli działalność. Zdążyli wcześniej przedstawić kilka ciekawych hipotez dotyczących przyczyn swojej błędnej prognozy. Wśród nich moja ulubiona wg której nadreprezentacja głosów wyborców republikańskich spowodowana była tym, że republikanie mieli bliżej do skrzynek pocztowych niż demokraci. Wbrew pozorom nie była to wcale hipoteza „od rzeczy”. Ostatecznie kiedy zapracowany robotnik miał znaleźć czas, żeby pójść na pocztę, bogatemu wystarczyło wyjść na spacer…

George Gallup rozpoczął swoją zawrotną karierę, a jego nazwisko znane jest dzisiaj każdemu badaczowi na świecie. A przynajmniej powinno być znane, podobnie jak nazwiska dwóch innych wybitnych amerykańskich badaczy opinii publicznej, Elmo Ropera i Archibalda M. Crossleya, którzy w roku 1936 również trafnie prognozowali zwycięstwo Roosevelta, a jednak pamięć o nich jest nieco słabsza.

PS. Metoda doboru próby zaproponowana przez Gallupa i wspomnianych dwóch badaczy, znana jest dzisiaj pod nazwą próby kwotowej. Stosowana była również w kolejnych sondażach prezydenckich w roku 1940 i 1944 i za każdym razem umożliwiała trafną prognozę zwycięzcy, którym zresztą znowu okazywał się Roosevelt. Wybierany był czterokrotnie na urząd prezydenta, to po jego śmierci w roku 1944 wprowadzono poprawkę do Konstytucji Stanów Zjednoczonych, umożliwiającą sprawowanie tego urzędu nie więcej niż dwa razy.

W cztery lata później ta sama metoda kwotowego doboru próby była, jak na ironię, przyczyną największej „katastrofy” w dziejach amerykańskich instytucji badawczych, czyli ich fatalnej pomyłki w prognozach prezydenckich w roku 1948 („Dewey Defeats Truman”). A wszystko przez przestarzałe dane ze spisu powszechnego…