Jak mają się wyniki oglądalności dokumentu o pedofili pokazywanego na YouTube i w prywatnej stacji telewizyjnej do innego dokumentu puszczonego przez telewizję publiczną? Mniej więcej tak, jak liczba utonięć na basenach do aktywności filmowej Nicolasa Cage’a.
Mark Twain powiedział, że kłamstwo jest w stanie obiec pół świata, zanim prawda włoży buty. Umarł, kiedy szczytem komunikacyjnej technologii był telegraf. Dziś manipulacje mają swoich własnych szewców. A ci szyją w coraz bardziej skomplikowanych ściegach.
Końcówkę maja w polskiej telewizji naznaczyły dwa dokumenty. Pierwszy – Sylwestra Latkowskiego o pedofilii w kontekście Zatoki Sztuki. Drugi – braci Sekielskich na temat pedofilii w polskim Kościele. Jacek Kurski, członek zarządu TVP, postanowił, że wykorzysta ich wyniki, aby pokazać wyższość swojej stacji. Triumfalnie ogłosił na Twitterze, że z „pojedynku” obronną ręką wyszedł obraz „Nic się nie stało”, który zgromadził 3,5 mln widzów. Były prezes telewizji porównał to z wynikiem TVN-u, obliczonym na 1,9 mln oglądających.
Na rewelacje TVP druga strona odpowiedziała tweetem Marka Sekielskiego, który dodał do siebie widownię z telewizji i YouTube’a. – 2,3 mln widzów „Zabawy w chowanego” w TVN. (...) Plus skromne 6 mln widzów na YouTube – napisał producent. Oba wyliczenia były prawdziwe. I zarazem prawdziwe nie były. Zakłamanie pojawiło się w ich opisie i porównaniu.Ale kto by się przejmował tym, że jak mawiają Amerykanie, porównujemy tu jabłka z pomarańczami. Grunt, że są dane, cyfry, które mają zrobić wrażenie i przekonać, że moja racja jest „najmojsza”.
Pędzimy coraz szybciej, odpisujemy na maile, słuchając współpracowników, dzielimy uwagę pomiędzy kilka aktywności, nie mogąc skupić się w całości na jednej rzeczy. 8 sekund – tyle, jak podawał Microsoft, dzieliło naszą uwagę od rozproszenia w 2015 roku, kiedy nie mieliśmy jeszcze zoomów i tiktoków. Dziś przez internet przewijają się ogromne ilości danych, które trudno objąć ludzkim umysłem.
Globalnie w ciągu jednej minuty oglądamy łącznie blisko 700 tys. godzin materiału na Netfliksie, wysyłamy sobie 41,6 mln wiadomości na Messengerze i WhatsAppie czy 200 mln maili. Otacza nas coraz więcej danych, ale czy przywiązujemy do nich należytą uwagę? Czy staramy się zrozumieć liczby, którymi jesteśmy karmieni? A może zadowalamy się powierzchownymi porównaniami?
Kult danych póki co wygląda najczęściej jak w retoryce Jacka Kurskiego, który tweetując o 3,5 mln widzów TVP vs. 1,9 mln TVN, nie wziął pod uwagę – lub uznał, że inni tego nie sprawdzą – że dokument Sekielskich w momencie telewizyjnej premiery był już od kilku dni dostępny na YouTube.
Co więcej, Kurski oparł się na autorskim badaniu TVP (które dane czerpie z dekoderów Netii), a nie rynkowym standardzie, czyli panelu Nielsena. Były prezes publicznej telewizji wcześniej wielokrotnie krytykował Nielsena, twierdząc, że zaniża wyniki TVP. Jego stacja wspólnie z naukowcami z SGH stworzyła więc własny model badania oglądalności.
Jakby tego było mało, w przypadku filmu braci Sekielskich do wyników TVN trzeba by jakoś doliczyć oglądalność z YouTube. A tu metodologia liczenia widzów jest jeszcze inna. W przypadku telewizji korzystamy bowiem ze średniej liczby widzów w każdej minucie. Platforma Google zlicza zaś obejrzenia po 30 sekundach odtwarzania materiału, ale tylko dla reklam. W innych przypadkach platforma pisze jedynie o prawdziwych, intencjonalnych odtworzeniach i nie podaje metodologii stojącej za kalkulacjami.
– Definicje metryk różnią się między sobą, więc nie można ich sumować – komentuje Łukasz Pytlewski, dyrektor analityki w agencji Wavemaker, i dodaje, że w mediach w kwestii szafowania danymi widzi obecnie dwa przeciwstawne trendy.
– Z jednej strony zmierzamy ku uproszczeniu przekazu, aby był on jak najbardziej zrozumiały. A z drugiej chcemy w jednym miejscu skupić statystyki z całej branży, podczas gdy jej uczestnicy zupełnie inaczej zliczają swoje wyniki – dodaje Pytlewski.
I nie zawsze wytłumaczeniem tego stanu jest manipulacja. Czasem po prostu jest to karkołomne zadanie. – Za każdą liczbą może stać wiele błędów. Nawet jeśli ścieżka jej wyliczenia jest poprawna, mimo dobrych intencji, właściwych źródeł i poprawnie przeprowadzonego rozumowania, brak jednego, ważnego czynnika może wywrócić całą analizę do góry nogami – mówi Dawid Myśliwiec, autor jednego z najpopularniejszych w Polsce kanałów naukowych „Uwaga! Naukowy Bełkot”.
Myśliwiec na co dzień stara się edukować swoich widzów, przekazując często trudne i skomplikowane teorie naukowe prostszym językiem. W opisie swojego kanału żartuje: „Czy wiesz, że 63 proc. osób jest w stanie uwierzyć w nieprawdziwą informację, jeśli jest w niej odwołanie do badań i statystyk?”
Na statystykach i statystyce Myśliwiec zna się jak mało kto – ma doktorat z chemii, którego przedmiotem była analiza statystyczna. Właśnie dlatego pod koniec kwietnia znalazł się we właściwym miejscu i we właściwym czasie, aby skrytykować wiralowy artykuł serwisu JoeMonster. Autor tekstu dowodził, że do szacowania liczby zarażonych koronawirusem można wykorzystać taką samą metodę, jaką bada się preferencje wyborcze. Wystarczy testować losową próbkę ze społeczeństwa.
„Przykładowy kalkulator ze strony statystyka.az.pl daje nam próbkę 239 osób (N=38m, α=1%, e=5%). Mówiąc po polsku – tyle losowo wybranych osób należy przebadać w Polsce, żeby z 99% prawdopodobieństwem oszacować liczbę zarażonych na SARS-CoV-2 z maksymalnym błędem w granicach 5%”, czytamy w artykule.
– To zupełna nieprawda – oponuje Myśliwiec. Przez kilkanaście minut przeprowadza widzów przez statystyczne sidła, w które wpadł autor tego wyliczenia, aby koniec końców wrzucić go do jednego worka z Jerzym Ziębą. – Nawet Zięba w swoich filmach ma 90 proc. informacji prawdziwych. Kiedy jednak powie, że woda to H20, to nie znaczy, że powinniśmy mu wierzyć w cudowne właściwości lewoskrętnej witaminy C – dodaje.
Myśliwiec podkreśla: wyniki uzyskane z wykorzystaniem kalkulatora oznaczają, że każda chora osoba z puli przekłada się na ponad 150 tys. chorych w całej populacji. Dodatkowo maksymalny błąd w granicach 5 proc. czyni analizę praktycznie nieużywalną - mowa bowiem o punktach procentowych. Mówiąc wprost - te 5 proc. dotyczy całej populacji, w tym wypadku Polski, czyli mamy wynik plus/minus 1,9 mln Polaków.
– W takim razie niezależnie od wyników testu można założyć, że mamy poniżej 2 mln chorych – komentuje twórca kanału. Wcale jednak nie przypisuje autorowi wyliczeń złych intencji, raczej widzi w tym po prostu ignorancję. – Problemem nie była tu nawet statystyczna niewiedza. Ta osoba liznęła statystyki, wzięła kalkulator i bezmyślnie oparła na tym całe logiczne rozumowanie – wyjaśnia.
Podobnie jak w przypadku wcześniejszego przykładu, mamy tu do czynienia z brakiem zrozumienia definicji metryk i pojęć, co prowadzi nas na manowce. Może to być związane z efektem Dunninga-Krugera, który bardzo prosto można wytłumaczyć zjawiskiem „nie wiem, nie znam się, ale się wypowiem”. Dunning i Kruger udowodnili, że „osoby niewykwalifikowane w jakiejś dziedzinie życia mają tendencję do przeceniania swoich umiejętności w tej dziedzinie, podczas gdy osoby wysoko wykwalifikowane mają tendencję do zaniżania oceny swoich umiejętności”.
Ignorancja dodaje pewności siebie osobom, które nie są świadome stopnia skomplikowania tematu. Nie potrafią one ocenić własnych zdolności, bo nie wiedzą, jak wiele jeszcze nie wiedzą. Podczas gdy osoby, które zgłębiły daną kwestię, mają świadomość tego, jak wiele zawiłości należy rozstrzygnąć, aby wydać jednoznaczny wyrok.
Radek Kotarski z kanału Polimaty pokazał ten efekt w polskich realiach sondy ulicznej. Pytał przechodniów o sytuację w kraju Islamii i jej stolicy Nieistniejebadzie. Chciał poznać stosunek ludzi do słów Roberta Burneiki, ministra spraw zagranicznych, i uchodźców przeprawiających się do Polski pontonami przez Morskie Oko. Część rozmówców potwierdzała jego obawy związane z groźbami cara Islamii dotyczącymi zbombardowania metra w Szczecinie.
– Ludzie mają problem, aby przyznać, że czegoś nie wiedzą lub nie rozumieją – komentuje Myśliwiec. Według niego kluczowe dla zrozumienia tej sytuacji są słynne słowa Marka Twaina, „są trzy rodzaje kłamstw: kłamstwa, bezczelne kłamstwa i statystyka”. – Błędy statystyczne są domeną wszystkich, włącznie ze statystykami – dodaje.
Nawet naukowcy popełniają błędy w wykorzystaniu statystyki. – Jeśli chcą na szybko wyliczyć błąd pomiaru, często biorą, co mają pierwsze pod ręką – zwykle pada na odchylenie standardowe – i nie patrzą, czy to odchylenie populacji, czy próbki, ani na wartości odstające. Aby zrobić dobrą statystykę, trzeba się nagłowić – wyjaśnia autor kanału „Uwaga! Naukowy Bełkot”.
Jego słowa potwierdza Alicja Defratyka, prowadząca projekt ciekaweliczby.pl. Jej misją jest odkłamywanie danych, jakie pojawiają się w przestrzeni publicznej. Na warsztat bierze nie tylko fake newsy, ale również manipulacje i zwykłe pomyłki w prezentacji danych.
– W debacie publicznej może funkcjonować wiele opinii, ale wnioski powinniśmy wyciągać z danych i faktów. Czasami jedna, dobrze przedstawiona liczba może znaczyć więcej niż tysiąc słów. Opis oraz komentarz mogą dodatkowo nadać odpowiedni kontekst – zauważa Defratyka.
Jednym z najpowszechniejszych problemów jest m.in. nierozróżnianie średniej i mediany. – Kiedy słyszymy o średnich zarobkach, wyobrażamy sobie, że przeciętny Polak tyle zarabia, a przecież mała grupa osób może zarabiać krocie, a duża bardzo mało. Lepiej obraz oddaje mediana, pokazująca kwotę, poniżej której połowa społeczeństwa zarabia mniej, a połowa więcej – podkreśla Defratyka. Wtóruje jej Myśliwiec: – Jakby Bill Gates zaczął rozdawać jedzenie bezdomnym, moglibyśmy mówić o balu milionerów.
To dopiero początek zasadzek, na które możemy się natknąć w codziennym użyciu danych.
Wyobraźmy sobie kogoś, kto żyje w lesie i codziennie widzi, że liście na drzewach poruszają się wtedy, kiedy wieje wiatr. Nie wie, że wiatr może wiać również na otwartej przestrzeni. Może więc dojść do wniosku, że ruch liści powoduje wiatr, podczas gdy przyczynowość może iść przecież w zupełnie inną stronę. Może też w ogóle nie być przyczynowości, a jedynie współwystępowanie. Być może istnieje zjawisko C, o którym nie wiemy, a które powoduje A i B.
Korelacja nie oznacza przyczynowości. Gdyby było inaczej, ograniczalibyśmy konsumpcję lodów w obawie przed rekinami i zabronili Nicolasowi Cage’owi występować w filmach, aby obniżyć liczbę utonięć w basenach. Bo jak kiedyś wyliczył analityk Tyler Vigen: z danych wynika, że między rokiem 1999 a 2009 w im większej liczbie filmów występował Nicholas Cage, tym więcej ludzi utopiło się w przydomowych basenach. Korelacja występuje? Jak najbardziej. Jest absurdalna? Oczywiście.
– Badania mogą wyglądać logicznie, ale zawierać błędy merytoryczne, które całkiem zmieniają rzeczywiste wyniki – komentuje Dawid Myśliwiec i podaje przykład Talidomidu.
To substancja, którą w latach 50. XX wieku przepisywano kobietom w ciąży, aby zmniejszyć nudności w pierwszym trymestrze ciąży. – Po jej przebadaniu naukowcy wydali werdykt, że jest bezpieczna, ale później rodziły się zdeformowane dzieci – dodaje Dawid.
Późniejsze badania pokazały, że Talidomid może występować w dwóch izomerach (jak prawa i lewa ręka), a przebadaliśmy tylko jeden z nich. W procesie syntezy okazało się, że łatwiej jest zrobić mieszaninę obu substancji. Ta druga okazała się bardzo toksyczna, choć była tylko odbiciem lustrzanym pierwszej.
Było już jednak za późno. U 15 tys. płodów stwierdzono wrodzone wady. Tylko 8 tys. z nich przeżyło, ale urodziły się bez kończyn lub z bardzo zniekształconymi nogami i rękami. Jeszcze w łonie matki uszkodzeniu uległy ich oczy, uszy, narządy płciowe i wewnętrzne.
Dlatego bezpiecznie jest zakładać, że każde otaczające nas zjawisko ma wiele stopni skomplikowania, których nie jesteśmy w stanie na początku zrozumieć. Wydawanie powierzchownych sądów prowadzi do fałszywych wniosków – zupełnie jak z porównaniami Kurskiego i Sekielskiego na początku tego artykułu. TVP wykorzystuje bowiem autorskie badanie jedynie do celów PR-owych, podczas gdy przy rozliczeniach z reklamodawcami musi korzystać z panelu Nielsena. – Reklamodawcy chcą korzystać z badania porównywalnego z innymi stacjami, a Nielsen jest w tym przypadku standardem – tłumaczy Łukasz Pytlewski.
TVP wykorzystuje własne badanie jedynie do celów PR-owych, ale dlaczego nie mógłby z nich korzystać cały rynek? Powody są trzy.
– Badanie TVP wykorzystuje dekodery Netii, a te same w sobie nie mierzą oglądalności, a jedynie czy kanał jest odbierany – tłumaczy Pytlewski. Często wychodząc z pomieszczenia, wyłączamy telewizor, a dekodera już nie. Wówczas przez cały czas będziemy odbierali sygnał, choć nikt programu nie ogląda.
A skoro badanie oparte jest o dekodery, to jak sprawdzić, kto faktycznie siedzi przed telewizorem? Naukowcy z SGH wprowadzili tu przelicznik 2,8 dla każdego dekodera, który ma korygować wyniki. Ale nie jest to idealne przeliczenie. – Bajka na kanale MiniMini będzie oglądana przez inną widownię niż transmisja meczu, a kluczowe w zakupie reklamy telewizyjnej jest dotarcie do grupy docelowej. Bez informacji o demografii oglądających, domy mediowe nie będą w stanie efektywnie lokować budżetów – wyjaśnia Pytlewski.
Jak w każdym badaniu, tak i tu kluczowy jest również odpowiedni dobór próby. Nielsen ma swój panel, który reprezentować ma generalną populację. Z klientami Netii jednak tak nie jest. Firma ma określoną strukturę klientów, którzy mają dostęp do kablówki. Inne jest również ułożenie kanałów. – Ich właściciele mogą płacić Netii za niższą pozycję, co wymiernie przekłada się na oglądalność – dodaje Pytlewski. To wszystko wypacza wyniki. – Dane z badania TVP nie są złe, ale mogą służyć co najwyżej za uzupełnienie panelu Nielsena – podsumowuje.
Wynajdywanie nowych metryk w celu poprawienia odbioru pewnych wyników ma zresztą długą tradycję w biznesie. Nie jest to nawet kreatywna księgowość, a raczej próba przypudrowania rzeczywistości.
Prym w tym wiedzie Uber. W pierwszym kwartale tego roku firma podniosła swój skorygowany przychód netto o 19 mln dol., argumentując, że to pieniądze na wsparcie kierowców, którzy ucierpieli na skutek epidemii koronawirusa. Ci zaczęli się jednak buntować, kiedy firma odrzucała ich wnioski o zasiłek chorobowy i zamykała konta, mimo wcześniejszych zapowiedzi pełnych troski. Nie przeszkodziło to Uberowi w podniesieniu EBITDA (zysku operacyjnego przed potrąceniem odsetek, podatków, amortyzacji wartości niematerialnych i prawnych) o 24 mln dol., aby uwzględnić koszt wyposażenia kierowców w środki ochronne.
Takie postępowanie zostało w interesujący sposób skomentowane przez Johna Jenkinsa, doradcę w zakresie rynków kapitałowych, fuzji i przejęć. Analityk porównał próbę zamaskowania wpływu koronawirusa do pytania żony Lincolna: „A poza tym jak podobała się pani sztuka?”. Zwrot ten stał się w krajach anglosaskich sarkastycznym komentarzem na odwracanie uwagi od clue przedsięwzięcia. Wziął się od feralnej sztuki, w czasie której zastrzelono Abrahama Lincolna, prezydenta Stanów Zjednoczonych.
– Skorygowana EBITDA powinna się odnosić do jednorazowych wydarzeń, tymczasem pandemia zdaje się być nową normalnością. Koronawirus będzie odciskał swoje piętno jeszcze w przyszłości – dodawał analityk.
W koronawirusową kategorię można wrzucić wiele różnych strat, jakie zanotowała firma w danym kwartale. Znajduje się to w interesie kierownictwa, którego wynagrodzenie wylicza się na podstawie wyników firmy. Metryki kluczowe są również dla funduszy, które decyzję o inwestycji podejmują po zbadaniu sytuacji finansowej spółki.Kreatywnym pionierem tej działki wydaje się WeWork, który w zeszłym roku wyszedł z propozycją „skorygowanej o społeczność Ebitda” (community-adjusted Ebitda – bez podatków i wydatków na marketing). Analitycy zwykli kwitować takie wynalazki słowami „zyski bez całej tony złych rzeczy”. Owszem, nowe metryki mogą pokazywać pozytywne trendy w jakiejś części biznesu, ale w przypadku WeWork okazały się pudrowaniem giełdowego trupa.
Manipulacje firm notowanych na giełdzie prędzej czy później spotkają się z niewidzialną ręką rynku lub w pełni widzialną ręką kontrolerów, ale czy podobnie jest z sondażami wpływającymi na nastroje i wybory ludzi? – Wielokrotnie obserwuję mankamenty badań opinii publicznej. Często dotyczą one pytań z tezą, które wpływają na wyniki – podkreśla Alicja Defratyka i jako dowód podaje dwa przykłady. W zeszłym roku ankietowani byli zapytani, czy ze względu na zły stan zdrowia Jarosław Kaczyński powinien zrezygnować z kierowania PiS-em. Natomiast w tym roku badani odpowiadali na pytanie, czy wierzą, że Tomasz Grodzki przyjmował łapówki.
Oba pytania zawierały sugestię, a drugie dodatkowo odnosiło się do wiary. Łudząco przypomina to metody stosowane przez twórców fake newsów. – W fejkach chodzi o wrzucenie jakiejś myśli tylnymi drzwiami do naszego umysłu – wyjaśnia dr Konrad Maj z Uniwersytetu SWPS.
– W Rosji swego czasu krążył fejk o wynalezieniu leku na homoseksualizm. Choć został szybko obalony, to ludziom zostało w głowach, że homoseksualizm jest chorobą, którą można leczyć, skoro są jakieś badania i leki. Możemy wymazać z pamięci część, ale nie całość informacji – dodaje socjolog.
Naukowiec podkreśla, że osoby o niskich zdolnościach poznawczych pozostają pod wpływem fejka, choć został on zdyskredytowany. – Nawet jeśli dostarczymy im prawdziwych informacji, to będą uważały, że jakieś ziarenko prawdy wciąż tam jest – podkreśla Maj, który specjalizuje się kwestiach wpływu informacji i manipulacji na społeczeństwo. W kwietniu przeprowadził badanie na temat wpływu epidemii i izolacji na społeczeństwo, w którym przyjrzał się m.in. teoriom spiskowym związanym z pochodzeniem koronawirusa. Okazało się, że spiskowe podejście do koronawirusa podziela 26 proc. badanych. – Co ciekawe, zwolennicy Konfederacji istotnie częściej niż pozostali badani zgadzali się ze stwierdzeniem, że „koronawirus jest zjawiskiem celowo nagłaśnianym przez koncerny farmaceutyczne, aby zarobić na szczepionkach, lekach oraz środkach ochrony” – dodaje Maj.
Jeszcze wcześniej naukowiec przyjrzał się paskom stacji informacyjnych. – Moje badania były zaskakujące dla części środowiska. Okazało się bowiem, że ludzie faworyzowali informacje pozytywne – opisuje Maj. Kiedy lektor przedstawiał bohatera w sposób negatywny, a pasek pozytywny, to badani częściej wierzyli paskowi. Odwrotnie, kiedy to lektor przedstawiał jaką osobę w pozytywach, a pasek wyolbrzymiał negatywne cechy. – Wolimy samodzielnie wyciągać wnioski. Atak medialny może być źle widziany i spowodować zjawisko bumerangu, kiedy manipulacja odnosi skutek odwrotny do zamierzonego. Ludzie nie lubią, kiedy ktoś myśli, że są głupi – wyjaśnia.
Wszystko rozbijać się może o stopień manipulacji. Jako przeciwwagę Maj podaje badania z rynku amerykańskiego, gdzie mieszkańców pewnego osiedla podzielono na dwie grupy. Do obu kierowano nieco inny przekaz z kablówki. W pierwszym przypadku koncentrowano się na sprawach społecznych, w drugim na ekonomicznych. W czasie wyborów ludzie na pierwszym miejscu stawiali te kwestie, którym telewizja poświęcała więcej czasu. – Tak spolaryzowane grupy łatwiej później zantagonizować. Każda żyje w swojej bańce i doznaje szoku poznawczego, stykając się z argumentacją lub poglądami, o których wcześniej nie miała pojęcia – podsumowuje badacz.
W skrócie nazywamy takie zjawisko syndromem oblężonej twierdzy. Jak ona funkcjonuje, nieraz odczuł na własnej skórze Myśliwiec, jak choćby wtedy, kiedy w jednym ze swoich materiałów podkreślał, że biologiczne rasy człowieka nie istnieją. Jeden z komentujących poczuł, że jego poglądy są zagrożone, czy może nawet zaatakowane. I zaczął walczyć, argumentując rasami psów czy kotów, które Dawid miał według niego celowo pominąć, bo były niewygodne dla jego tezy.
– Różnimy się między sobą. Bez dwóch zdań, ale u ludzi zmienność między klastrami, które „podejrzewamy o bycie rasami” nie przekracza 5 proc. U psów to zaś 27,5 proc., a i tak są na krawędzi definicji rasy – wyjaśnia Myśliwiec i dodaje, że nawet takie do bólu merytoryczne argumenty często nie działają.
– Wystarczy skategoryzować kogoś jako lewak lub prawak i już mamy gotową wiązankę argumentów – dodaje.
Im więcej trudniejszych danych w naszym otoczeniu, tym tak naprawdę łatwiej o manipulacje. Kłania się tu oczywiście słaba edukacja. – Nasz system nie uczy krytycznego myślenia, a oparty jest na wkuwaniu rzeczy, które dostępne są w internecie na wyciągnięcie kciuka. Powinniśmy postawić na wyszukiwanie, weryfikację i analizę informacji, a także pracę w grupie – podkreśla Myśliwiec.
– Brakuje nam krytycznego myślenia i zdolności do samodzielnej analizy faktów – dodaje Maj, który przywołuje kraje bałtyckie, gdzie identyfikacja manipulacji jest częścią szkolnych umiejętności. Będąc wyposażeni w takie umiejętności, wiedzielibyśmy, że nie ma sensu porównywać ze sobą wyników oglądalności z różnych badań.
