Gdzie by nie zajrzeć, szczególnie jesli chodzi o wszelkie materiały marketingowe dotyczące polskiego Internetu, można się otrzeć o statystyki publikowane przez firmę Gemius w ramach serwisu ranking.pl. Nie da się ukryć, że Gemius ma praktyczny monopol jeśli chodzi o wielkoskalowe statystyki w Polsce, ale z drugiej strony nie oznacza to automatycznie, że ich dane są poprawne.
W ciągu ostatniego miesiąca można zauważyć duże wahnięcia w statystykach globalnych, sięgające nawet kilku milionów użytkowników tygodniowo. Na przykład w okresie 27.03–02.04 zarejestrowano 15,4 mln użytkowników w Polsce, a dwa tygodnie później aż 19,2 mln. Ostatni tydzień (24.04–30.04) wskazuje na 18,8 mln. Tak duże wahania jasno pokazują, że coś jest nie tak. Co gorsza, nie tylko podejrzanie wzrosła liczba użytkowników, ale też znacząco zmieniły się proporcje, np. IE zyskał 5% udziału, a alternatywne przeglądarki odpowiednio straciły. Sam Gemius nabiera wody w usta i nie tłumaczy co się dzieje. Na swoim blogu woli publikować informacje o nowym narzędziu „Wróżka” do przewidywania trendów. Obawiam się, że nie tylko przyszłe, ale i obecne statystyki są przykładem wróżenia z fusów.
Metoda Gemiusa jest oczywiście niedoskonała, ale wyniki są często cytowane tak, jakby były obiektywną, niepodważalną miarą. Statystyki bazują na dwóch źródłach: kodzie JavaScript wstawionym na serwisach współpracujących z Gemiusem oraz ich toolbarze, który śledzi wszystkie odwiedzane strony. Należy jednak wyraźnie zaznaczyć, że wnioskowanie na podstawie tych dwóch źródeł nigdy nie będzie w 100% pewne:
- Nie wszystkie strony w polskim Internecie korzystają ze skryptu Gemiusa; mimo faktycznie dużego zasięgu powątpiewam w twierdzenie, że ich próba jest reprezentatywna. Zdecydowana większość stron korzystających z Gemiusa to strony komercyjne; autorzy serwisów niekomercyjnych, rządowych, blogów itp. mniej chętnie instalują skrypty śledzące użytkowników.
- Wielu zaawansowanych użytkowników blokuje skrypty Gemiusa. Istnieją rozszerzenia dla popularnych przeglądarek, jak np. Adblock Plus dla Firefoksa, które nie tylko umożliwiają blokadę reklam czy web bugów. Zestawy reguł blokujących dla Adblocka często zawierają domyślnie regułkę dla Gemiusa. Ludzie blokują skrypty i zbędne cookies, ponieważ spowalniają one ładowanie strony bądź nie lubią być nadmiernie śledzeni.
- Korporacyjne i prywatne proxy czy firewalle mogą być skonfigurowane do blokowania skryptów/cookies w celu zwiększenia prywatności i bezpieczeństwa.
- Badanie Megapanel/PBI, czyli wspomniany toolbar to prawdopodobnie największe przegięcie – sam program dostępny jest tylko dla Windows i działa tylko z IE i Mozillą (nota bene początkowo nawet nie działał z tą drugą przeglądarką). Podobnie jak i przy blokowaniu skryptów – zaawansowani użytkownicy bardzo rzadko dobrowolnie instalują programy śledzące.
W rezultacie, statystyki ranking.pl należy traktować z wielką rezerwą. Jeśli tygodniowe wahnięcia rzędu kilku procent nie są na to wystarczającym dowodem, to już nie wiem co nim jest. Szczytem bezczelności jest w sytuacji wyraźnych przekłamań twierdzenie, że „błąd statystyczny wynosi 0,01 proc. przy poziomie ufności równym 99 proc.” Tia, moim zdaniem błąd ten w praktyce jest raczej bliższy 5%.
Mam pewną hipotezę odnośnie wspomnianego dużego wzrostu liczby użytkowników i zachwiania proporcji na rzecz IE. W związku z dwiema ważnymi premierami z Microsoftu: MSIE 7 oraz Windows Vista, ludzie zaczęli wykonywać masowe aktualizacje. Nie mam Windows aby to przetestować, ale ciekaw jestem czy upgrade IE6 na IE7 kasuje cookies. Nawet jeśli nie, to z pewnością mamy do czynienia z większą niż zwykle liczbą reinstalacji systemów i czyszczenia ciasteczek. Nowe ciastka są liczone jak nowi użytkownicy, podczas gdy w rzeczywistości nimi nie są.
Nie należy oczywiście winić Gemiusa za fakt, że statystyki nie są dokładne, bo przecież obiektywnie patrząc lepsze być nie mogą. To co boli i smuci to uznawanie ich statystyk za obiektywne i jedynie słuszne tylko na podstawie de facto monopolu Gemiusa w Polsce. Warto pamiętać o starym przysłowiu górali mongolskich: „kłamstwo, wielkie kłamstwo, statystyki”.
O problemach Gemiusa pisali już m.in. Quiris, Kangel, dobreprogramy, ADziura. Marek Futrega poświęcił Gemiusowi wiele ciekawych wpisów w polskim i angielskim blogu, można je sobie wyszukać.
