Social ninjo: ucz się badań!

Posted by in Badania

Ten wpis powstał dlatego, że mam dość. Mam dość tego, że po Internecie krążą słabej jakości dane o serwisach społecznościowych. Mam dość tego, że ludzie je udostępniają bezrefleksyjnie. Mam dość tego, że później na podstawie tych danych powstają nieefektywne strategie marketingowe i mediowe. Zastanawiasz się pewnie kto mi tak podpadł?

Nie mam na myśli żadnej konkretnej firmy ani żadnego konkretnego eksperta dlatego, że problem jest bardziej ogólny. Bezpośrednio do napisania tego postu skłoniła mnie wczorajsza krótka dyskusja na Twitterze. W momencie, kiedy zobaczyłem, że ludzie udostępniają infografikę zgodnie z którą w Polsce mamy 4 miliony użytkowników Twittera nie wytrzymałem:

1

Ten tweet zapoczątkował trochę dłuższą wymianę zdań. W tym miejscu krótki disclaimer: nie chciałbym żeby ktoś między wierszami dopatrzył się krytyki Sotrendera. Sotrender to bardzo dobre narzędzie (zwłaszcza ostatnio u mnie zaplusowali dzięki pomiarowi płatnej aktywności reklamowej na Facebooku), a w firmie pracują jedni z większych ekspertów w tej dziedzinie w Polsce. Szanuję ich pracę i wkład w rozwoju wiedzy o social mediach w Polsce.
Natomiast problem leży w tym, że przeciętny odbiorca infografiki, która zapoczątkowała cały temat, źle interpretuje z tej infografiki.

2

No właśnie… cały problem w tym że specjaliści social media często mylą RU z Megapanelu z liczbą użytkowników w danym serwisie. Gdyby rynek był bardziej wyedukowany to nie zabierałbym słowa w tej dyskusji bo wyglądałoby to na czepianie się słówek. Na szczęście nie jestem odosobniony w swoim odczuciu:

3

Cieszę się, że Jan Zając z Sotrendera zrozumiał nasz punkt widzenia:

4

W czym tkwi właściwie problem? Problem dotyczy złej interpretacji danych. Na podstawie danych z Megapanelu (badania stworzonego przez firmę badawczą Gemius) wiele osób określa liczbę użytkowników poszczególnych serwisów społecznościowych. Co w tym złego? Pokażę to Wam na przykładzie Facebooka. Facebook w oficjalnych statystykach podaje, że ma ponad 13 mln użytkowników (w tym momencie pewnie już bliżej 14 mln) natomiast z danych Megapanelu część osób wnioskuje, że Facebook ma w Polsce około 18 mln użytkowników. 4 mln rozbieżności… oj to trochę dużo. To trochę tak jakby partia, która w sondażu na 2 dni przed wyborami miała wynik na poziomie 50% głosów otrzymała nagle koło 40%.  Żeby było jasne: nikt w Gemiusie nie twierdzi, że Facebook ma w Polsce 18 mln użytkowników. Te 18 mln to liczba RU (Real users) – czyli unikalnych internautów, którzy trafili na stronę w domenie facebook.com – niezależnie od tego czy się zalogowali czy nie.

Z Facebokiem sprawa jest prosta – bo publikuje co kwartał oficjalne dane o swojej bazie użytkowników. Z Twitterem mamy problem – bo nikt oficjalnie nie podaje danych na temat bazy użytkowników Twittera (pytanie: dlaczego?). Nieoficjalnie natomiast wiadomo, że te 4 mln z Megapanelu jest dość dalekie od faktycznej liczby aktywnych kont.

To, co chciałbym żeby się upowszechniło na rynku to wiedza na temat Megapanelu i sposobu interpretacji danych:

1) Megapanel to badanie. Z moich doświadczeń (blisko 6 lat w agencjach badawczych) wynika, że na badania warto patrzeć pod kątem dynamiki wyników. Trafność badań (w kontekście niektórych wskaźników) zawsze może być problematyczna.

Ten akapit możecie pominąć (tylko dla dociekliwych): Czym jest trafność (bo zrozumienie tego pojęcia w kontekście badań jest kluczowe dla tego wywodu)? Weźmy dla przykładu strzelanie z łuku do tarczy. Jeśli ktoś wceluje w sam środek koła to wtedy można powiedzieć, że strzelił trafnie. Jeśli natomiast strzela pod rządem pięcioma strzałami w inne miejsce na tarczy to strzela rzetelnie (tzn. zawsze się myli w podobnym stopniu ale zachowuje stały poziom umiejętności). Wiele badań ma problemy z trafnością, jednak dzięki swojej rzetelności (powtarzalności) może być przydatna (z braku dostępu do lepszych danych).

 

2) W przypadku większości wydawców Megapanel korzysta z 2 typów pomiaru: site centric i pomiaru ze strony użytkownika. Pomiar site centric to dane, które bierzecie np. z Google Analytics – dzięki wpięciu kodów można dobrze śledzić ile osób wchodzi na stronę, co na niej robią, jak długo z niej korzystają. Niestety z pomiaru site centric trudno się dowiedzieć kim są (np. pod kątem demografii) użytkownicy witryny (tak – odpowiadając na wszelkie komentarze: wiem, że GA podaje informacje o danych demograficznych ale są to dane oparte jedynie na przypuszczeniach). Żeby się dowiedzieć czegoś o użytkownikach witryny potrzebne jest zainstalowanie programów śledzących po stronie Internauty. Dzięki takim programom firmy badawcze są w stanie próbować połączyć zachowania na stronie wraz z demografią użytkowników.

W przypadku dużych serwisów społecznościowych Megapanel nie wpina swoich kodów (bo np. Facebook nie ma interesu, żeby z kimkolwiek dzielić się takimi danymi). To sprawia, że dane odnośnie większości serwisów w Megapanelu pochodzą z dwóch źródeł – natomiast w przypadku serwisów społecznościowych jedynie z jednego. Wpływa to na pogorszenie jakości takich wyników.

 

3) Megapanel raportuje liczbę odsłon serwisu wśród unikalnych użytkowników określanych jako Real Users – te odsłony dotyczą zarówno części serwisu, która jest dostępna po zalogowaniu jak i bez niego. Krótko pisząc: jeśli w ostatnim miesiącu przez Google trafiliście na Twittera – to pomimo, że nie macie tam konta to i tak przez Megapanel zostaniecie zaliczeni do RU tego serwisu.

 

4) Najpewniejsza wiedza na temat liczby aktywnych kont, danych demograficznych użytkowników zawsze pochodzi bezpośrednio od serwisu społecznościowego. Jeśli takich danych nie mamy to zawsze krytycznie powinniśmy do wszelkich estymacji. Jeśli cytujesz gdzieś takie estymacje to zawsze wyjaśniaj swojemu czytelnikowi, że to dane przybliżone, które mocno mogą się różnić w stosunku do rzeczywistości. Jeśli klientowi podajesz takie dane to również uczul go na to, że na ich podstawie raczej z dużą ostrożnością należy podejmować decyzje odnośnie strategii mediowej (bo z perspektywy mediowej to czy Twitter ma w Polsce 4 mln/2 mln/0,5 mln użytkowników ma kluczowe znaczenie przy podejmowaniu decyzji o zaangażowaniu się w komunikację w tym kanele).

 

Na koniec wielka prośba do Ciebie czytelniku: jeśli zobaczysz gdzieś w internetowej dyskusji, że na pytanie „hej, ile mamy wg najnowszych danych użytkowników Twittera/Instagrama/Snapchata w Polsce” to w momencie, kiedy ktoś wrzuci odnośnik do danych z Megapanelu, Ty dorzucisz link do tego tekstu. Dasz radę? :) Wspólnie dbajmy o poziom wiedzy specjalistów ds. social media w Polsce!

Zwieńczeniem tego wpisu może być jeszcze jeden komentarz Jana Zająca, który również uważa, że coś jest nie tak z naszymi niektórymi specjalistami ds. social media jeśli nie rozróżniają danych o użytkownikach udostępnianych przez serwisy społecznościowe od informacji na temat RU (Real Users) z Megapanelu. Myślę, że zgodziłby się z tytułem mojego wpisu: „Social ninjo: ucz się (interpretacji wyników) badań!”.

5

Photo Credit: Jim Kaskade via Compfight cc