Testy A/B – czym są i jak je wykorzystać

Testy A/B to świetna metoda aby sprawdzić, jakie rozwiązania przynoszą więcej konwersji. Możesz testować kreacje reklamowe, newsletter czy strony internetowe.

Czym są testy A/B?

Zasada działania testów A/B jest prosta:

1. Dzielisz użytkowników na dwie równe grupy (50/50)
2. Pokazujesz każdej z nich inną wersję kreacji reklamowej / strony internetowej / emaila
3. Sprawdzasz, która przynosi lepsze rezultaty (więcej zapisów na newsletter, wyższy CTR, współczynnik konwersji, przychód etc.).

Główna korzyść to możliwość dokładnego sprawdzenia co lepiej działa.

Jeśli wdrażasz zmiany od razu dla 100% użytkowników i porównujesz je z poprzednim okresem, wyniki mogą być zaburzone przez poniższe czynniki:

• Sezonowość
• Zmiany w ofercie
• Działania konkurencji
• Zmiany w pozyskiwaniu ruchu
• Pogoda

Testy A/B zmniejszają ich wpływ na uzyskane wyniki (ale nie eliminują całkowicie).

Ważne! Jeśli robisz test A/B w okresie dużej anomalii (np. gigantyczne wyprzedaże, premiera hitowego produktu, święta), to wyniki mogą być przekłamane. Więcej o tym w artykule o błędach w testach A/B.

Inne metody testowania

Poza testami A/B istnieją też pokrewne metody testowania:

• Testy A/B/n
  Zasada identyczna, jak przy testach A/B, ale testujesz więcej niż 2 rozwiązania jednocześnie. Ruch jest dzielony po równo między wersje.
• Testy multiwariacyjne
  Testujesz wszelkie możliwe kombinacje różnych elementów. Np. dwa różne nagłówki i dwa różne zdjęcia. W sumie 4 różne wersje (kombinacje). Te testy są przeznaczone dla serwisów o ogromnym ruchu i pozwalają na znalezienie perfekcyjnych rozwiązań.

Testy A/B – kiedy warto je robić

O testach A/B warto myśleć, gdy serwis ma minimum ~50,000 sesji miesięcznie (przy założeniu 2% współczynnika konwersji).

Przy mniejszym serwisie trudno będzie Ci uzyskać odpowiednio dużą próbkę. Bez niej nie uzyskasz wiarygodnych rezultatów.

Dodatkowo pamiętaj, że test na stronie internetowej A/B to sporo dodatkowej pracy. Musisz:

• Przeprowadzić analizy aby wiedzieć, co testować
• Opracować hipotezy i zaprojektować rozwiązania
• Skonfigurować narzędzie do testów A/B
• Skonfigurować test (lub opłacić programistę, który to zrobi)
• Monitorować test (czy na pewno nic nie popsuł w serwisie)
• Przeanalizować wyniki
• Jeśli test A/B przyniósł wzrosty (a zwykle nie przynosi!), to kolejnym etapem jest wdrożenie zmian na stałe

Kruczek: niezależnie od poziomu ruchu w serwisie czy budżetu na testowane reklamy, te zadania zajmują podobną ilość czasu.

Jeśli masz mały ruch, to odpuść testy A/B. Oczywiście nadal warto robić analizy ilościowe i jakościowe, a następnie wdrażać na ich podstawie rozwiązania. Natomiast głównym zadaniem w takim momencie powinno być zwiększenie ruchu.

Im większa skala biznesu internetowego, tym bardziej opłaca się przeprowadzać testy A/B.

Zalety testowania przy dużym ruchu:

• Krótszy czas testowania. Możesz przetestować więcej rozwiązań.
• Większa szansa na wzrost konwersji. Dla tej samej hipotezy możesz testować jednocześnie kilka-kilkanaście rozwiązań (test A/B/n).
• Nawet niewielki wzrost współczynnika konwersji może oznaczać setki tysięcy złotych dodatkowego przychodu. Przy przychodzie 10 000 000 zł miesięcznie podniesienie współczynnika konwersji o 1,2% to dodatkowe 120 000 zł.

Narzędzia do testów A/B

Wybór narzędzia do testów A/B jest mniej istotny, niż Ci się wydaje. Same testy AB to finalny etap procesu optymalizacji konwersji (gdzie sprawdzasz, czy Twoje analizy i zaprojektowane rozwiązania mają sens).

Narzędzia do testów A/B działają na podobnej zasadzie i oferuje dwie typowe metody testowania:

Przekierowanie na inny adres URL
Przydatne, gdy testujesz landing page (strony docelowe), znajdujące się na różnych adresach URL. Na pierwszym z nich umieszczasz narzędzie do testowania i kierujesz tam 100% ruchu. Jeśli użytkownik wylosuje wersję A – pozostaje na pierwszym URL. Jeśli wylosuje wersję B, jest przekierowywany do alternatywnego landing page.

Podmiana elementów w HTML po stronie przeglądarki
Definiujesz URL (lub grupę adresów URL), a następnie konfigurujesz zmiany w edytorze wizualnym, lub poprzez wklejenie kodu Javascript / jQuery (który dynamicznie zmodyfikuje wygląd strony po stronie przeglądarki).

Edytory wizualne kuszą nietechniczne osoby, ale ich funkcjonalność jest ograniczona. Klikanie w edytorze generuje kod Javascript, który możesz też napisać samodzielnie (lub może to zrobić Twój front-end developer).

Gdy użytkownik wchodzi na stronę, jest przydzielany do wersji A lub B. Jeśli trafi do grupy B, to – zanim jeszcze jego oczom ukaże się serwis – elementy HTML są podmieniane przez wygenerowany skrypt. Całość trwa ułamek sekundy i jest niewidoczna dla użytkownika.

Aby to lepiej zrozumieć, spróbuj sam – większość narzędzi oferuje darmowy okres próbny, lub jest całkowicie darmowa (jak Google Optimize).

Popularne narzędzia do testów A/B:

• Google Optimize
• Optimizely
• VWO
• Omniconvert
• A/B Tasty

Test A/B – ile powinien trwać?

Popularny błąd to kończenie testu AB zbyt wcześnie. Innym błędem jest testowanie w momencie, gdy ruch jest zbyt niski.

Jak sprawdzić, ile powinien trwać test (i czy jest sens go przeprowadzać)?

Musisz wiedzieć, że długość testu zależy od:

• Obecnego współczynnika konwersji
• Ruchu
• Przewidywanego wzrostu
• Poziomu istotności statystycznej i mocy, jakie chcesz uzyskać

Przygodę z testami A/B możesz spokojnie zacząć bez uczenia się statystyki. Kalkulacje zrobią za Ciebie kalkulatory.

Osobiście korzystam z kalkulatora stworzonego przez Evana Millera. Dowiesz się z niego, ilu użytkowników na wersję strony potrzebujesz, aby uzyskać wiarygodne wyniki.

Dobra praktyka to ustalenie potrzebnej próbki przed rozpoczęciem testu. Następnie uruchamiasz test i cierpliwie czekasz, aż zbierzesz odpowiednio dużo danych.

Typowe błędy w testach A/B

Na temat błędów w testach A/B napisałem oddzielny artykuł. W skrócie główne punkty:

1. Testujesz losowe elementy
2. Testujesz pomimo zbyt niskiego ruchu
3. Kończysz test A/B zbyt wcześnie
4. Ignorujesz wpływ sezonowości
5. Nie analizujesz wyników testu A/B w Google Analytics

Największy błąd to testowanie pomysłów niepopartych analizami i danymi.

Możesz opracować piękny design, wzorcowo zakodować stronę i mieć mieć dużą próbkę w teście, ale jeśli testujesz niepotrzebne rzeczy, to wyniki będą marne.

Testowanie losowych rozwiązań (lub znalezionych w artykule typu “91 pomysłów na testy A/B”) to strata czasu i pieniędzy.

Uczulam, aby poświęcić czas na badania ilościowe i jakościowe:

• Analizy danych z Google Analytics
• Ankiety z klientami
• Ankiety na stronie (np. Survicate czy Qualaroo)
• Heatmapy, scroll mapy
• Wywiady z działem sprzedaży / obsługą klienta
• Heurystyki
• Badania użyteczności

Dzięki temu wypracujesz hipotezy, które mają realną szansę na podniesienie konwersji w serwisie.

Jednym z rozwiązań jest też zlecenie przeprowadzenia audytu UX, którego efektem będzie lista hipotez do testu AB.

Podsumowanie

Testy AB są świetne, jeśli serwis ma duży ruch. Możesz wtedy dokładnie sprawdzić jakie rozwiązania przynoszą więcej pieniędzy.

Chociaż sposób działania testów A/B jest prosty, to łatwo popełnić poważne błędy. Te prowadzą do braku rezultatów czy niepoprawnej interpretacji wyników.

Najczęstszy błąd to testowanie losowych pomysłów i rozwiązań. Testy A/B muszą być poprzedzone solidnymi analizami, na podstawie których stworzysz hipotezy do testów. Jeśli pominiesz ten krok, to raczej nie zobaczysz wzrostów konwersji.