5 popularnych błędów w testach A/B, przez które nie wzrośnie Ci konwersja

Robisz testy A/B, ale efektów brak? Nie jesteś sam. Sporo firm popełnia podstawowe błędy w testach A/B. Sprawdź, czy też jesteś w tej grupie.

George Mavrommatis twierdzi, że około 90% jego testów to porażki.

Podobne doświadczenia ma Stuart Frisby z Booking.com, gdzie jednocześnie prowadzonych jest nawet 1 000 testów A/B (!).

Dlaczego testy A/B nie przynoszą Ci wzrostu konwersji, a co za tym idzie, wzrostu przychodów?

Po pierwsze, taka jest ich natura. Aby ciągle widzieć wzrosty w testach A/B, musiałbyś optymalizować fatalną stronę internetową. Im lepszy serwis, tym trudniej go poprawić.

Porażki w testach A/B to normalka.

Po drugie, prawdopodobnie popełniasz błędy przedstawione w tym artykule. Jeśli będziesz się ich wystrzegał, to zwiększysz swoje szanse na zwycięskie testy.

Błąd #1: testujesz losowe elementy

Narzędzia takie jak Google Optimize czy Omniconvert sprawiają, że test A/B może uruchomić każdy.

To proste – zmieniasz tekst nagłówka, klikasz “Start” i gotowe. W kilka minut!

Pomysł na test? Wystarczy wpisać w Google “A/B testing ideas” i wybrać coś ciekawego.

Korzystanie z gotowców to błąd. Nie rozwiążesz w ten sposób problemów z konwersją w swoim serwisie.

Gdyby było to takie proste, każda firma widziałaby dodatkowe przychody po testowaniu pomysłów z artykułów w sieci.

O dziwo 90% testów to porażki.

Zamiast chodzenia na skróty dowiedz się, co nie działa w Twoim serwisie.

• Przeanalizuj dane z Google Analytics
• Zrób analizę heurystyczną
• Popatrz na heatmapy
• Zrób badania użyteczności
• Przeprowadź ankiety

Na tej podstawie konstruuj testy A/B.

Swoją drogą fajnie widzieć, że narzędzia do testów A/B takie jak VWO nie pozwalają stworzyć testu bez opisanej hipotezy. Po prostu nie da się przejść dalej. Popieram!

Im mniejszy serwis, tym ważniejszy jest dobór hipotez do testów A/B

Jeśli ruch w Twoim serwisie pozwala jedynie na jeden test miesięcznie, to tym bardziej musisz skupić się na wyborze wartych testowania hipotez.

Miejsca na pomyłki jest mniej. Z każdym nietrafionym pomysłem tracisz miesiąc czasu na niepotrzebny test.

Dogłębne analizy ilościowe i jakościowe powinny być źródłem pomysłów na testy A/B. W przeciwnym wypadku skończysz testując mało elementy, które nie mają wpływu na konwersję.

Niestety, tendencja jest zwykle odwrotna. Podejście “Jesteśmy mali, więc nie mamy czasu na analizy” sprawia, że testowane są teksty na przyciskach czy kolory linków.

To nie przynosi rezultatów. Nie ma drogi na skróty. Analizuj, a dopiero potem testuj.

Błąd #2: testujesz pomimo zbyt niskiego ruchu

Testy A/B to zabawka dla dużych dzieci.

Jeśli masz poniżej ~600 konwersji miesięcznie, to nie uzyskasz wiarygodnych rezultatów. A wtedy czas włożony w przeprowadzenie testu idzie na marne.

Częstym błędem jest prowadzenie testów A/B w momencie, gdy serwis ma np. 40 konwersji miesięcznie.

• Wersja A: 15 konwersji
• Wersja B: 22 konwersje

Wzrost o 50%. Fanfary, szampan!

Błąd. To nie są wiarygodne wyniki.

Puść taki test A/B jeszcze raz, a prawdopodobnie zobaczysz odwrotną tendencję.

Niestety, błędne podejście bywa promowane w artykułach. I to nawet na znanych blogach, np. na CrazyEgg [artykuł został usunięty po tym, jak opublikowałem swój wpis na LinkedIn].

We wspomnianym, usuniętym artykule autor na bazie wyników testu opracował trzy złote zasady tworzenia nagłówków.

W oparciu o losowe wyniki.

A ludzie to czytali, a może i stosowali u siebie, bo nikt nie zweryfikował liczb ze screenshota. Kiepsko.

Masz mały ruch? Nie rób testów A/B. Szkoda czasu i energii.

Skup się najpierw na zwiększeniu ruchu. Poprawki w UX wdrażaj od razu dla 100% użytkowników i obserwuj zmiany w metrykach.

Jaki ruch jest potrzebny, żeby testy A/B miały sens?

Polecam podejście oparte o określenie wymaganej próbki przed rozpoczęciem testu A/B.

Liczbę potrzebnych użytkowników na wersję obliczysz w oparciu o dwa czynniki:

• Obecny współczynnik konwersji
• Przewidywany wzrost z testu

Polecam pobawić się kalkulatorem od Evana Millera.

Jeśli masz 3% współczynnik konwersji i celujesz w 10% wzrostu w teście A/B, to potrzebujesz 51 000 użytkowników na wersję.

Test A/B powinien trwać maksymalnie 4 tygodnie.

Czyli musisz mieć ~100 000 użytkowników miesięcznie, jeśli testujesz jeden wariant vs oryginał.

Kalkulator pokazuje więcej ruchu, niż masz? Na razie odpuść testy A/B.

Ale nie odpuszczaj optymalizacji konwersji – to możesz robić niezależnie od poziomu ruchu!

Błąd #3: kończysz test A/B zbyt wcześnie

Istotność statystyczna na poziomie 60% to dla niektórych wystarczająca wartość, aby zakończyć test i wyciągnąć wnioski.

A to przecież prawie jak rzut monetą!

Istnieje 40% szans, że wynik jest niezgodny z rzeczywistością. Test może wskazywać na wzrost konwersji, ale najprawdopodobniej nie odnotujesz wzrostu sprzedaży. Stan konta pozostanie identyczny.

A przecież nie o to chodzi, prawda? Cel testów A/B to zwiększenie rentowności biznesu, a nie chwalenie się losowymi cyferkami.

Cierpliwość w testach A/B jest kluczowa, ale wielu osobom jej brakuje.

95% to minimalny poziom istotności statystycznej, do którego powinno się dążyć. Oznacza to zaledwie 5% szans, że wynik testu jest błędny.

Uzyskanie 95% istotności statystycznej oznacza, że test musi trwać stosunkowo długo.

To jest ta trudna część, bo gdy widzisz po tygodniu 30% wzrostu, to zakończenie testu przed czasem kusi.

Ci, którzy tej pokusie ulegają, zwykle są rozczarowani brakiem długoterminowego efektu.

Co robić?

• Ustal z góry wielkość grupy użytkowników potrzebnej do przeprowadzenia testu.
• Próbkę obliczaj zakładając uzyskanie 95% istotności statystycznej
• Niezależnie od wyników czekaj, aż ją osiągniesz (wyjątek: testowana wersja notuje gigantyczne spadki)

Kończenie testu zbyt wcześnie to popularny błąd. Nie powielaj go.

Błąd #4: ignorujesz wpływ sezonowości

Masz duży ruch, więc wymaganą liczbę użytkowników w teście osiągasz w 4 dni. Zatrzymujesz test zgodnie z regułami statystyki.

To błąd. Test musi trwać przynajmniej przez tydzień.

Użytkownicy zachowują się różnie w zależności od dnia tygodnia.

Inaczej korzystają z Internetu w pracy we wtorek, a inaczej na tablecie z poziomu kanapy w sobotę.

Współczynnik konwersji może się diametralnie różnić między wtorkiem a piątkiem.

Jeśli więc prowadzisz test A/B tylko od wtorku do piątku, to nie masz pełnego obrazu.

Pamiętaj, że sam również to stymulujesz – newsletter, posty w social media, różnice w budżetach reklamowych w ciągu tygodnia vs weekend wpływają na poziom ruchu i konwersję.

Przykład z jednego z serwisów, z którym współpracuję:

Współczynnik konwersji:

• Niedziela: 0,37%
• Piątek: 0,63%

Niemal dwukrotna różnica!

Testuj w pełnych cyklach tygodniowych. 7, 14, 21 dni i tak dalej.

Wydarzenia zaburzające współczynnik konwersji

Poza cyklem tygodnia, na konwersję wpływają też różne wydarzenia:

• Sezon na Twój produkt (np. opony zimowe, narty, rowery)
• Święta (zwłaszcza Boże Narodzenie)
• Długie weekendy
• Premiera nowego, hitowego produktu (np. nowa FIFA, smartfon, nowa kolekcja ciuchów)
• Wyprzedaż / duża przecena
• Pogoda

Proste równanie opisujące istotę konwersji to:

Decyzja o zakupie = determinacja kupującego – przeszkody

Gdy rusza sprzedaż biletów na mecz reprezentacji Polski w piłce nożnej, ludzie (a ja wraz z nimi 🙂 nerwowo odświeżają stronę co kilka sekund.

Choćby UX serwisu był fatalny, współczynnik konwersji tego dnia będzie wysoki. Nie kupią tylko Ci, którzy nie zdążą.

Taki dzień jest kiepski na prowadzenie testu A/B. Nietypowe wydarzenie zaciera różnicę między testowanymi wersjami strony i sprawia, że wyniki nie są wiarygodne.

W “normalnych” okolicznościach kupujący zachowywaliby się inaczej.

Jeśli chcesz mieć poprawne wyniki, to unikaj prowadzenia testów A/B w okresach sezonowości.

Błąd #5: nie analizujesz wyników testu A/B w Google Analytics

“Dzień dobry. Omówię nasz ostatni test. Zmiana CTA przyniosła 13% wzrostu. Dziękuję, to koniec prezentacji.”

Trochę krótko, co?

W ferworze uruchamiania testu można zapomnieć o integracji narzędzia do testów A/B z Google Analytics. A to podstawa do dalszej, dogłębnej analizy wyników testu.

Większość narzędzi oferuje banalną integrację. Wystarczy kilka kliknięć i do Google Analytics wysyłana jest informacja o wylosowanej wersji strony (w formie zdarzenia lub wymiaru niestandardowego).

Dzięki integracji możesz:

• Zweryfikować w GA wyniki prezentowane przez narzędzie
• Pójść dalej, niż liczba konwersji – przeanalizować przychód, średnią wartość zamówienia, liczbę produktów w koszyku i wiele innych, pomocnych metryk
• Segmentować wyniki testu – sprawdzić wyniki np. dla wersji mobilnej i desktop, dla różnych źródeł ruchu itd.

To istotne, ponieważ niektóre wersje strony mogą Ci przynieść więcej konwersji, ale niższy przychód. A ostatecznie chodzi o to drugie.

Bez dodatkowej analizy w Google Analytics nie dowiesz się, jak wyniki testu przełożyły się na przychody, średni koszyk czy odsetek zwrotów.

Zawsze integruj narzędzie do testów A/B z Google Analytics (lub innymi analitycznymi narzędziami).

Podsumowanie

Uruchomienie testu A/B to bułka z masłem. Przeprowadzenie testu A/B, którzy przekłada się na wzrost przychodów firmy to już wyczyn.

Wyeliminuj 5 błędów przedstawionych w artykule, a zbliżysz się do uzyskiwania wzrostów w testach A/B.