Kalkulator testu A/B odpowiada na pytanie, które pada po każdym eksperymencie: czy wersja B naprawdę jest lepsza, czy to przypadek. Wpisz liczbę odwiedzających i konwersji dla obu wersji, a zobaczysz współczynniki konwersji, względną zmianę, wartość p, pewność wyniku i wykres przedziałów ufności.
Kalkulator testu A/B
Wartości startowe są przykładowe. Wersja A to oryginał, wersja B to zmiana, którą testujesz (na przykład nowy nagłówek, inny układ strony albo inna reklama).
Wpisz liczbę odwiedzających i konwersji dla wersji A (oryginał) i B (zmiana) albo przesuń suwaki. Wartości startowe są przykładowe. Nic nie jest wysyłane ani zapisywane.
Współczynniki konwersji z 95% przedziałem ufności
Jak czytać wynik
W przykładzie wersja A konwertuje na poziomie 3,00%, a wersja B na 3,60%. Wygląda to jak poprawa o 20%, ale kalkulator pokazuje pewność około 91%. To za mało, żeby uznać wynik za pewny: zbyt często zdarza się, że taka różnica pojawia się przez zwykły przypadek, zwłaszcza przy kilku tysiącach odwiedzających.
- Pewność co najmniej 95% (wartość p poniżej 0,05). Różnica jest istotna statystycznie. Można wdrożyć zwycięską wersję, o ile test był poprawnie przeprowadzony.
- Pewność 90–95%. Wynik obiecujący, ale niepewny. Zbieraj dalej dane do zaplanowanej liczby odwiedzających.
- Pewność poniżej 90%. Brak dowodu na różnicę. To nie znaczy, że wersje są takie same, tylko że test nie rozstrzygnął.
Wykres pokazuje przedział ufności dla każdej wersji. Jeżeli przedziały mocno się nakładają, różnica może być przypadkowa. Im więcej odwiedzających, tym przedziały są węższe.
Jak prowadzić test A/B, żeby wynik był wiarygodny
- Postaw hipotezę. Zapisz, co zmieniasz, dlaczego i którą miarę oceniasz (jedna główna konwersja, nie dziesięć).
- Ustal rozmiar próby z góry. Zależy od bazowej konwersji i najmniejszej poprawy, którą chcesz wykryć. Niska konwersja i mała spodziewana zmiana wymagają dużej próby.
- Dziel ruch losowo i równocześnie. Obie wersje muszą działać w tym samym czasie, a nie jedna w tygodniu, a druga w następnym.
- Prowadź test pełnymi tygodniami. Zachowanie klientów różni się w dni robocze i w weekendy, a przy kampaniach także w okresach promocji.
- Nie podglądaj wyniku, żeby przerwać test. Wielokrotne sprawdzanie i kończenie w korzystnym momencie zawyża pewność. Oceniaj po osiągnięciu zaplanowanej próby.
- Zmieniaj jedną rzecz naraz. Inaczej nie wiadomo, co wpłynęło na wynik.
Gdzie testować w reklamach i na stronie
Test A/B ma sens tam, gdzie ruchu jest dość, by dać rozstrzygnięcie w rozsądnym czasie: strona produktu, koszyk, formularz, kreacje reklamowe i nagłówki. Przy małym ruchu lepiej testować rzadziej i większe zmiany, bo drobne poprawki wymagają bardzo dużej próby. W reklamach pamiętaj, że platformy same rozdzielają budżet między warianty, więc wynik najlepiej oceniać w narzędziach do eksperymentów danej platformy. O doborze kreacji i ich odświeżaniu piszemy w artykule o zmęczeniu kreacji w Meta Ads.
Co dalej
Zanim zaczniesz testować, policz, ile zarabia ruch, który już masz. Pomoże kalkulator konwersji, ROAS i CPA, a opłacalność reklam sprawdzisz w kalkulatorze ROAS progowego. Gdy konwersja nie rośnie mimo testów, zajrzyj do artykułu Google Ads nie sprzedaje: możliwe przyczyny. Wszystkie narzędzia znajdziesz w kalkulatorach marketingowych, a jeśli chcesz drugiej opinii o kampaniach i stronie, umów bezpłatny audyt.
Najczęstsze pytania: kalkulator testu A/B
Co to jest istotność statystyczna w teście A/B?
To miara tego, jak mało prawdopodobne jest, że zaobserwowana różnica między wersjami wynika z przypadku. Zwykle przyjmuje się próg 95%, co odpowiada wartości p poniżej 0,05. Istotność nie mówi, jak duża jest różnica, tylko jak bardzo można jej ufać.
Ile odwiedzających potrzeba do testu A/B?
Zależy od bazowej konwersji i najmniejszej różnicy, którą chcesz wykryć. Im niższa konwersja i mniejsza spodziewana poprawa, tym więcej odwiedzających. Wielkość próby warto wyliczyć przed testem i nie kończyć go wcześniej, nawet jeśli wynik wygląda obiecująco.
Co oznacza wartość p?
To prawdopodobieństwo uzyskania takiej lub większej różnicy między wersjami przy założeniu, że w rzeczywistości żadnej różnicy nie ma. Wartość p poniżej 0,05 uznaje się za wystarczającą, by odrzucić założenie o braku różnicy. Nie jest to prawdopodobieństwo, że wersja B jest lepsza.
Czy można zatrzymać test A/B, gdy wynik wyjdzie istotny?
Nie jest to dobra praktyka. Jeśli sprawdzasz wynik wielokrotnie i kończysz test w pierwszym korzystnym momencie, rośnie ryzyko fałszywego sukcesu. Zaplanuj liczbę odwiedzających lub czas trwania z góry i oceń wynik dopiero po ich osiągnięciu.