Kalkulator testu A/B: istotność statystyczna wyniku

Kalkulator testu A/B: sprawdź istotność statystyczną i wartość p dla dwóch wersji strony lub reklamy. Dowiedz się, kiedy wynik testu jest wiarygodny.

Kalkulator testu A/B odpowiada na pytanie, które pada po każdym eksperymencie: czy wersja B naprawdę jest lepsza, czy to przypadek. Wpisz liczbę odwiedzających i konwersji dla obu wersji, a zobaczysz współczynniki konwersji, względną zmianę, wartość p, pewność wyniku i wykres przedziałów ufności.

Kalkulator testu A/B

Wartości startowe są przykładowe. Wersja A to oryginał, wersja B to zmiana, którą testujesz (na przykład nowy nagłówek, inny układ strony albo inna reklama).

Kalkulator testu A/B: czy wynik jest istotny?

Wpisz liczbę odwiedzających i konwersji dla wersji A (oryginał) i B (zmiana) albo przesuń suwaki. Wartości startowe są przykładowe. Nic nie jest wysyłane ani zapisywane.

os.
szt.
os.
szt.
—pewność, że różnica nie jest przypadkiem
—współczynnik konwersji A
—współczynnik konwersji B
—względna zmiana B wobec A
—wartość p (dwustronna)
—wniosek

Współczynniki konwersji z 95% przedziałem ufności

A: oryginałB: zmianaNakładające się przedziały oznaczają, że różnica może być przypadkowa.
Test dla dwóch proporcji (z-test). Wynik jest wiarygodny, gdy wielkość próby i czas trwania testu zaplanowano z góry. Podglądanie wyniku w trakcie i zatrzymanie testu w korzystnym momencie zawyża pewność.

Jak czytać wynik

W przykładzie wersja A konwertuje na poziomie 3,00%, a wersja B na 3,60%. Wygląda to jak poprawa o 20%, ale kalkulator pokazuje pewność około 91%. To za mało, żeby uznać wynik za pewny: zbyt często zdarza się, że taka różnica pojawia się przez zwykły przypadek, zwłaszcza przy kilku tysiącach odwiedzających.

  • Pewność co najmniej 95% (wartość p poniżej 0,05). Różnica jest istotna statystycznie. Można wdrożyć zwycięską wersję, o ile test był poprawnie przeprowadzony.
  • Pewność 90–95%. Wynik obiecujący, ale niepewny. Zbieraj dalej dane do zaplanowanej liczby odwiedzających.
  • Pewność poniżej 90%. Brak dowodu na różnicę. To nie znaczy, że wersje są takie same, tylko że test nie rozstrzygnął.

Wykres pokazuje przedział ufności dla każdej wersji. Jeżeli przedziały mocno się nakładają, różnica może być przypadkowa. Im więcej odwiedzających, tym przedziały są węższe.

Jak prowadzić test A/B, żeby wynik był wiarygodny

  1. Postaw hipotezę. Zapisz, co zmieniasz, dlaczego i którą miarę oceniasz (jedna główna konwersja, nie dziesięć).
  2. Ustal rozmiar próby z góry. Zależy od bazowej konwersji i najmniejszej poprawy, którą chcesz wykryć. Niska konwersja i mała spodziewana zmiana wymagają dużej próby.
  3. Dziel ruch losowo i równocześnie. Obie wersje muszą działać w tym samym czasie, a nie jedna w tygodniu, a druga w następnym.
  4. Prowadź test pełnymi tygodniami. Zachowanie klientów różni się w dni robocze i w weekendy, a przy kampaniach także w okresach promocji.
  5. Nie podglądaj wyniku, żeby przerwać test. Wielokrotne sprawdzanie i kończenie w korzystnym momencie zawyża pewność. Oceniaj po osiągnięciu zaplanowanej próby.
  6. Zmieniaj jedną rzecz naraz. Inaczej nie wiadomo, co wpłynęło na wynik.

Gdzie testować w reklamach i na stronie

Test A/B ma sens tam, gdzie ruchu jest dość, by dać rozstrzygnięcie w rozsądnym czasie: strona produktu, koszyk, formularz, kreacje reklamowe i nagłówki. Przy małym ruchu lepiej testować rzadziej i większe zmiany, bo drobne poprawki wymagają bardzo dużej próby. W reklamach pamiętaj, że platformy same rozdzielają budżet między warianty, więc wynik najlepiej oceniać w narzędziach do eksperymentów danej platformy. O doborze kreacji i ich odświeżaniu piszemy w artykule o zmęczeniu kreacji w Meta Ads.

Co dalej

Zanim zaczniesz testować, policz, ile zarabia ruch, który już masz. Pomoże kalkulator konwersji, ROAS i CPA, a opłacalność reklam sprawdzisz w kalkulatorze ROAS progowego. Gdy konwersja nie rośnie mimo testów, zajrzyj do artykułu Google Ads nie sprzedaje: możliwe przyczyny. Wszystkie narzędzia znajdziesz w kalkulatorach marketingowych, a jeśli chcesz drugiej opinii o kampaniach i stronie, umów bezpłatny audyt.

Najczęstsze pytania: kalkulator testu A/B

Co to jest istotność statystyczna w teście A/B?

To miara tego, jak mało prawdopodobne jest, że zaobserwowana różnica między wersjami wynika z przypadku. Zwykle przyjmuje się próg 95%, co odpowiada wartości p poniżej 0,05. Istotność nie mówi, jak duża jest różnica, tylko jak bardzo można jej ufać.

Ile odwiedzających potrzeba do testu A/B?

Zależy od bazowej konwersji i najmniejszej różnicy, którą chcesz wykryć. Im niższa konwersja i mniejsza spodziewana poprawa, tym więcej odwiedzających. Wielkość próby warto wyliczyć przed testem i nie kończyć go wcześniej, nawet jeśli wynik wygląda obiecująco.

Co oznacza wartość p?

To prawdopodobieństwo uzyskania takiej lub większej różnicy między wersjami przy założeniu, że w rzeczywistości żadnej różnicy nie ma. Wartość p poniżej 0,05 uznaje się za wystarczającą, by odrzucić założenie o braku różnicy. Nie jest to prawdopodobieństwo, że wersja B jest lepsza.

Czy można zatrzymać test A/B, gdy wynik wyjdzie istotny?

Nie jest to dobra praktyka. Jeśli sprawdzasz wynik wielokrotnie i kończysz test w pierwszym korzystnym momencie, rośnie ryzyko fałszywego sukcesu. Zaplanuj liczbę odwiedzających lub czas trwania z góry i oceń wynik dopiero po ich osiągnięciu.

kalkulatortest A/Bistotność statystycznawartość pkonwersjaoptymalizacja
🐝
Zespół Growbee

Prowadzimy kampanie Google Ads i Meta Ads dla sklepów internetowych, rozliczając się od obrotu. To, o czym piszemy, testujemy na kontach klientów.

Tekst przygotowany z pomocą narzędzi AI na podstawie naszych doświadczeń, sprawdzony i zredagowany przez zespół Growbee.
Wolisz porozmawiać o swoich liczbach?

Bezpłatna konsultacja — 30 minut, konkretne rekomendacje

Zarezerwuj 30 minut w kalendarzu — wybierz termin, który Ci pasuje. Bez zobowiązań.

📅 Umów spotkanie (30 min)