Jak skonfigurować testy A/B

Czym są Testy A/B i co dokładnie możesz testować, znajdziesz w tej instrukcji.

Skonfigurowanie testu A/B jest proste. W kilku krokach pokażemy, jak to zrobić.

W szczegółach targetowanej kampanii e-mail (newslettera) włącz opcję Testy A/B.

Teraz należy przygotować 2 warianty e-maila – wariant A i wariant B.

Najpierw zastanów się, co będziesz testować w e-mailu. Najczęściej jest to temat kampanii lub nadawca.
Do obu grup testowych możesz wysłać taki sam lub różny content e-maila. Właśnie do tego służą te dwa warianty – A i B.

Jeśli content i kreacja obu wariantów będą takie same, nie ma potrzeby tworzyć ich osobno dla obu wariantów.

Utwórz newsletter dla wariantu A. W wariancie B wystarczy kliknąć (...) i z listy wybrać opcję "Przenieś kreację z wariantu A". Jednym kliknięciem przeniesiesz wersję e-maila z wariantu A do e-maila wariantu B.

Podobnie, jeśli zdecydujesz się na edycję e-maila tuż przed wysyłką, wprowadź ją tylko w jednym wariancie, a następnie kliknięciem przenieś zaktualizowany e-mail do drugiego wariantu.

Jeśli chcesz, aby e-mail, który będziesz testować w ramach Testów A/B, nadpisał jedną z Twoich wcześniejszych kampanii, wystarczy wybrać opcję "Uzupełnij na podstawie istniejącej kampanii" i wskazać kampanię e-mail, którą chcesz skopiować do danej kampanii.

Co oznacza opcja "Utwórz nową kampanię z tego wariantu"?

Jeśli wybierzesz tę opcję, do listy kampanii zostanie skopiowany właśnie ten wariant, którego wygląd lub układ chcesz wykorzystać w kolejnej kampanii.
Jeśli masz przygotowane warianty A i B, pozostaje już tylko ustawić grupę odbiorców. Testy A/B bazują na zdefiniowanej grupie odbiorców w kroku nr 1.

Ustaw wielkość testowej grupy odbiorców – np. wariant A zostanie wysłany do losowych 15% subskrybentów z grupy odbiorców zdefiniowanej w pierwszym kroku, i tak samo wariant B. Grupa testowa to 30%.

Uwaga: Minimalna próba dla jednego wariantu musi wynosić 50 kontaktów. Jeśli próba jest mniejsza, nie można uruchomić Testów A/B.

Od razu wybierz, na podstawie jakiej metryki (np. najwyższy open rate) ma zostać wyłoniona zwycięska wersja testu A/B oraz po jakim czasie ma zostać wysłana pozostała część e-maili (do pozostałych 70% subskrybentów zwycięski wariant e-maila zostanie wysłany po 2 godzinach).

Następnie wystarczy wysłać kampanię od razu lub zaplanować jej wysyłkę na przyszłość.

W momencie, gdy wszystkie e-maile wariantu A i B zostaną wysłane, rozpocznie się odliczanie czasu testu, który ustawiłeś w kroku 4. Po tym czasie zwycięska wersja zostanie automatycznie wysłana do pozostałej części bazy (70%).

Wyniki obu wersji, jak również całej kampanii, znajdziesz w jej szczegółach.

Testy A/B kampanii bardzo łatwo rozpoznasz także już w przeglądzie kampanii w Dashboardzie.

Jak duże grupy odbiorców testować?

Minimalna wielkość testowej grupy odbiorców do uruchomienia testu A/B w Leadhubie to 50 odbiorców (dla obu wariantów potrzeba więc min. 100 odbiorców).

Im większe jednak będą testowe grupy odbiorców, tym lepiej. Oczywiście zależy to od wielkości Twojej bazy subskrybentów, ale jeśli jest większa, wybierz testową grupę odbiorców na poziomie co najmniej 1000+ odbiorców dla każdego wariantu. Jeszcze lepsza jest próba 5000+ subskrybentów na wariant.

Powód: Mała testowa grupa odbiorców może negatywnie wpłynąć na wynik całych Testów A/B.