12 lutego 2014

Popularne platformy testowe: porównanie Google Content Experiments, Optimizely i Visual Website Optimizer

W zeszłym roku na konferencjach branżowych coraz częściej  podejmowano temat optymalizacji konwersji. Zwieńczeniem procesu optymalizacji jest poprawa skuteczności witryny bądź kampanii, ale ścieżek ku niej wiodących jest wiele. W ostatnim tekście na temat optymalizacji przedstawiłem podstawowe kroki, które należy poczynić optymalizując witrynę oraz kilka scenariuszy przebiegu testów A/B. Dziś chciałbym krótko porównać  narzędzia dostępne w dolnym przedziale cenowym.

Google Content Experiments
Od czasu, gdy w 2012 Google integrował Google Content Experiments z Google Analytics, przeprowadzenie testu A/B stało się proste: wystarczy stworzyć alternatywną wersję strony, zaś w kodzie strony oryginalnej umieścić skrypt Content Experiments. Pozostało kliknąć start i test gotowy. Istnieje jednak kilka aspektów darmowego narzędzia od Google, które należy wziąć pod uwagę.

1. Google Content Experiments nie jest stricte platformą do testów A/B. Dlaczego? Dlatego, że wersja aktualnie przodująca w eksperymencie (czyli mogąca pochwalić się lepszymi osiągami jeśli chodzi o sprzedaż, wypełnienia formularza itd.) otrzymuje większą część ruchu, niż pozostałe. Dzięki temu eksperyment może trwać krócej, ale wyniki nie są statystycznie wiążące:

Powyższy eksperyment powtórzony w kolejnych tygodniach zakończył się zupełnie innym rozkładem ruchu, gdyż żadna z wersji wyraźnie nie prowadziła w statystykach. Rezultatem było równe rozłożenie ruchu i co za tym idzie – inne rezultaty testu:


2. Google Content Experiments nie pozwala na ręczne określenie podziału ruchu pomiędzy wersje.
3. Narzędzie wymaga kompletnej wersji alternatywnej optymalizowanej strony, czyli np. testując inny kolor przycisku, musimy stworzyć całą nową stronę (co nie jest może wielkim problemem, ale wymaga dodatkowego zabiegu).

Jakie więc mamy inne opcje, chcąc rozpocząć testy bez wydawania setek dolarów?

Poniższa tabela to zestawienie podstawowych cech i funkcjonalności Google Content Experiments oraz dwóch innych popularnych platform o niskim koszcie wejściowym, wraz z punktacją pozwalającą na proste podsumowanie.




Podsumowując:
Google Content Experiments jest wystarczającym narzędziem do rozpoczęcia prac optymalizacyjnych.  Należy pamiętać, że Google nie stworzył tej platformy z myślą o klasycznych testach A/B czy Multivariate. Głównym celem było raczej udostępnienie prostego w obsłudze narzędzia pozwalającego na bieżące działania optymalizacyjne dla witryn o małej liczbie odwiedzających – stąd uproszczony model statystyczny.

Dla poważnych testerów, zarówno Visual Website Optimizer jak i Optimizely,
prezentują szeroką gamę możliwości. VWO oferuje nieco więcej funkcjonalności, zaś Optimizely cechuje prostota testowania przy niskim koszcie wejściowym. Obie platformy są bardzo dobrymi narzędziami do optymalizacji konwersji. Osobiście w codziennej pracy zazwyczaj wybieram Optimizely (między innymi ze względu na oszczędność czasu), ale zachęcam, aby czytelnicy przetestowali wszystkie powyżej opisane platformy i ocenili sami.

Miłego testowania!

--
Florian Pertyński, Head of Web Analytics


Udostępnij:

5 komentarzy:

Paweł Ogonowski @ Conversion pisze...

Florian, fajne porównanie. Przydałyby się jednak dwa sprostowania — już od jakiegoś czasu można wyłączyć "doważanie" lepszej wersji. W trakcie konfigurowania eksperymentu w wersjach zaawansowanych mamy opcję "Rozdzielaj ruch po równo na wszystkie odmiany".

Sam nie jestem fanem wielorękiego bandyty, ponieważ szczególnie zaraz po opublikowaniu eksperymentów potrafił on doważać wygrywającą wersję na podstawie bardzo małej próby (pokazywałeś np. taki screen w trakcie Google Analytics Summit Polska). Od tamtego czasu sporo jednak w tym temacie poprawiono. Osobiście wolę jednak dzielić ruch 1:1 pomiędzy wersje biorące udział w teście.

Dla zainteresowanych warto tutaj wspomnieć, że sam mechanizm ma bardzo solidne podstawy merytoryczne, które zostały kiedyś opisane w pomocy przez Google:
https://support.google.com/analytics/answer/2844870?hl=pl
https://support.google.com/analytics/answer/2846882?hl=pl

Można też prowadzić testy bez przygotowywania kompletnie osobnych stron. Kiedyś na blogu GA był nawet link do prostego narzędzia do testowania przycisków, które wykorzystuje API: http://analytics.blogspot.com/2013/08/easily-ab-test-your-websites-call-to.html

Wykorzystując API można zrobić jeszcze więcej :)

Pozdrawiam, Paweł

Wojtek pisze...

Trochę nie rozumiem sensu działania tych edytorów WYSEWIG.
Przykładowo mam stronę gdzie chcę przetestować zmienioną kolorystykę. Strona zawiera formularze linki generowane przez serwer. Jak to porzenić z tym serwerem CDN oraz edytorem wysewig?

Unknown pisze...

@ Paweł
Dzięki za komentarz, słuszna uwaga, GA Content experiments pozwala na równy podział ruchu.
Co do API: zgadzam się że w porównaniu należy dodać takie kryterium. Nie będzie ono wprawdzie wpływało na decyzje większości testujących, ale jest to duża wartość dodana.
Jeśli chodzi o aplikację do testowania przycisków, to niewątpliwie krok naprzód, ale prostotą nie dorównuje póki co pełnemu edytorowi WYSIWYG. Nie wątpię jednak, że Content Experiments będzie nadal się rozwijać.
Pozdrowienia, Florian

Unknown pisze...

@ Wojtek:
WYSIWYG - czyli "what you see is what you get" to interfejs pozwalający na uzyskanie rezultatu bardzo zbliżonego do obrazu na ekranie. W ten sposób zamiast przesuwać elementy strony za pomocą skryptów jQuery i CSS, możemy to zrobić przeciągając element za pomocą myszki. Innymi słowy, to ułatwienie pracy z projektem o elementach graficznych.

Anonimowy pisze...

w optimizely.com jest np plan gdzie jest 20,000 monthly visitors
czy to znaczy ze tescie ab moze wziasc udzial tyle osob, czy moze jest to ilosc wszystkich uzytkownikow na stronie
i co sie stanie w momencie gdy przekroczymy tą ilość osób