Po raz kolejny muszę się z Tobą do końca nie zgodzić. Tak kalkulator, który jest świetnym uproszczeniem bardziej zawansowanych wyliczeń jak i to co piszę zawierają w sobie tylko statystykę.

Popraw mnie jeśli się mylę:

1. 6 dni testu / 100 odsłon na dzień / 600 przez cały test
2. wariant bazowy: 300 odsłon przez 6 dni / 30 konwersji / 10% wsp konw
3. wariant A: 300 osłon przez 6 dni / 45 konwersji / 15% wsp konw
4. przeprowadzamy test dla dwóch proporcji – testowana hipoteza h0 – równość wsp konw
5. obliczona statystyka – 1,85
6. z takim wynikiem odrzucamy hipotezę o równość wsp konw z 95% poziomem ufności. Wnioskujemy więc, że wyniki są statystycznie różne od siebie (hipoteza h1)

Oczywiście, jeśli nie zadowala Cię 95% poziom ufności możesz testować dalej, aby uzyskać większa pewność. Po 14 dniach powinniśmy uzyskać 99% poziom ufności.

Nie napisałem, że 6 dni to optymalna długość trwania testu – stwierdziłem, że w tym czasie uzyskamy statystycznie istotny wnik (co udowodniłem wyżej). Z mojej praktyki wynika, że powinniśmy planować takie testy, które uda się przeprowadzić w 14 dni (i uzyskać statystycznie istotny wynik). Jeżeli po tym okresie poziom ufności nam odpowiada – powinniśmy zakończyć test.

Dłuższe testowanie – tak jak piszesz 30-40 dniowe może przynieść inny wynik i co do tego nie mam żadnych wątpliwości. Zawsze pozostaje przecież prawdopodobieństwo (choć nikłe), że jednak wyniki naszych testów są błędne. Ale taka natura statystyki i prawdopodobieństwa ;) Osobiście radziłbym jednak unikać tak długich testów. Jeżeli po 14 dniach nie mamy statystycznie istotnych wyników – trzeba zmienić testowane elementy i stworzyć nowe kombinacje.

Zgadzam się absolutnie co do tego, że zawsze lepiej testować na większej liczbie użytkowników niż na mniejszej. Pamiętajmy jednak, że liczba użytkowników nie jest jedyną determinantą długości trwania testów.

Nie zgodzę się z Tobą, co do długości testu. Nie zależy on jedynie od obecnego wsp. konwersji i wielkości ruchu. Dodatkowym czynnikiem jest to jak duży wzrost współczynnika konwersji planujemy osiągnąć.

Dla testu z 2 wariantami:
- przy 100 odwiedzinach dziennie i 10% wsp. konwersji test będzie oczywiście trwał aż miesiąc jeśli oczekujesz poprawy jedynie o 20%
- planując natomiast poprawę o 50% czas ten skraca nam się do 6 dni, a więc spokojnie możemy w 14 dni przetestować więcej wariantów niż tylko 2.

Jeśli planujecie korzystać z GWO to polecam korzystać z kalkulatora długości trwania testu: https://www.google.com/support/websiteoptimizer/bin/answer.py?hl=en&answer=61688

Dla każdego głębiej zainteresowanego tematyką testów online przygotowaliśmy artykuł na naszym blogu, gdzie rozważamy plusy i minusy testów A/B oraz wielowymiarowych: http://www.conversion.pl/blog/2010/09/testy-online-ab-czy-wielowymiarowe/