Testowanie w startupie

a-bW startupie niewiele wiesz, więc większość rzeczy musisz przetestować na sucho lub w boju. Zapewne będziesz także ciągłe szukał lepszych rozwiązań by rozwijać firmę i zwiększać zyski. W takich przypadkach dobrze wybrać sobie jedną z 6 metod testowania. Przejdziemy przez nie by pokazać Ci, z czego i kiedy możesz korzystać.

A/B Testing.a-b
Jednym z najczęściej używanych testów jest test A/B. Jednej grupie pokazujesz wariant A (np. czerwony przycisk), drugiej grupie wariant B (np. zielony przycisk) i patrzysz na wyniki. Jeśli różnica jest statystycznie istotna wybierasz lepszy wariant. Metoda ta jest szeroko stosowana w szczególności do optymalizacji stron internetowych, konkretnych landing page, maili, komunikatów i przy content marketingu. Większość programów obsługujących tego typu elementy ma moduły do testowania i automatycznego wyboru lepszego wariantu. Są też oddzielne programy jak np. Optimizely, które pozwalają testować dowolną stronę.

Poniżej filmik pokazujący istotę tej metody

 

Z A/B testing są 2 główne problemy: potrzebujesz wielu obserwacji, by to, co otrzymujesz miało jakikolwiek sens; możesz otrzymać dokładnie odwrotne wyniki przy powtórzeniu testu w innym czasie.

Nie polecamy tej metody na samym początku, gdy nie chodzi o optymalizowanie a raczej o znalezienie właściwego modelu biznesu, na którym warto się skupić. Zainteresuj się tą metodą, gdy skończy Ci się możliwości naprawiania sytuacji prostymi, oczywistymi ruchami. Nim się zabierzesz za używanie tej metody polecamy przejrzeć:

  1. Jak używają metody w Shutterstock
  2. Kurs na temat A/B testing
  3. 7 zasad A/B testingStrategia A/B testing
  4. Typowe błędy przy A/B testing
  5. Mity na temat A/B testing
  6. Jak stosować A/B testing do content marketingu.
  7. Przykłady A/B testing zrobionego na ladnig page
  8. Przykładowe wyniki A/B testing

 

Multivariate testing.multi

Przy A/B Testing możesz testować niestety jedynie 1 zmianę na raz. Co więcej, nie jesteś w stanie porównywać wielu opcji (przy 4 potencjalnych wariantach musiałbyś przeprowadzić, co najmniej 4 różne testy). Dlatego też wymyślono multivariate testing, który umożliwia Ci zmienianie wielu rzeczy na raz i rozważania większej liczby wariantów dla tego samej opcji. Dzięki multivariate testing możesz nie tylko rozważać np. 3 kolory przycisków, zamiast 2, ale także jednocześnie testować np. 4 nagłówki.

Poniżej krótko o różnicy między A/B testing i multivariate testing


Multivariate testing ma te same zastosowania i wady, co A/B testing. Czasami wymaga większej próbki a czasami mniejszej. Na pewno nie da się dostać sensownych wyników, jeśli nie masz softwareu, który zarządzałby całym procesem. Dużą zaletą mulivariate testing jest to, że testujesz dokładnie to, co widzi użytkownik. To że dany kolor przycisku i nagłówek mierzone oddzielnie wydają się najlepsze nie oznacza, że będą dobrze wyglądać razem (z punktu widzenia użytkownika). Multivriate testing daje także możliwości testowania całych ścieżek jakimi jest prowadzony użytkownik / klient oraz badania jakie elementy można wyrzucić ze strony

Nim się zabierzesz za używanie tej metody polecamy przejrzeć:

  1. Wprowadzenie do multivariate testing
  2. Multivariate testing użyty w mailchimp
  3. Testowania całych ścieżek przy użyciu multivariate testing
  4. Testowanie jakie elementy można wyrzucić ze strony

 

Outlier testingmaximum
Przy A/B i multivariate testing wymagana jest duża liczba danych, duży ruch, wielu użytkowników. Co zrobić, gdy masz nadal małą grupkę klientów? W tym przypadku szukasz nie rzeczy, które trochę poprawią konwersję, ruch, lecz tzw. outlierów, czyli obserwacji, ekstremalnych, które pozwolą Ci znacząco (5x,10x) poprawić wynik. Działasz, zatem na niewielkiej liczbie obserwacji, ale szukasz czegoś, co znacząco jest lepsze, szybsze tańsze, wiedząc, że te wyniki mogą być statystycznie nieistotne. Outlier tworzy Ci podejrzanego, którego musisz zbadać metodami nieilościowymi (np. wywiady) by wiedzieć czy jest to tylko wypadek przy pracy czy raczej coś jest rzeczywiście na rzeczy.

W ten sposób możesz znaleźć metodę sprzedaży znacząco lepszą niż obecne, grupę klientów znacząco bardziej doceniającą Twój produkt lub zupełnie nowy sposób zarabiania na produkt.Tego typu odkrycie może uruchomić pivot.

Tego typu podejście pokazaliśmy jak stosować przy

  1. Sales velocity
  2. Analizie okazji i problemów
  3. Skalowaniu sprzedaży

 

MVPmvpv2

MVP jest świetnym narzędziem do testowania bardziej skomplikowanych elementów, gdy nie masz za dużej grupki klientów, tudzież ruchu. Trochę przypomina to stosowanie multivariate testing, ale pozwala Ci działać na małych grupkach i zmiany mogą być daleko idące.

Wiele działających firm wykorzystuje MVP do testowania nowych produktów, testowania nowych zastosowań znanego produktu lub sprawdzanie nowych sposobów na sprzedaż

 

Batch testing.testowanie

W przypadku rzeczy mniej nieodwracalnych, które są bardziej fizyczne stosuje się tzw. batch testing – wdrażasz stopniowo produkt w kolejnych grupach klientów / seriach produktu. Tego typu testowanie stosują np. sklepy. Gdy tworzysz nowy koncept wpierw budujesz 1 sklep. Po otrzymaniu danych poprawiasz go i wdrażasz poprawiony w kolejnych 5 sklepach, które dostarczają dane do poprawki konceptu. Poprawiona, na bazie 5 sklepów, koncepcja jest wdrażana w 50 sklepach itd. dopóki nie wdrożysz optymalnej wersji wszędzie.

W tej metodzie ograniczasz potencjalne negatywne skutki swoich błędów badając na małej grupce, która przy każdej iteracji rośnie. Metoda ta jest z powodzenie stosowana w produktach technologicznych – to, co zadziała na jednym z nich jest następnie wdrażane w innych produktach tej firmy. Świetny przykład to rozwiązania technologiczne, które powstały przy okazji budowy Dreamlinera (więcej kompozytów, zagięte skrzydła itd.) są wdrażane w kolejnych typach samolotów Boeinga (B737-Max).

W przypadku biznesów on-linowych batch testing przyjmuję formę wdrażania w kolejnych grupach klientów nowej funkcjonalności. Wpierw np. tworzysz ją dla klientów polskich a następnie wdrażasz klientów w Europie i USA.

 

Kaikaku/ Kaizen Blitz / Kaizen Eventskaiku

A/B testing, multivariate testing i batch testing to metody, w których stopniowo dochodzisz do rozwiązania docelowego, (którego nie znasz).

Kaikaku to radykalna zmiana. Tutaj nie testujesz subtelnych zmian, lecz całkowicie przeorganizowujesz daną rzecz / obszar i patrzysz czy dobrze działa. Jeśli tak, to powtarzasz to w innych obszarach. Jeśli nie działa, musisz bardzo szybko wrócić do poprzedniego układu.

Czasami ta metoda testowania (w boju) jest łączona z batch testing, by minimalizować potencjalny negatywny wpływ.

Reasumując: dobrze się zastanów, jaka jest Twoja filozofia testowania. Wiele zależy od tego jak wielką grupą klientów, obserwacji dysponujesz. Im mniejsza tym bardziej gwałtowne metody musisz stosować 🙂

Jeśli chcesz dostawać powiadomienia  o nowych  równie dobrych artykułach StartupAkademii zapisz się koniecznie na nasz newsletter 🙂 i zgarnij pakiet 18 przydatnych narzędzi.

Z dalszych lektur polecamy:

  1. Krótkie wprowadzenie do marketing automation
  2. Jak liczyć i korzystać z sales velocity
  3. Rzeczy, na które trzeba uważać przy testowaniu

P.s. Daj znać w komentarzu jakie rzeczy, jeśli chodzi o startupy, Cię ciekawią byśmy wiedzieli o czym warto pisać

Advertisements

2 thoughts on “Testowanie w startupie

  1. Pingback: Jak z 10 klientów przejść na 100? | StartupAkademia

  2. Pingback: Duolingo czyli jak zarobić na darmowych użytkownikach? | StartupAkademia

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s