Tip:
Highlight text to annotate it
X
Video 5: AdWords-kampanjakokeilut: Kokeilun tulosten tulkitseminen ja tilastollinen merkitys
AdWords-kampanjakokeilun määrittämisen kolmannessa vaiheessa suoritat kokeilun ja
seuraat sen tuloksia. Tämä oppitunti auttaa tulkitsemaan joitakin tuloksia,
joita saatat havaita kokeilun aikana.
Kokeilun ollessa käynnissä vertailu- ja kokeilujakaumiisi kertyy tietoja
kampanja-, mainosryhmä- ja avainsana- tasoilla. Muista myös, että jos et jo
näe erillisiä vertailu- ja kokeilurivejä yhdessä välilehdistä, voit ottaa ne käyttöön
valitsemalla Ryhmittele ja siirtämällä hiiren alas ja valitsemalla Kokeile.
Kun tuloksia alkaa kertyä, huomaat käyttöliittymässä erilaisia tilastollisen
merkityksen osoittimia, joiden avulla ymmärrät, ovatko vertailemasi muuttujat
erilaisia.
Tilastollisesti merkittävä ero on sellainen, joka ei todennäköisesti ole syntynyt sattumalta.
Jos muuttuja ei ole muuttunut tilastollisesti merkittävää määrää,
kokeilumuutos ei kenties ole vaikuttanut siihen.
Harmaa, ylös ja alas osoittava kuvake kertoo, ettei muuttuja ole muuttunut tilastollisesti
merkittävää määrää. Havaittu ero saattaa olla vain kokeilun häiriö.
Ylös osoittava kuvake kertoo, että muuttuja on kasvanut tilastollisesti merkittävän
määrän. Jos otat kokeilumuutokset käyttöön kaikissa huutokaupoissa, voit
odottaa tämän muuttujan kasvavan.
Alas osoittava kuvake kertoo, että muuttuja on pienentynyt tilastollisesti merkittävän
määrän. Jos otat kokeilumuutokset käyttöön kaikissa huutokaupoissa, voit
odottaa tämän muuttujan pienentyvän.
Kuvakkeissa on myös kolme astetta, jotka osoittavat, kuinka varmasti
tuloksesi johtuvat kokeilumuutoksista, eivätkä esimerkiksi sattumasta:
yksi ylös tai alas osoittava nuoli kertoo muuttujan kasvaneen tai pienentyneen
95 prosentin todennäköisyydellä. Tilastollisesti siis jos kaikki kokeilumuutokset otetaan
käyttöön, on vain viiden prosentin todennäköisyys sille, ettei muuttuja liiku osoitettuun suuntaan
jos muut tiedot pidetään samana.
Kaksi ylös tai alas osoittavaa nuolta kertoo muuttujan kasvaneen tai pienentyneen
99 prosentin todennäköisyydellä. Tilastollisesti siis jos kaikki kokeilumuutokset otetaan
käyttöön, on vain yhden prosentin todennäköisyys sille, ettei muuttuja liiku osoitettuun suuntaan
jos muut tiedot pidetään samana.
Kolme ylös tai alas osoittavaa nuolta kertoo muuttujan kasvaneen tai pienentyneen
99,9 prosentin todennäköisyydellä. Tilastollisesti siis jos kaikki kokeilumuutokset otetaan
käyttöön, on vain 0,1 prosentin todennäköisyys sille, ettei muuttuja liiku osoitettuun suuntaan
jos muut tiedot pidetään samana.
Muista, että jos suoritat kokeilun, jonka kokeilu-/vertailujakauman koko
on mikä tahansa muu kuin 50/50 (esim. 70/30 tai 20/80), kampanjan vertailu- ja kokeilujakaumissa
keräämiä tilastotietoja ei voi verrata yksi yhteen. Oletetaan esimerkiksi, että
suoritat kokeilua jakaumalla 90/10. Jos et tee muutoksia kokeiluun, voit odottaa,
että vertailujakaumassa on 900 näyttökertaa jokaista kokeilujakauman sataa näyttökertaa
kohti. Näin ollen jos vertailujakaumassasi on 900 näyttökertaa ja kokeilujakaumassasi
400 näyttökertaa, näyttökerroissa on tapahtunut tilastollisesti merkittävä kasvu
(koska 400 on paljon enemmän kuin oletetut 100 silloin, kun mitään muutoksia
ei tehdä, mikä osoittaa, että kaikkien muutosten toteuttaminen lisäisi näyttökertoja),
vaikka nimellisesti luku 900 on suurempi kuin luku 400.
Tasan jakautuvia ryhmiä on helpompi verrata (koska absoluuttisten lukujen pitäisi olla samat,
jos muutoksilla ei ole vaikutusta), ja monilla kampanjoilla ei ole riittävän suurta liikennettä,
jotta johtopäätöksiä voidaan tehdä muista kuin tasan jakautuvista ryhmistä. Suosittelemmekin,
että useimmat mainostajat suorittavat 50/50-kokeiluja, ellet ole valmis
tekemään omia laskelmia oletetun %-muuttujan muutoksen määrittämiseksi, jos kokeilumuutokset
otetaan käyttöön kaikissa mainoshuutokaupoissa.