Vanity metrics
Je hebt misschien weleens gehoord van Vanity metrics. Dat zijn analytische gegevens of KPI's (key performance indicators) die er mooi uitzien, maar die in zichzelf eigenlijk weinig tot geen betekenis hebben. We leggen je uit hoe je context kunt toevoegen, zodat deze metrics inhoud krijgen.
“Alles is ijdelheid en najagen van wind; lucht en leegte; er is niets nieuws onder de zon.” Dat zei een wijs koning ooit. Zo is het ook met data. We kunnen met een aantal statistieken mooie sier maken. Vanity metrics noemen we dat. Dat zijn statistieken die je succesvol laten lijken. Een cijfer of gegeven waar je vaak trots op bent. Stuur je op deze data, dan is dat eigenlijk als “het najagen van wind”.
"Een vanity metric lijkt indrukwekkend, maar geeft geen inzicht in de werkelijke prestaties van een digitale oplossing. Bijvoorbeeld omdat het de context mist die nodig is om een vergelijking te maken of omdat het een aspect van het systeem meet dat niet van invloed is op een KPI."
Groter is beter
Net als ijdelheid bij mensen zie je dat bij vanity metrics geldt: groter is beter. Denk aan statistieken zoals het totale aantal gebruikers, het aantal app-downloads, paginaweergaven en gedeelde sociale media. Allemaal data die je het idee kunnen geven dat je op de goede weg bent. Even een voorbeeld.
Stel dat je voor dat je een video op je website hebt staan waarin je uitlegt wat de voordelen zijn van het gebruik van jouw product. Je hebt er flink wat werk in gestoken om het filmpje in elkaar te zetten en uiteindelijk staat de video live. Uit de statistieken blijkt dat de video flink bekeken wordt; elke maand beter. Vol energie maak je je rapportages en toon je groene cijfers en grafieken die sky high gaan. Je manager smult ervan. Goed bezig! Heerlijk op de goede weg. Misschien moeten we wel meer video’s gaan maken!
Helaas moeten we hier even ingrijpen. Slecht nieuws. De cijfers over het kijken van de video zeggen eigenlijk niet voldoende. Want hoeveel gebruikers die de video keken zijn uiteindelijk overgegaan tot aanschaf (conversie)? En hoeveel gebruikers die de video niet zagen zijn geconverteerd? Is er wel verschil tussen de twee groepen? Hoeveel bezoekers van het totaal hebben de video überhaupt gezien? Er is dus context nodig om de statistiek zinvol te maken. Zodat je kunt bepalen of de video (en de inspanningen) wel voldoende .
Context voeg je toe door niet alleen de groei van een cijfer te volgen. Je vertaalt een statistiek bijvoorbeeld naar een tarief of je berekent een verhouding; een metric wordt daardoor beter te relateren aan een KPI. Welke soorten context zijn er toe te voegen? Hieronder bespreken we een paar manieren.
Context: tijd
De eenvoudigste manier om een metric minder ‘ijdel’ te maken is door deze te relateren aan tijd. Dat kun je met nagenoeg alle gegevens doen. Natuurlijk is het belangrijk dat je statistieken betrekking hebben op je KPI's en doelen, zodat je kunt optimaliseren. Met deze insteek kun je over een bepaalde periode zien of dingen beter of slechter worden als je wijzigingen aanbrengt of iets nieuws probeert zoals het inzetten van een video.
In plaats van het totale aantal gebruikers in je portaal bij te houden, kun je ook kijken naar het aantal nieuwe gebruikers per week dat een account activeert. Door die context toe te voegen kun je ontdekken of je marketingcampagnes of misschien het aanpassen van een onboarding-proces ook echt hebben bijgedragen aan verbetering en groei.
Welk tijdsbestek je moet gebruiken, hangt natuurlijk af van jouw specifieke case. Gebruik je een korte tijdsspanne, kun je snel actie ondernemen bij alarmerende trends. Een te korte periode vergroot dan weer de kans op willekeurige schommelingen en dus vals alarm. Een overdreven voorbeeld: volg je iets per uur of per minuut, word je waarschijnlijk mesjokke van alle willekeurige variaties waarop je niet kunt optimaliseren. Gebruik hierin dus je gezonde verstand; per omgeving die je doormeet zal het tijdsbestek dat representatieve data oplevert weer anders zijn. Het gaat erom dat je niet in extremen belandt.
Een lang tijdsbestek leidt tot relatief stabiele data en dat stelt je in staat om ontwikkelingen te relateren aan gebeurtenissen, bijvoorbeeld een marketingcampagne die je afdeling heeft uitgevoerd of een aanpassingen van het design die je hebt laten doorvoeren. Nu wil je natuurlijk geen jaar of langer moeten wachten op relevante data (laat staan je manager). Dus zoek naar de kortste periode die nog zo’n stabiel mogelijk inzicht geeft. Afhankelijk van wat je bijhoudt, kan dat een dag, een week of een maand zijn.
Context: statistieken per gebruiker en per bezoek
Een andere manier om context te geven aan data is het bijhouden van statistieken per gebruiker. Dat geeft inzicht in het aandeel van de gebruikers dat een bepaalde actie uitvoert of in hoe vaak een gemiddelde gebruiker die actie voltooit (binnen een bepaald tijdsbestek).
In tools als Google Analytics zijn de meeste cijfers per sessie: ze geven weer hoe vaak een bepaalde gebeurtenis plaatsvond in vergelijking tot het aantal sessies of bezoeken in een bepaalde periode. Denk bijvoorbeeld aan de conversieratio van een website. Die geeft weer in hoeveel bezoeken een bepaald doel is behaald. Een doel wordt één keer per bezoek geteld, dus een conversiepercentage van 33% betekent dat ongeveer een derde van het totale aantal bezoeken een doelconversie opleverde.
Op zich een statistiek waar je iets mee kunt. Maar het vertelt je niet het percentage van je gebruikers dat dat doel heeft bereikt. Om dat te kunnen achterhalen zul je die statistiek per gebruiker moeten bijhouden.
Oh ja, het is natuurlijk niet zo dat het bijhouden van statistieken per sessie/bezoek per definitie een slecht idee is. Voor gebeurtenissen die meerdere keren binnen een sessie plaatsvinden kan het juist nuttiger zijn om het aantal keren te meten dat die actie wordt uitgevoerd tijdens een gemiddeld bezoek. Denk aan het navigeren naar pagina's of de interactie met bepaalde functionaliteit. Het aantal paginaweergaven per sessie geeft zinvollere informatie over gebruikersbetrokkenheid dan de ‘vanity metric’ van het totale aantal paginaweergaven (zelfs wanneer je het in context tijd plaatst en het aantal paginaweergaven binnen een bepaalde tijd bekijkt). Hou bij het analyseren van statistieken altijd in je achterhoofd wat je precies wilt achterhalen, bewijzen of verklaren.
"Een mooi neveneffect van het relateren van een statistiek aan je klantenbestand is dat het fungeert als een continue herinnering dat de gegevens over mensen gaan - en niet alleen over het generieke systeem."
Context: andere data
Soms is het zinvol om de ene statistiek met de andere te vergelijken. Voor een bepaalde webpagina kunnen we bijvoorbeeld de verhouding tussen het aantal unieke paginaweergaven en het totale aantal paginaweergaven volgen. Scoort een pagina erg laag? Dan kan dat erop wijzen dat gebruikers die pagina meerdere keren bezoeken tijdens een sessie. Dat noemen we trouwens pogosticking (een indicatie van gebruikers die moeite hebben met het vinden van relevante informatie).
Je kunt een statistiek natuurlijk ook met zichzelf vergelijken over verschillende tijdsperiodes. Daarmee kun je dan bijvoorbeeld een vergelijking maken tussen wekelijks actieve gebruikers en het aantal maandelijks actieve gebruikers. Zo kun je zien op welke dag of week de maandelijks actieve gebruikers op je platform aanwezig zijn.
Tot slot
Wat is dan nu een vanity metric? Nou, dat bepaal je als volgt. Biedt een statistiek je geen bruikbaar handvat om mee te optimaliseren of om bij te sturen wanneer de cijfers veranderen in een bepaalde periode? Dan heb je hoogstwaarschijnlijk een vanity metric te pakken.
Uiteindelijk gaat het erom dat de statistieken die je bijhoudt je moeten helpen om de juiste acties te ondernemen. Want daarmee kun je je digitale oplossing verbeteren. Daarom kun je beter varen op ratios en cijfers die grotendeels stabiel blijven. Want daarmee haal je de willekeur eruit en is elke verandering waarschijnlijk het gevolg van een échte verandering.
