Cohort analysis : comprenez (vraiment) ce qui se cache derrière la croissance de vos métriques

Allez, pour ce vendredi, pas de livre à lire (quoi que), mais plutôt une réflexion sur un thème qui m’est cher : les métriques, les analytics, les chiffres et le reporting.

Aujourd’hui, parlons de la « cohort analysis« … Et pour se lancer dans le sujet, prenons ce premier cas de figure :

Deux jeunes entrepreneurs lancent leur site, un service qui permet de faire – au hasard – des rencontres professionnelles en utilisant son téléphone portable. Comme tous les startupers aujourd’hui, ils vont faire un MVP, lancer leur beta, et regarder leurs chiffres d’audience monter. De semaine en semaine, grâce à quelques passages dans des blogs ou la presse,  le nombre d’utilisateurs augmente, les pages vues, et même de temps en temps, un client payant. Tout va bien ?

Hé bien non. Car comme dans tout service qui prend son envol, les chiffres vont monter, c’est mécanique. Et c’est d’ailleurs tellement rassurant (et gratifiant) que les entrepreneurs s’en contentent volontiers la plupart du temps, s’en vantant à qui mieux-mieux (on est assez forts pour jouer à qui-c’est-qui-a-la-plus-grosse-métrique, aussi, il faut bien avouer).

Ce qui est moins sûr, et je pense d’ailleurs que c’est le cas de plus de la moitié des services qui sont lancés, c’est ce qui se passe au niveau de l’usage réél du service. Est-ce que les gens continuent à l’utiliser ?

Bien évidemment, vous allez me dire que nos deux jeunes entrepreneurs n’ont pas attendu que je fasse cet article pour se poser la question. Ils ont mis en place des « objectifs » dans leur Google Analytics, pour justement savoir si les gens revenaient, réutilisaient le service, et combien de fois. Tout va mieux ?

Hé bien non, toujours pas.

En réalité, l’essence même du métier d’entrepreneur (sur le web, en tout cas), c’est d’améliorer constamment son produit ou service, et de regarder quel impact ses modifications ont sur les chiffres d’usage.

C’est ici qu’intervient la « Cohort Analysis« , ou analyse en cohorte, qui permet justement de savoir tout cela.

Rendons à César...

Pour comprendre, imaginez que vous groupiez les utilisateurs de vos services par ordre d’arrivée, tout comme les légions de César étaient divisées en petits groupes, les cohortes. Dans le web, c’est la même chose, l’armure et les sandales en moins. La semaine 1, tous les gens qui arrivent sur vos serveurs sont mis en semble, et font désormais partie de la Cohorte #1. La semaine suivante, même chose, Cohorte #2. Ainsi de suite. Vous pouvez aussi faire des cohortes mensuelles, pour y voir plus clair sur la durée.

Quoi qu’il en soit, vous avez maintenant des groupes qu’il va falloir suivre, et vous allez voir que la qualité et la finesse des métriques s’en ressentent totalement. Et aussi que ces dernières s’approchent beaucoup plus des réalités que vous cherchez à mesurer, comme par exemple :

  • taux de survie d’utilisateurs à 15 jours, à 1 mois, à 2 mois, etc.
  • pourcentage d’utilisateurs passés au payant après x temps
  • nombre de pages vues par mois
  • n’importe quoi d’autre en lien avec votre business en particulier

Ce qui est alors intéressant (et éclairant !), ce n’est plus la croissance « brute » des chiffres (puisque, malins comme vous êtes vous avez su attirer l’attention), mais bien la croissance de la qualité d’usage, de cohorte en cohorte. Entre la cohorte 3 et la cohorte 8, est-ce que vous avez amélioré le schoses sur la transformation ? sur l’activation ? sur la capacité à faire du viral ?

Evidemment, les métriques remontées par votre analyse de cohortes ne se suffisent pas à elles-mêmes, mais apporte un éclairage important, complémentaire de votre analyse de « funnel » – votre tunnel de conversion. Pour rappel, c’est là que vous allez regarder les chiffres bruts et les % de conversion sur différentes actions :

  • nombre de visiteurs
  • nombre d’inscriptions
  • nombre de personnes qui reviennent au moins une fois
  • comptes supprimés (on parle alors de churn)

Une fois que vous maîtrisez les deux aspects (déjà, vous avez fait une énorme partie du boulot et vous devriez en ressentir les effets positifs, vraiment !), vous pouvez vous amuser à regarder les funnels par cohorte. Mais ça, ça fera l’objet d’un futur post :)

On ne le répétera jamais assez, mais les chiffres sont vraiment les meilleurs amis de l’entrepreneur… à condition de regarder les bons chiffres et pas seulement ceux qui font plaisir à l’égo !!

Et vous, vous suivez quelles métriques ? Vous avez des résultats avec les cohortes ?
Edit : lisez aussi cet excellent article chez Clément !

10

  1. Chez Moodstocks on a utilisé les cohortes à l’époque où on a sorti Notes. J’avais écrit un outil qui permettait de visualiser les cohortes par semaine ou d’isoler manuellement une période temporelle pour voir son évolution dans le temps. Ça nous a entre autres permis de constater le très faible taux de rétention des utilisateurs en provenance de TechCrunch US (Mashable est une meilleure source).

    Un autre graphique utile qu’on a utilisé : en abscisses le temps, en ordonnées tous les utilisateurs par ordre chronologique (sampler s’il y en a trop, mais ça peut être 1px / utilisateur). (x,y) représente l’activité de l’utilisateur y à l’instant x.

    Ce type de graphe est plus difficile à lire mais plus parlant que les cohortes. Il permet entre autres de voir en détail quels utilisateurs sont très actifs sur votre service et à quel cohorte ils appartiennent.

    J’aime beaucoup l’idée des cohortes pour le trafic viral. Si on a moyen de tracker précisément quel utilisateur recommande le service à un autre, un « arbre généalogique » des recommandations pourrait aussi être intéressant.

  2. Les cohortes, je tempère…

    Bien sûr, toute entreprise dont le modèle ne se réduit pas à une transaction unique à l’instant t se doit de mettre en place un suivi de cohortes pour mettre en rapport une « Life Time Value » et un « Coût d’Acquisition » résultante composite d’indicateurs variés, piloter tout ça, et mille choses annexes encore qui ne sont pas l’objet de ma remarque… 😉

    Mon retour d’expérience est que malheureusement start-ups et sociétés plus matures ne sont pas logées à la même enseigne…

    Par ex, les chiffres de cohortes crunchés par un marchand bien établi (panier moyen, taux de repeat, etc…) lui permettront un pilotage opérationnel fin de sa marge de contribution en « réglant » ses investissments mkg

    En revanche, je constate trop souvent que les analyses de cohortes d’une jeune start-up sont peu fiables et inexploitables… sauf à se faire plaisir ou à essayer de convaincre des investisseurs 😉

    les raisons sont multiples : croissance rapide sur faible nombre de clients/users, produit en évolution, base « béta » ou « early adopter » trop « typée », investissements marketings opportunistes et non-scalables, etc.. bref, trop de paramètres non stabilisés, avec aussi évidemment une faiblesse théorique : il y a toujours des metrics pour lesquels vous n’avez pas assez de données pour que vos analyses tiennent la route d’un point de vue statistique… (exemple trivial: il faut 18 mois d’observation pour connaitre le taux de repeat de votre site marchand que vous avez lancé il y a 6 mois…)

    Au bilan, vous risquez de vous retrouver avec des données
    a)très volatiles : vous trouvez « 100 » le Mois 1, « 50 » le M2, « 200 » le M3… toutes choses égales par ailleurs
    b)peu « scalables » : avoir un super ARPU sur 100 clients ne présume pas vraiment de ce que sera l’ARPU avec 20 000… sauf évidemment pour le business plan xls

    Cela dit, je confirme avec vous l’intérêt d’affuter ses analyses de cohortes au moins pour analyser ce qu’on peut du passé et pour anticiper la suite des événements, notamment en raffinant le modèle de données de ses metrics et les outils d’analyse, sans compter que les implications IT de l’exercice sont parfois profondes…

    (et comme c’était mon premier commentaire sur le site, j’en profite pour dire à son auteur tout le bien que j’en pense !)

    • Merci donc pour ce premier commentaire de qualité :)

    • Alain Mevellec

      15 juin 2013 at 19:25

      Tout à fait d’accord, le problème c’est la taille et la comparabilité de l’échantillon.

      Autant un e-commerçant avec du volume ou un site BtoC genre Meetic profitent à plein de ce type d’analyse (j’en sais queque chose j’ai été dans le dating), autant pour une startup c’est moins évident.

      Sur Sellsy, on a essayé et on a des trucs qui tournent, mais l’analyse atteint vite ses limite pour plusieurs raisons :

      L’échantillon est trop faible et la typologie des visiteurs évolue énormément avec l’évolution du produit (nous avons carrément inversé le ratio solos/pme en un an par exemple, donc analyser les metrics d’un an à l’autre est useless).

      Les solutions dispos sont hardcore à implémenter dès qu’on commence à avoir des produits complexes (plusieurs tarifs d’abonnements, options, options par utilisateurs, produits ponctuels…). On a essayé plusieurs systèmes comme Kissmetrics ou autres, mais le paramétrage est dément pour avoir quelque chose qui au final ne nous apprend pas grand chose. On a stoppé là dessus.

      Enfin, le produit évolue vite et dans de nombreuses directions. La stratégie consistant à ajouter du tracking partout ralenti considérablement le développement. Hors nous savons que nous profitons bien plus concrètement de nos innovations (en les facturant) qu’en analysant notre cohorte d’inscrits ou en faisant des heatmaps.

      Du coup, on a codé nos outils, en interne, qui nous aident à « présélectionner » les prospects chauds sur des critères simples, mais efficaces. Au lieu d’analyser le groupe, on se concentre sur l’individu qui a la meilleure chance de devenir client.

  3. Très bon article !

    L’erreur fréquente est justement de vouloir sortir le service qui englobe tout les idées de départs en terme de fonctionnalités, image, évolution.

    Alors que la construction d’un service se fait en fonction du traffic

    • Merci pour ce petit article qui remet bien les ceshos e0 leurs places.Vous dites que les pre9fets viennent de l’autre bout de la France et ne connaissent pas les particularismes locaux.Mais n’est ce pas volontaire de la part du centralisme parisien ? Cela leur permet justement de mieux diriger sans subir d’opposition !

  4. Merci Guilhem pour cet article

    maintenant ça se met comment en place ce type d’analyse, ça peut se faire avec Google Analytics ou il faut utiliser les logs serveurs et faire joujou sur Excel ?

  5. Très bon article en effet !

    Je remarque aussi que beaucoup de startups se gargarisent des « vanity metrics » (par exemple le nombre d’utilisateurs ou nb de connexions) qui ne servent le plus souvent qu’à faire joli, au lieu de se concentrer sur des « actionable metrics » (%PU, ARPU, CAC, K-LTV, etc.) qui sont de vrais mesures de la santé de l’entreprise.

    Les boite du social gaming sont vraiment à fond sur les stats, il est intéressant de regarder ce que font Kontagent, KISSmetrics, Claritics ou encore MixPanel (et plein d’autres).

  6. Merci pour cet article très intéressant, c’est vrai qu’expliqué comme ça on voit toute le potentiel offert par la segmentation en cohortes… Je me permets de partager un article sur le même thème, qui m’a également bien éclairée, et qui peut-être pourra intéresser d’autres de vos lecteurs : http://blog.atinternet.com/fr/index.php/2013/10/22/optimisations/cohorte-buzz-performance/3487

Laisser un commentaire

Votre adresse email ne sera pas publiée.

*

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

© 2017 Création d'entreprise & startups !

Gulihem BertholetUp ↑