Bientôt les notes : finie la saturation ?

La (mauvaise) recette du succès pour être visible sur MonCompteFormation

Bon, j’étais parti pour vous faire une explication approfondie du concept de Bayesian Ranking System ou système de classement Bayésien en bon français (merci Thomas). Mais ça ne sera pas exactement le cas. Déjà je ne pense pas que ça vous aurait tant passionné que ça et surtout, en préparant des exemples pour l’article, j’ai observé une corrélation qu’il fallait absolument que je vous partage.

Quelques lignes rapides sur le Bayesian Ranking System pour vous donner un peu de contexte.

C’est un système permettant de pondérer “intelligemment” un événement statistique en fonction de son occurence.

A notre époque ce système trouve toute son utilité dans la pondération de la note moyenne d’un produit en fonction du nombre d’avis qu’il a reçu.

Pourquoi je vous parle de ça ?

Parce que les notes des apprenants arrivent bientôt sur MonCompteFormation (début 2021) et elles vont avoir un impact majeur sur les classements des formations dans les résultats de recherche.

Les notes arrivent sur MonCompteFormation

Le problème lorsqu’on fait la moyenne des notes de tous les avis sans prendre en compte le volume d’avis c’est qu’on se retrouve avec le fameux cas :

• Formation A : note moyenne 5 sur 2 avis

• Formation B : note moyenne 4 sur 125 avis

Du coup qu’elle est la meilleure formation ?

Si on fait un classement strict par note moyenne décroissante, la formation A ressortirait avant la formation B.

Si on prend en compte le volume d’avis, ça se complique… Pour des cas simples tels que celui ci-dessus, on a envie de dire que la formation B est quand même au-dessus. Mais comment le quantifier dans un calcul mathématique qui pourrait être appliqué à grande échelle, de manière juste et reproductible ?

C’est là que le Bayesian Ranking System intervient en permettant de pondérer de manière juste et reproductible une note moyenne en fonction de son nombre d’avis.

C’est là également que mon explication théorique s’arrête. Si ça vous intéresse de creuser ça, je vous recommande cet article sur Medium pour la théorie ou cet article pour des exemples d’implémentation (et une comparaison avec une autre alternative : le score de Wilson).

Saturation : la (mauvaise) formule magique ?

En attendant l’arrivée des notes, nous continuons à observer les stratégies de saturation que nous dénonçons depuis bientôt un an.

Pour illustrer la situation, je vous propose de prendre le cas simple d’une recherche sur le mot-clé anglais.

Nous avons fait 10 requêtes de recherche sur ce mot-clé (formations à distance), compilé les résultats de chacune de ces requêtes et lancé nos scripts d’analyse.

Pourquoi 10 répétitions ? Afin de prendre en compte le caractère aléatoire ajouté depuis peu par la CdC pour rendre le moteur de recherche plus “neutre”. Dans la majorité des domaines, cela a peu d’impact sur l’ordre d’affichage des résultats. Inversement, dans les domaines très concurrentiels (comme l’anglais), on observe une très forte variation (forte volatilité) de l’ordre des résultats dû à ce caractère aléatoire artificiel. Il y aurait beaucoup à dire sur la neutralité et la volatilité, depuis leur raison d’être jusqu’à leur implémentation, mais ne dévions pas du sujet (peut-être dans un prochain article ?).

Les chiffres clés de cette expérience :

• 100 000 résultats compilés (le moteur n’affiche que les 10 000 premiers résultats x 10 répétitions),

• parmi ces 100 000 résultats, on compte 65 829 formations (URL) uniques, soit 64% des 102 176 formations annoncées par le moteur,

• ces 65 829 formations sont proposées par 1112 OF uniques,

• ces 65 829 formations sont rattachées à seulement 38 certifications.

Du texte, du texte et pas encore un seul graphe ?! Ne vous inquiétez pas ça arrive.

Sur ce graphe, nous observons les 25 OF avec le plus de formations parmi les résultats de recherches sur le mot-clé anglais.

Oui, début décembre 2020, il y a encore des OF qui proposent plusieurs milliers de formations sur un seul sujet.

Vous connaissez le refrain que j’ai malheureusement maintes fois chanté et peu varié : les 25 OF proposant le plus de formations dans les résultats de recherche sur le terme anglais correspondent à 55935 formations sur un total de 65829 formations, soit 85% du marché. Pareto n’aurait pas dit mieux.

Pour enfoncer le clou, je vous rappelle que toutes ces formations sont rattachées in-fine à seulement 35 certifications.

Je ne comprends pas.

A moins que ce ne soit purement mathématique : augmenter le volume de “formations” pour augmenter les chances statistiques de placer au moins une de ces “formations” dans les 30 premiers résultats de MonCompteFormation.

Traçons un autre graphe.

C’est donc bien ça. Comme vous pouvez le voir ci-dessus, les OF dont le nombre de formations sont le plus souvent dans le top 30 des résultats affichés par MonCompteFormation pour le mot-clé anglais sont peu ou prou les mêmes que les 25 OF ayant les plus gros volumes de formations sur ce même mot-clé.

Ont-ils trouvé une formule magique qui leur garantit une visibilité en pôle position des résultats sur MonCompteFormation ?

Ca sent la corrélation. Continuons à creuser avec un autre graphe.

Sur ce graphe, nous avons en x le nombre de formations uniques proposées par un OF et en y le nombre de formations qui sont arrivées dans le top 30 lors de nos 10 répétitions.

Résultat : on observe une nette corrélation entre le nombre total de formations proposées par un OF et le nombre de formations qui apparaissent le plus régulièrement parmi les 30 premiers résultats.

Cette corrélation linéaire suit une équation affine. Voilà la formule magique :

y = 0.004534 x + 0.001372

Autre manière de lire cette formule : il faut à un OF environ 220 formations positionnées sur le mot-clé "anglais" pour qu'une de ses formations apparaisse régulièrement parmi les 30 premiers résultats sur MonCompteFormation.

Et si on vise le top 10 ?

Même histoire mais formule différente :

y = 0.001509x + 0.000577

Ce qui implique : il faut à un OF environ 663 formations positionnées sur le mot-clé anglais pour qu'une de ses formations apparaisse régulièrement parmi les 10 premiers résultats.

C’est agaçant de voir une poignée d’OF tenter de détourner tout le marché.

Que fait la police ? se disent certains

Pas besoin de la police : l’arrivée des notes va complètement changer la donne et au contraire placer ces OF en très mauvaise position.

Dilution des notes

Maintenant que vous avez tous le contexte, on peut aborder une conséquence très intéressante de l’intégration des notes des apprenants dans les classements des résultats de recherches sur MonCompteFormation.

Tout tient en fait en quelques mots : la dilution tue la saturation.

Tel un arroseur arrosé, la stratégie de saturation poursuivie par certains OF sur MonCompteFormation les placent dans la pire posture possible dès que les avis seront effectifs.

En effet, en démultipliant de manière excessive le nombre de formations, ils réduisent également le nombre total d’avis accumulé par chacune de leur formation. Au mieux ils auront des centaines de formations notées 5 avec 1-2 avis mais cela ne vaudra pas grand chose par rapport à quelques formations notées 4 avec des centaines d’avis.

C’est toujours un plaisir de lire vos retours, n’hésitez pas à partager cet article et/ou à nous écrire avec vos questions ou idées de sujets à traiter.

Nous allons prendre quelques jours de congés avec toute l’équipe pour la fin d’année (il n’y aura donc pas de newsletter dans 2 semaines).

J’en profite pour vous souhaiter à tous d’excellentes fêtes de fin d’année et vous dire à l’année prochaine, reposé et en pleine forme 🎄

Matt @Inokufu.com

Vous souhaitez améliorer votre visibilité sur MonCompteFormation sans tricher ? 

Vous êtes au bon endroit👇