Un classement (presque) au Point

Ou l'importance d'une méthodologie béton avant de se lancer sur un terrain miné...

Le Point a publié son classement des meilleurs organismes de formations la semaine dernière.

Boum, grosse surprise (pour moi) car c'est un terrain éminemment glissant. Je comprend tout à fait l’opportunité : il y a un énorme enjeu de différenciation des formations pro en France. La plupart des OF sont peu connus des particuliers (la nouvelle cible principale avec l’arrivée de MCF). Les OF doivent donc (re)construire leur image de marque auprès de cette nouvelle cible. C’est une opportunité en or pour Le Point que de se positionner comme juge impartial de l’excellence via cette série de classements.

Pour autant, le terrain des classements est glissant. Il est dangereux de s’y aventurer sans une méthodologie suffisamment solide pour résister aux fraudes et suffisamment objective pour garantir l’adhésion générale.

Quand on voit les difficultés à classer les écoles de commerces sur des produits relativement homogènes tels les MBA, on imagine rapidement à quel point il est difficile d’être objectif sur des produits aussi différents et en pleine mutation que sont les formations pro en France.

Pour ceux que ça intéresse, je vous recommande d’ailleurs la lecture de cet article du blog Poets & Quants qui fait le point sur le récent scandale qui a secoué le journal US News et son classement des écoles de commerces US. Pour vous la faire courte, la Fox Business School (rattachée à l’Université Temple à Philadelphie) a été accusée d’avoir falsifier de 2014 à 2018 les données transmises à US News pour le calcul de leurs classements. Cela leur avait permis de passer de la 28ème position en 2013 à la 1ère place en 2015 et avec un impact énorme sur leurs inscriptions (+180% en 2 ans) et donc leur CA.

Le problème¹ dans tout ça, c’est que la fraude était enfantine : ils soumettaient les données qu’ils avaient calculés pour leur garantir la première place et non pas les données réelles car il n’y avait aucun contrôle. Lors d’une visite dans les locaux de US News, l’équipe dirigeante de la Fox s’était aperçue que US News n’avait pas les ressources nécessaires pour vérifier la véracité des données transmises par les écoles et encore moins d’effectuer des contrôles.

Résultats : perte de crédibilité du journal et de ses classements, des étudiants qui se sentent spoliés d’avoir payés si chère une formation qui n’est finalement pas si prestigieuse que ça, des candidats et des employeurs qui ne font plus confiance aux classements d’une école… Tout le système est remis en question : si c’est arrivé avec la Fox, est-ce que c’est la même chose avec Wharton, Sloan ou Kellogg ?

Problème de méthodologie

Revenons-en au classement publié par Le Point et essayons de comprendre un peu mieux comment ils ont déterminés les scores de chaque OF.

D’après la description succincte de leur “méthodologie” dans l’article, on note les éléments suivants :

• Partenariat entre Le Point et Statista,

• Sondage en ligne de +3000 Français entre 18-50 ans,

• Enquête auprès de +2700 experts,

• 14000 évaluations au total,

• Organismes de formation privés, proposant des formation pour adultes et accessibles aux particuliers,

• N’intègre pas les établissement de l’enseignement sup,

• Bureaux localisés en France.

Le partenariat avec Statista s’annonce comme un bon point. Statista est une entreprise avec une bonne réputation dans le monde de la data et des stats. Leur site est même un exemple en terme de data visualisation.

Cependant si on lit entre les lignes, on a l’impression que les scores se reposent essentiellement sur un gros sondage, c’est-à-dire un recueil de données subjectives et qualitatives sur un échantillon de la population et une sélection d’experts. En lisant cela, je ne peux m’empêcher de lister la multitude de biais que ça implique et qui malheureusement limite fortement la portée des classements réalisés.

Ces classements sont donc une source d’information à prendre en compte certes et ça ne remet pas en question les places de certains OF. Mais ce n’est pas suffisant pour donner une réelle portée universelle à cette vision du marché de la formation pro en France et de ses “meilleures” acteurs.

Pour une vision plus complète

Pourtant des données sur les OF en France, on en a. Et pas que sur un échantillon restreint. On aurait aimé que la méthodologie soient plus détaillée (voire totalement ouverte) et qu’elle intègre plusieurs de sources de données.

Par exemple, comme je vous en avais déjà parlé dans un précédent article, il aurait été intéressant d’intégrer les données d’Anotéa qui recueille de manière massive les évaluations des stagiaires des formations financées par Pôle Emploi. Dans le même genre, depuis 14 mois MonCompteFormation recueille également les évaluations des stagiaires et il aurait été intéressant de voir cette source de données utilisée dans les classements.

Enfin, il existe également une source de données extrêmement riche et qui mériterait d’être exploitée : la liste publique des Organismes de Formation.

Cette liste est maintenue par le Ministère du Travail à partir du Bilan Pédagogique et Financier transmis par TOUS les organismes de formations. Quand je dis TOUS les OF, je parle bien de TOUS les 99172 OF actifs et déclarés en France. J’ai du mal à me dire qu’avec 5700 personnes interrogées, ils ont pu avoir suffisamment de matière pour évaluer tous les OF français correspondant à leurs critères.

Vous nous connaissez, chez Inokufu on essaye toujours d’être acteur positif du changement et force de proposition. En consultant la liste publique des Organismes de Formation (disponible en opendata sur data.gouv.fr), on s’est aperçu que le fichier n’était pas facile à consulter. Avec un csv de plus de 99172 lignes (organismes) et 60 colonnes, c’est compliqué à ouvrir avec Excel et encore plus à chercher des infos sur les différents OF.

Afin de faciliter la consultation de cette liste, nous avons donc développé un nouvel outil intitulé Liste publique OF. Cet outil est accessible gratuitement sur Dashboard MCF et je vous invite à y jeter un coup d’oeil en cliquant sur le bouton ci-dessous :

Cet outil vous permet de :

• Chercher un organisme de formations à partir de sa raison sociale (nom) ou de son SIRET

• Trier les organismes par effectifs, nombre de stagiaires total, nombre d'heures stagiaire total,

• Bonus : vous pouvez également filtrer par OF présents (ou pas) sur MonCompteFormation et ceux ayant le statut de CFA.

Si vous êtes donc curieux de la place d’un OF dans un des classements publiés par Le Point, vous pourrez rapidement en savoir plus sur cet OF avec cet outil.

On prépare également une analyse plus détaillée de ce dataset pour la prochaine fois.

Conclusion

Si Le Point souhaite améliorer la pertinence et la portée de ses classements, je pense qu'il faudrait enrichir et croiser les données de leur super sondage avec, à minima :

• les sets de données d’évaluation d’Anotéa (Pôle Emploi) et celui de MonCompteFormation

• les données issues des Bilans Pédagogiques et Financiers des organismes de formation

Si vous connaissez un membre de la rédaction de Le Point, n’hésitez pas à leur partager l’article, je serais curieux d’échanger avec eux sur leur méthodologie et leur ambition avec ces classements.

N’hésitez pas également à nous partager vos retours et réflexions sur ces classements.

Bonne semaine

Matt

Dashboard MCF facilite votre veille du marché de la formation Pro en France 👇

1. Au delà bien sur du manquement éthique impardonnable dont a fait preuve l’équipe dirigeante de la Fox…