L’EMPREINTE DU LEARNING est notre nouvelle série dédiée à l’IMPACT des formations. Dans une série d’interviews, Edko interroge Cécile Robert, pour vous aider à comprendre et mesurer l’impact de vos formations.
Cécile Robert est consultante spécialisée dans l'évaluation de la formation et des compétences. Elle a accompagné plusieurs organismes de formation et académies d'entreprises dans la mise en place de leurs dispositifs d'évaluation.
Différence entre qualité & impact, learning analytics, la complémentarité des évaluations, budgets de formation… Tous les deux mois, Edko donne la parole à Cécile pour décrypter un sujet lié à l’impact…
“Qualité, transfert, impact : démêler les clés de l’efficacité des formations” : aujourd’hui, place au 1er épisode dédié à la distinction entre des notions très importantes lorsque l’on s’intéresse à l’impact d’une formation.
Bonne lecture !
On parle très souvent de la qualité de la formation, en présentant à tort la qualité comme l’objectif ultime de la formation. C’est aussi une confusion entretenue par la démarche Qualiopi : Qualiopi est une preuve que l’organisme de formation met en œuvre un ensemble de règles et de moyens qui concourent à la qualité des formations dispensées. Mais ça s’arrête là ! La qualité répond à un ensemble de critères décrits dans le Référentiel National Qualité que tout client est en droit d’attendre, concernant le niveau de maîtrise du sujet du formateur, la pertinence des modalités pédagogiques, etc. Et cette qualité est plus ou moins élevée (ce que Qualiopi ne mesure pas, au passage).
La qualité du processus de formation est une notion très différente de celle de l’impact de cette formation. La qualité est une condition nécessaire, mais non suffisante pour qu’une formation ait un impact.
L’impact est aujourd’hui un terme très galvaudé. Quand on parle de l’impact d’une action de formation, on évoque les effets positifs de ce processus d’apprentissage sur une activité. La conséquence attendue d’une formation pour les participants, c’est l’acquisition de compétences, et la conséquence attendue d’une formation pour l’organisation, c’est de générer le changement pour lequel elle a été programmée. Or, ce changement dans l’activité de l’entreprise ne dépend jamais uniquement de la formation, raison pour laquelle j’aime aussi parler de contribution. Le terme de contribution montre bien que l’objectif final ne peut être atteint que par la mise en œuvre de plusieurs actions, et que la formation n’est que l’une d’entre elles.
Prenons l’exemple d’une formation commerciale qui s’adresse à une population de responsables grands comptes. Les participants vont acquérir diverses compétences, correspondant aux objectifs pédagogiques : être capables d’identifier les rôles des différents interlocuteurs, savoir répondre à leurs différents besoins, etc. Pour leur entreprise, il s’agit certainement de développer l’activité auprès d’une clientèle de grands comptes, ou de raccourcir le processus commercial lorsqu’on s’adresse au CAC40, etc. Or, la réussite de ces objectifs business ne dépend pas seulement de la formation intrinsèquement, mais aussi de l’accompagnement du directeur commercial, des autres ressources dont vont disposer les commerciaux dans leur management de la relation clients, etc.
Se poser la question de l’impact de la formation, c’est vérifier que celle-ci contribue réellement à l’atteinte des objectifs business.
Donc, nous avons la qualité du process de formation, puis nous avons parfois plusieurs mois plus tard un impact de la formation. Entre les deux se situe le transfert de la formation en situation de travail. Plus précisément, le transfert des acquis de la formation. La formation marque le début du processus de transfert, qui va permettre la mise en application de la formation. En d’autres termes, pour que la formation se traduise en montée en compétences, il faut qu’il y ait transfert. En formation, on nous explique et/ou on nous montre quelque chose. Cela reste théorique tant que ces éléments n’ont pas été appliqués en situation de travail, tant qu’il n’y a pas eu de transfert. Une compétence n’est acquise que si elle est mise en application, sinon cela reste une connaissance théorique. Et pour un transfert effectif en situation de travail, il faut encore réunir un certain nombre de conditions, disons pour simplifier un environnement de travail et de management propice à cette mise en application. C’est aussi la raison pour laquelle la formation en situation de travail est si efficace : il y a toujours une mise en application.
On peut donc schématiser ces notions par l’équation simplifiée suivante : Qualité + environnement favorable ⇒ transfert ⇒ impact positif.
.jpg){kind=spacer}
Les entreprises et les collaborateurs ont un énorme besoin de montée en compétences, sur plein de sujets, aujourd’hui et encore plus demain. L’enjeu en comprenant bien ces différentes notions et en étant capable de décortiquer la création de valeur d’une action de formation, c’est d’arrêter de dépenser du temps et de l’argent sans être certain d’arriver à créer de l’impact.
Si on s’en tient à la qualité, on se donne une obligation de moyens, et non pas de résultats.
L’enjeu, c’est aussi de mesurer et de reconnaître la contribution effective de la formation aux objectifs de l’entreprise, et ainsi justifier les budgets alloués.
Je ne parle volontairement pas du ROI de la formation, car le retour sur investissement financier est rarement calculable dans le contexte de la formation. Par contre, on assiste à une réduction des budgets accordés à la formation - réaction que l’on observe en période de contraction de l’activité économique - et il me semble, dans ce contexte tendu, particulièrement important d’être en mesure de justifier de la contribution réelle de la formation. Sans cela, ce serait parfaitement rationnel de la supprimer.
Cela me semblerait aussi logique d’arrêter de publier dans les rapports extra-financiers le nombre d’heures où le budget alloué à la formation ou encore le pourcentage de salariés formés, mais de publier des résultats - si ce n’est en termes d’impact pour l’entreprise - au moins en termes de montée en compétences pour les collaborateurs.
C’est facile de se laisser porter par l’idée que la qualité suffit pour avoir de l’impact. C’est pourtant faux. La qualité relève d’une exigence de moyens, et non pas de résultats. En gros, on n’a fait qu’une partie du chemin si on s’arrête à la notion de qualité.
.jpg)
J’ai parlé tout à l’heure du transfert, qui se fait si les conditions de mise en pratique des contenus de la formation sont réunies. Quelles sont ces conditions au juste ? Il y en a plusieurs, cela pourrait même faire l’objet d’un entretien à part entière ! Pour citer les principaux facteurs, on peut indiquer tout d’abord d’avoir l’opportunité de mettre en pratique la formation, qui doit donc s’adresser à la bonne personne au bon moment, le plus rapidement possible après la formation, et, pour certains sujets, à plusieurs reprises. L’apprenant montera plus vite en compétences si son environnement de travail et son manager sont attentifs à cette période d’apprentissage, en lui laissant du temps, un droit à l’erreur, etc. Bref, c’est l’une des caractéristiques de l’organisation apprenante qui sait mettre en place les conditions de développement des compétences de chacun, par définition.
Une bonne pratique est d’intégrer la question de l’impact et des conditions de transfert en amont, au moment de l’ingénierie pédagogique, avec le commanditaire de la formation.
De façon simple, il faut être capable de répondre à la question : en quoi pourra-t-on dire que cette formation a eu de l’impact ? On voit bien que la réponse à cette question n’est pas du tout de l’ordre des critères de qualité. La réponse est à chercher du côté du changement de comportement attendu des apprenants, ou du côté de la mise en œuvre de nouvelles pratiques ou actions ou gestes métiers.
Ces éléments sont des boussoles qui doivent orienter l’ingénierie pédagogique.
Cela revient aussi à se poser la question de la mesure de l’impact en amont, alors qu’on y pense souvent qu’une fois la conception terminée. En répondant à la question de comment va se manifester l’impact de la formation, on identifie un critère de performance qui devrait être impacté par la formation. Cet indicateur va bien entendu être utile pour mesurer l’impact.
Si je prends un exemple avec une formation concernant l’accueil téléphonique des clients, on peut considérer que cette formation a eu de l’impact si les clients sont satisfaits des échanges téléphoniques qu’ils ont eus avec leurs interlocuteurs. Cette satisfaction est mesurée par une invitation en fin de conversation à laisser son avis sur l’appel, et on pourra estimer qu’une satisfaction qui augmente pour les appels gérés par les participants à cette formation est un indicateur de l’impact de la formation.
Ce qui ne doit pas être confondu avec les objectifs pédagogiques de la formation, qui doivent correspondre au développement de compétences des opérateurs. On pourrait, toujours pour cette formation, avoir pour objectifs pédagogiques “être en mesure de répondre aux objectifs du client” ou “savoir identifier les situations pour lesquelles il est nécessaire d’ouvrir une demande”, etc. On voit ici que les objectifs pédagogiques visent la montée en compétences des apprenants.
Par contre, on forme bien les apprenants pour que la formation se traduise par une contribution positive à l’activité de la société. Ici, on recherche in fine la satisfaction du client lorsqu’il est en contact avec l’assistance téléphonique qui est intégrée dans son contrat.
Si on résume, il ne faut pas se limiter aux objectifs pédagogiques, mais également prendre en compte l’objectif business qui justifie la formation.
.jpg)
Pour les formations visant à l’emploi (formation initiale ou de reskilling), l’impact se traduit généralement par l’insertion professionnelle des participants, en la comparant à l’insertion des candidats qui n’ont pas suivi cette formation.
Un “quick win” efficace est de communiquer les objectifs d’impact, quels qu’ils soient, avant la formation, aux parties prenantes (commanditaire, que ce soit les managers ou non, et bien sûr les apprenants). Cela revient à créer une pression vertueuse, car les études montrent que si on prévient les apprenants que l’on va mesurer l’impact, on montre ainsi qu’on attend d’eux un réel changement suite à cette formation, et on favorise ainsi le transfert. On induit un biais qui va avoir une incidence positive. Il faut donc communiquer sur ce que l’on attend de cette formation, au niveau individuel (montée en compétences des participants, qui est une résultante des objectifs pédagogiques), et au niveau organisationnel, en insistant sur les bénéfices. De façon plus générale, prendre le temps de bien “vendre” la formation.
Je vais prendre l’exemple d’une formation dispensée auprès d’exploitants agricoles sur la méthanisation. Concernant cette formation, les évaluations de satisfaction montraient à quel point les participants avaient été contents d’apprendre une nouvelle technologie, et que la formation s’était bien déroulée. Pourtant, la formation n’avait pas eu l’impact escompté : aucun agriculteur n’avait appliqué la formation, alors même qu’ils avaient été volontaires pour se former. La raison : le processus de conversion vers la méthanisation est complexe et coûteux, savoir comment s’y prendre ne suffit pas pour prendre ce virage. Donc la formation a eu un impact réel : celui de la sensibilisation de la cible à une nouvelle technologie. Mais elle n’a pas eu l’impact escompté au moment où elle a été conçue.
On retient de cette anecdote que les objectifs d’impact, situés au niveau du business et pas uniquement au niveau des apprenants la plupart du temps, ne dépendent pas uniquement de la formation le plus souvent. Il est donc essentiel de les choisir avec soin, pour que ceux-ci soient directement liés au suivi de la formation. Enfin, pour qu’il y ait impact, il faut toujours que les conditions de mise en application soient réunies, et on observe bien souvent des formations ambitieuses qui ont recueilli un très haut niveau de satisfaction, mais qui ont eu peu d’impact, faute d’opportunité réelle de les mettre en œuvre.
De plusieurs façons. Pour répondre à cette question, il faut d’abord se demander ce qu’on veut mesurer, et pour quoi faire ? En effet, on ne va pas mesurer de la même manière la qualité du processus de formation, le transfert en situation de travail, et l’impact final sur l’activité, pour aller du plus courant au plus délicat.
On va aussi se demander si on cherche à réaliser cette analyse de manière ponctuelle (dans le cadre d’un pilote par exemple), ou si l’on souhaite mettre en place un dispositif d’évaluation dans la durée (pour mesurer une évolution notamment, ou pour répondre à des obligations réglementaires).
Selon les cas, on mettra en place des enquêtes quantitatives ou qualitatives, en s’intéressant aux changements induits pour les participants (toujours), voire à des indicateurs de performance opérationnels (plus rarement). Par souci d’efficacité, cela se traduit le plus souvent par la mise en place auprès des participants de questionnaires “à froid” quelques semaines après la fin de la période nécessaire pour mettre en place les acquis de la formation.
S’il y avait une seule chose à retenir : pour qu’il y ait impact, il faut forcément une formation de qualité. Par contre, une formation de qualité n’est pas forcément suivie d’impact… Et c’est ce qui rend les choses difficiles, mais passionnantes !
Profitez de 45 minutes d’échange et d’un diagnostic de maturité d’impact sur-mesure de vos formations avec Cécile Robert (experte en évaluation des formations et des compétences, ex - DG FORMETRIS) & l’équipe Edko.
Une occasion rare de bénéficier d’un audit gratuit et de repartir avec des actions à mettre en place pour mesurer et connaître l’impact de vos formations.
Edko est un logiciel sur-mesure de gestion de la qualité pour organismes de formation, écoles et académies d’entreprise.
La gestion de la qualité (Qualiopi), le suivi de l’insertion pour France Compétences ou encore la mesure d’impact nécessitent de mettre en place des processus chronophages : création et diffusion d’enquêtes, analyse et traitement… La plupart des professionnels perdent un temps fou à compiler, analyser et traiter les données collectées.
Edko est le seul logiciel qui digitalise et automatise vos processus de gestion et vous permet de vous concentrer sur l’essentiel : le développement et l’amélioration continue de vos formations.
Pilotez et mesurez l’impact de vos formations simplement avec Edko.
