Pharmabio Développement Guide pour mesurer l’efficacité des formations Mode d'emploi
PDF
Download
Document
Guide pour mesurer l’efficacité de la formation Destiné aux entreprises du secteur pharmaceutique Éditeur Pharmabio Développement, le Comité sectoriel de main-d’œuvre des industries des produits pharmaceutiques et biotechnologiques, Francine Gendron, directrice générale Conception et réalisation Odile Joussellin André Gagnon, CRHA Chargé de projet Diane Poupart, chargée de projets, Pharmabio Développement Collaboration Danielle Chartier, Paul Colangelo, Merck Frosst Annie D’Anjou et Jean-François Paraiso, Sandoz Canada Diane Desautels, Michel Fafard, Wyeth Révision linguistique Hélène Bédard, Connivence infographie Pharmabio Développement, le Comité sectoriel de main-d’œuvre des industries des produits pharmaceutiques et biotechnologiques 500, boulevard Saint-Martin Ouest Bureau 340 Laval (Québec) H7M 3Y2 Téléphone : (450) 629-8885 / Télécopieur : (450) 629-8894 www.pharmabio.qc.ca Cette publication a été réalisée grâce à l’aide financière de : © Pharmabio Développement, 2006 ISBN XXXXXXXXXX Dépôt légal – Bibliothèque nationale du Québec, 2006 Ce guide est diffusé sur le site Web de Pharmabio Développement www.pharmabio.qc.ca Nota bene Dans ce document, l’emploi du masculin pour désigner des personnes n’a d’autres fins que celle d’alléger le texte. REMERCIEMENTS Ce guide présente les résultats d’un projet réalisé dans trois entreprises du secteur pharmaceutique qui ont décidé d’expérimenter dans leur organisation respective un processus et des outils de mesure d’efficacité des formations. Ce projet a été réalisé à l’initiative du Collectif formation pharmaceutique qui regroupe quelques vingt entreprises du secteur. Le comité sectoriel de main-d’œuvre du secteur pharmaceutique (Pharmabio Développement) en était le promoteur, avec l’appui de la firme de consultants AGD Formation. Les auteurs remercient : • Les trois entreprises qui ont participé à l’élaboration et à la mise à l’essai de ce processus. En particulier, un grand merci à Danielle Chartier de Merck Frosst, Michel Fafard et Diane Desautels de Wyeth, Jean-François Paraiso et Annie D’Anjou de Sandoz Canada qui ont participé aussi généreusement à ce projet en apportant leurs idées, leurs préoccupations, leur énergie et leur confiance; • Diane Poupart, chargée de projet, et Francine Gendron, directrice du comité sectoriel de main d’œuvre Pharmabio Développement, pour tout le soutien apporté au lancement et au pilotage de ce projet; • l’équipe AGD Formation et Hélène Bédard de Connivence infographie pour les multiples réflexions, suggestions et lectures réalisées tout au long de ce projet; • et enfin, tous les membres du Collectif Formation pharmaceutique sans qui ce projet n’aurait jamais vu le jour. Guide pour mesurer l’efficacité des formations 3 TABLE DES MATIÈRES REMERCIEMENTS........................................................................................................ 3 TABLE DES MATIÈRES................................................................................................. 4 UTILISATION DU GUIDE............................................................................................. 7 CHAPITRE 1 - LE PROCESSUS DE MESURE D’EFFICACITÉ DE LA FORMATION ............. 9 A quoi ça sert de mesurer l’efficacité d’une formation ? .................................................. 9 Que trouve-t-on dans ce guide ? ................................................................................. 9 Résultats et gains attendus ?...................................................................................... 9 Quelles formations évaluer ? ...................................................................................... 9 Avec qui cela se fait ? ................................................................................................ 9 Quelles sont les étapes ?.......................................................................................... 10 Pendant combien de temps ? .................................................................................... 10 Les conditions de réussite ........................................................................................ 11 Les bénéfices additionnels ........................................................................................ 12 CHAPITRE 2 - LES INTERVENANTS - LEURS ROLES ET LEURS RESPONSABILITES .... 13 Le client interne ..................................................................................................... 14 Le responsable de projet ......................................................................................... 14 Les superviseurs .................................................................................................... 15 Les formateurs ...................................................................................................... 15 Les employés formés .............................................................................................. 15 La direction ........................................................................................................... 16 Le service formation ............................................................................................... 16 Les experts :.......................................................................................................... 16 CHAPITRE 3 - LES DÉFINITIONS ET LES MODÈLES UTILISÉS ................................... 17 Les définitions utilisées pour clarifier l’évaluation ......................................................... 18 Le modèle pour situer les 4 niveaux d’évaluation de la formation .................................. 20 Le modèle d’efficacité de la formation ........................................................................ 23 CHAPITRE 4 - LES ÉTAPES ET LES OUTILS ................................................................ 25 ÉTAPE 1 : FAIRE LE CHOIX DE LA FORMATION À ÉVALUER....................................... 27 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 27 Gabarit « Choix de la formation à évaluer » ............................................................... 29 ÉTAPE 2 : CONSTITUER LE COMITÉ INTERNE............................................................ 31 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 31 Fiche guide - Rôle et composition du comité interne..................................................... 32 4 Guide pour mesurer l’efficacité des formations ÉTAPE 3 : ÉTABLIR LA CHARTE DU PROJET .............................................................. 35 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 35 Gabarit « Charte de projet » ................................................................................... 36 ÉTAPE 4 : CHOISIR LES MODALITÉS D’ÉVALUATION ................................................ 43 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 43 Fiche guide « Le dispositif d’évaluation proposé »........................................................ 44 Gabarit « Choix des modalités des évaluations » ........................................................ 47 ÉTAPE 5 : PRÉPARER LES OUTILS DE GESTION DU PROJET ...................................... 51 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 51 Gabarit « Calendrier » ............................................................................................ 52 Gabarit « Analyse coûts/bénéfices » ......................................................................... 52 ÉTAPE 6 : PRÉPARER LES OUTILS DE MESURE.......................................................... 57 Pourquoi cette étape ? Comment faire ? Recommandations........................................... Gabarit « Grille d’observation » ............................................................................... Fiche guide « Questionnaire sur les conditions de formation » ....................................... Questionnaire sur les conditions de formation – Exemple............................................. Fiche guide « Questionnaire sur les conditions de transfert » ........................................ Questionnaire sur les conditions de transfert .............................................................. Gabarit «Tableau de bord des impacts» .................................................................... 57 58 64 66 67 68 70 ÉTAPE 7 : PRÉPARER LES PERSONNES ..................................................................... 73 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 73 ÉTAPE 8 : MESURER LES ACQUIS ET LES CONDITIONS DE FORMATION ................... 75 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 75 ÉTAPE 9 : MESURER LE TRANSFERT ET LES CONDITIONS DE TRANSFERT ................ 77 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 77 ÉTAPE 10 : MESURER LES IMPACTS .......................................................................... 79 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 79 ÉTAPE 11 : ANALYSER LES DONNÉES ET FAIRE LE DIAGNOSTIC .............................. 81 Pourquoi cette étape ? Comment faire ? Recommandations........................................... Fiche guide « Compilation des données chiffrées » ...................................................... Gabarits « Diagnostic » .......................................................................................... Gabarit « Plan d’action » ......................................................................................... 81 82 83 88 ÉTAPE 12 : VALIDER LE PLAN D’ACTION .................................................................. 91 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 91 Guide pour mesurer l’efficacité des formations 5 ÉTAPE 13 : COMMUNIQUER LE DIAGNOSTIC ET LE PLAN D’ACTION ......................... 93 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 93 ÉTAPE 14 : RÉALISER LE PLAN D’ACTION ................................................................. 95 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 95 ÉTAPE 15 : MESURER LES IMPACTS DU PLAN D’ACTION........................................... 97 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 97 ÉTAPE 16 : COMMUNIQUER ET FERMER LE PROJET................................................... 99 Pourquoi cette étape ? Comment faire ? Recommandations........................................... 99 6 Guide pour mesurer l’efficacité des formations UTILISATION DU GUIDE Ce guide se compose de deux supports documentaires : • • un cartable qui présente le processus de mesure d’efficacité ainsi que tous les éléments pertinents pour se l’approprier; un support CD qui regroupe l’ensemble des outils nécessaires à la mise en œuvre du processus. Ce format électronique a été choisi pour faciliter leur utilisation. Le cartable a été structuré en quatre chapitres. Chapitre 1 : Le processus de mesure d’efficacité de la formation Ce chapitre présente le processus de mesure d’efficacité de la formation : À quoi sert ce processus ? Quels sont les résultats et les gains attendus ? Quelles formations évaluer ? Avec qui cela se fait ? Quelles sont les étapes ? Pendant combien de temps ? Quelles sont les conditions de réussite ? Quels sont les bénéfices additionnels ? Chapitre 2 : Les intervenants - Leurs rôles et leurs responsabilités Pour situer les différents intervenants et clarifier leurs rôles et responsabilités dans le cadre de ce projet. Chapitre 3 : Les définitions et les modèles utilisés Ce chapitre réunit les concepts clés, les modèles qui nous ont inspirés et guidés tout au long de ce projet. Ces éléments ont été présentés dans les trois entreprises pilotes aux membres du comité interne dès le lancement du projet, pour leur permettre de comprendre le fondement des actions que nous allions engager pour mesurer l’efficacité de la formation. Chapitre 4 : Les étapes et les outils C’est le « plat de résistance » de ce guide. Dans cette partie, se trouve une présentation de chaque étape : • Une présentation générale de l’étape : Le POURQUOI de l’étape, sa raison d’être. − Le COMMENT de l’étape : Avec quoi ? Avec qui ? Durée ? − Des recommandations formulées sous forme de conseils et de pièges à éviter. − • Les outils nécessaires pour guider les intervenants dans la réalisation de l’étape : Des outils sous forme de GABARITS à compléter. L’objectif de ces gabarits est de permettre aux intervenants de visualiser et de structurer les résultats à produire lors de l’étape. Chaque gabarit est accompagné d’un mode d’emploi et d’un exemple. − Des outils sous forme de FICHES GUIDES. Lorsqu’il n’était pas possible d’élaborer un gabarit, nous avons rédigé une fiche présentant des repères et des recommandations. − Guide pour mesurer l’efficacité des formations 7 CHAPITRE 1 LE PROCESSUS DE MESURE D’EFFICACITÉ DE LA FORMATION À QUOI ÇA SERT DE MESURER L’EFFICACITÉ D’UNE FORMATION ? La formation, comme la production, a ses propres paramètres d’efficacité. L’amélioration continue du système formation passe nécessairement par la mesure d’indicateurs qui permettront, hors de tout doute, de porter un jugement éclairé sur sa performance et ainsi en améliorer l’efficacité. La mesure de l’efficacité de la formation est un moyen essentiel d’amélioration continue du système de formation. Lorsque se fait sentir le besoin d’évaluer une formation, il y a des signes pour mettre en doute la formation ou un besoin de prouver l’efficacité actuelle de cette formation. Ce guide va permettre d’obtenir des preuves sur l’efficacité de la formation et ainsi identifier des actions pour l’améliorer. QUE TROUVE-T-ON DANS CE GUIDE ? Un processus et des outils permettant : • • de mesurer l’efficacité de la formation, c'est-à-dire, de vérifier si les employés utilisent dans leur travail ce qu’ils ont appris en formation (mesurer le « degré de transfert »); d’identifier les actions correctives et/ou préventives pour améliorer l’efficacité de la formation (améliorer le « degré de transfert »). RÉSULTATS ET GAINS ATTENDUS ? • • • des preuves d’efficacité ou de non-efficacité d’une formation; un plan d’action précis d’amélioration de la formation (actions correctives et/ou préventives); un tableau de bord permettant de suivre l’impact de la formation pour calculer les bénéfices apportés par la formation et le processus d’évaluation. QUELLES FORMATIONS ÉVALUER ? Le processus présenté permet de mesurer l’efficacité de formations existantes (que l’organisation désire « challenger ») ou de formations en cours d’élaboration. AVEC QUI CELA SE FAIT ? Les décideurs et les gens de plancher, sur le plan autant des opérations que de la formation : • • • directeur, superviseurs du département concerné par la formation à évaluer; service de formation, formateurs, compagnons impliqués par la formation à évaluer; experts (ingénierie, qualité, santé et sécurité au travail, etc.). Guide pour mesurer l’efficacité des formations 9 Chapitre 1 Le processus de mesure d’efficacité de la formation QUELLES SONT LES ÉTAPES ? Le processus a été découpé en deux grandes phases, en cinq sous-phases et en seize étapes. Phase 1 : ÉVALUER DÉFINIR le projet PRÉPARER les ressources 1. 2. 3. 4. Faire le choix de la formation à évaluer Constituer le comité interne Établir la charte de projet Choisir les modalités d’évaluation 5. Préparer les outils de gestion du projet 6. Préparer les outils de mesure 7. Préparer les personnes FORMATION MESURER l’efficacité 8. Mesurer les acquis et les conditions de formation 9. Mesurer le transfert et les conditions de transfert 10. Mesurer les impacts ANALYSER les résultats 11. Analyser les données et faire le diagnostic 12. Valider le plan d’action 13. Communiquer le diagnostic et le plan d’action Phase 2 : AMÉ AMÉLIORER AMÉLIORER l’efficacité 14. Réaliser le plan d’action 15. Mesurer les impacts du plan d’action 16. Communiquer et fermer le projet PENDANT COMBIEN DE TEMPS ? • La phase 1 (ÉVALUER), s’étale sur une période de 4 à 6 mois. Ce délai intègre une période incompressible de trois mois après la réalisation de la formation pour que tous les effets de la formation puissent se faire sentir, et s’évaluer, au niveau des employés, du travail et de l’organisation. • La phase 2 (AMÉLIORER) dépend de l’ampleur des améliorations à réaliser pour la formation évaluée et du calendrier que s’est fixé l’organisation. Pour se donner un ordre de grandeur, cette phase peut s’étaler sur 1 à 3 mois. 10 Guide pour mesurer l’efficacité des formations Chapitre 1 Le processus de mesure d’efficacité de la formation LES CONDITIONS DE RÉUSSITE Il est essentiel que les intervenants prennent connaissance de ces conditions de réussite pour pouvoir les respecter tout au long du projet. 1. Engagement d’un client interne Un service formation ne pourra pas, seul, réunir l’ensemble des conditions pour qu’une formation soit efficace. C’est pourquoi, il est indispensable que le service formation s’assure d’obtenir l’engagement d’un client interne (client de la formation) pour mesurer et pour améliorer la formation dont il a besoin pour son personnel. 2. Choix de la formation à évaluer Il s’agit de bien choisir la formation à évaluer. La formation est un investissement non négligeable pour une organisation; ceci est vrai également pour son évaluation. Il faut que le client interne en perçoive la nécessité et les avantages pour s’y engager pleinement. Il est essentiel de cibler les formations les plus critiques, celles ayant un impact significatif pour justifier l’investissement et s’assurer de la faisabilité du projet. 3. Implication des intervenants clés Impliquer autant des gens de plancher que des décideurs au niveau de la formation et des opérations. 4. Mise en place d’un comité interne Désigner un comité interne présent du début à la fin et réunissant les représentants des principaux intervenants, ceci dans le but d’assurer la mobilisation des acteurs et la transmission efficace des communications. 5. Disponibilité des ressources Au plus tôt, faire une évaluation réaliste de la disponibilité des ressources et obtenir un engagement de tous sur ces éléments pour éviter les mauvaises surprises. 6. Echantillonnage des personnes à évaluer Ne pas chercher à évaluer tous les employés formés. Faire les mesures auprès d’un échantillon représentatif des employés permet d’atteindre les mêmes résultats à moindre coût. 7. Durée limitée du dispositif d’évaluation Mettre en place le processus et les outils de mesure sur une période de temps déterminée, retirer le dispositif une fois les objectifs atteints en termes d’efficacité. 8. Loi de Pareto pour les améliorations Privilégier des solutions simples, peu onéreuses et ayant un maximum d’impact sur l’amélioration de la formation. Guide pour mesurer l’efficacité des formations 11 Chapitre 1 Le processus de mesure d’efficacité de la formation LES BÉNÉFICES ADDITIONNELS Lors de l’implantation de ce processus dans les trois entreprises, les intervenants ont perçu et souligné des bénéfices additionnels retirés de ce projet. L’implantation du processus d’évaluation de l’efficacité de la formation a permis de : • Améliorer l’analyse des besoins La mise en place du processus d’évaluation a amené l’organisation à consolider ses pratiques et ses outils d’analyse des besoins utilisés au sein de l’organisation. • Améliorer la conception, le design des formations, l’efficacité des stratégies de formation L’analyse plus structurée des besoins de formation a permis de faire des choix éclairés lors de la conception de la formation. • Améliorer la qualité du matériel de formation Ayant clarifié précisément les objectifs à atteindre, l’organisation a pu produire du matériel de formation de meilleure qualité et éliminer le matériel superflu. • Améliorer la préparation des formateurs / compagnons En clarifiant les objectifs de la formation (habiletés et connaissances critiques), l’organisation a pu vérifier le profil et la préparation des formateurs et des compagnons (et la compléter si nécessaire). • Clarifier les responsabilités formateurs/superviseurs Les différentes étapes d’évaluation ont obligé les formateurs et les superviseurs à préciser ce qui était dans leur champ de responsabilité respectif. • Améliorer la rédaction des procédures de travail L’analyse des besoins, la clarification des objectifs et les commentaires recueillis ont fait ressortir les points faibles et les points forts des procédures de travail et de la documentation à disposition sur les postes de travail. • Préciser les critères de relâche du personnel Les évaluations ont mis en lumière les compétences réellement acquises par les employés. Ces preuves permettent à l’organisation de décider, sans prendre de risque, de leur faire réaliser ces tâches de façon autonome. • Améliorer le marketing de la formation En mettant en place les évaluations, l’organisation a pu prouver la contribution effective de la formation à l’amélioration des performances organisationnelles. 12 Guide pour mesurer l’efficacité des formations CHAPITRE 2 LES INTERVENANTS - LEURS ROLES ET LEURS RESPONSABILITES Le processus de mesure d’efficacité de la formation s’appuie sur huit intervenants : • Cinq acteurs clés qui interviennent directement dans l’implantation du processus (phase ÉVALUER et/ou phase AMÉLIORER) : Le client interne, le responsable de projet, les superviseurs, les formateurs, les employés. Trois acteurs « support » qui vont apporter du soutien aux acteurs clés : − • − La direction, le service formation, les experts. Direction • Valider la pertinence de développer ces projets • Fournir des ressources complémentaires (si besoin) • Vendre le projet Service Formation Expert • Fournir un responsable de projet • Mettre à disposition son expertise • Vendre le projet • Apporter son point de vue sur la formation • Mettre à disposition son expertise Employés • Participer activement à la formation et appliquer ses acquis dans son travail • Participer aux évaluations • Donner son point de vue sur la formation Responsable de projet • Piloter le projet, animer le comité interne • Soutenir les intervenants • S’assurer que chacun assume ses responsabilités Client interne • Déclencher le projet • S’assurer que le projet apporte des bénéfices • Fournir les ressources • Vendre le projet Comité interne Superviseurs • Évaluer les acquis (après la formation) • Donner son point de vue sur la formation • Réaliser les améliorations (au niveau du travail) Formateurs • Évaluer les acquis (en fin de formation) • Donner son point de vue sur la formation • Réaliser les améliorations (au niveau de la formation) Le comité interne est constitué du client interne, du responsable de projet et de représentants des formateurs, des superviseurs. Si besoin est, le comité peut demander la participation d’experts, du service formation et des employés. La bonne compréhension par chacun de leurs rôles et responsabilités est essentielle à la réussite du projet. Guide pour mesurer l’efficacité des formations 13 Chapitre 2 Les intervenants – Leurs rôles et leurs responsabilités LE CLIENT INTERNE : • C’est qui ? Un directeur d’un service, d’un département ou d’une usine, « utilisateur » d’une formation qu’il met en doute, pour tout ou partie de son personnel. − Ce gestionnaire souhaite améliorer l’efficacité de cette formation. Son service tirera directement les bénéfices de ces améliorations (au niveau des compétences du personnel et au niveau des performances organisationnelles de son secteur). − • Rôles et responsabilités dans ce projet ? − − − − − Choisir la formation à évaluer. Identifier et libérer les personnes qui vont participer au projet dans la phase ÉVALUER et dans la phase AMÉLIORER (comité interne, évaluateurs, évalués, etc.). Exploiter le diagnostic réalisé et valider le plan d’action (dans la limite des ressources dont il dispose). Promouvoir le projet de mesure d’efficacité de la formation au sein de son département et au niveau de l’entreprise. Participer activement au comité interne. LE RESPONSABLE DE PROJET : • C’est qui ? Membre du service formation (au niveau central) ou appartenant à l’équipe gérée par le client interne. − Ayant un minimum de bagage concernant la gestion de la formation dans les organisations. − • Rôles et responsabilités dans ce projet ? − − − − − − − 14 Piloter le projet et mettre en place des outils de gestion de projet pour en assurer le suivi. S’assurer de la mise en place d’un comité interne et en assurer l’animation. S’approprier le processus et les outils pour mesurer l’efficacité de la formation et les adapter à la formation choisie et au contexte organisationnel. Accompagner tous les intervenants, leur apporter des outils, du support et de l’aide. Alerter en cas d’obstacles pressentis ou de difficultés éprouvées (comité interne, client interne, service formation, etc.). S’assurer que chaque intervenant soit informé de son rôle et de ses responsabilités dans ce projet et les respectent. S’assurer que tous les intervenants aient connaissance des conditions de réussite du projet et mettent en œuvre les moyens pour les respecter. Guide pour mesurer l’efficacité des formations Chapitre 2 Les intervenants – Leurs rôles et leurs responsabilités LES SUPERVISEURS : • C’est qui ? − • Supérieur immédiat des employés à former. Rôles et responsabilités dans ce projet ? − − − − − Vendre le projet dans son équipe (employés, autres superviseurs) et au personnel support. Apporter son point de vue concernant la formation à évaluer (résultats obtenus au niveau des employés et du travail, contraintes, déroulement, etc.). Participer activement aux évaluations réalisées après transfert, un à trois mois après la formation (observations sur le poste de travail). Mettre en œuvre les améliorations décidées pour améliorer la formation qui relève de son domaine d’expertise et de son champ de responsabilité. Identifier sa zone de responsabilité concernant la réussite d’un projet de formation. LES FORMATEURS : • C’est qui ? − • Personne assurant la formation théorique et/ou pratique des employés pour la formation à évaluer. Rôles et responsabilités dans ce projet ? − − − − − Vendre le projet (auprès des employés, des autres formateurs, du personnel support). Apporter son point de vue concernant la formation à évaluer (résultats obtenus, contraintes, déroulement, etc.). Participer activement aux évaluations en fin de formation (observation et évaluation des conditions de formation). Mettre en œuvre les améliorations décidées pour améliorer la formation qui relève de son domaine d’expertise et de son champ de responsabilité. Identifier sa zone de responsabilité concernant la réussite d’un projet de formation. LES EMPLOYES FORMES : • C’est qui ? − • Employés concernés directement par la formation à évaluer. Rôles et responsabilités dans ce projet ? Vendre le projet auprès de ses collègues. − Participer activement à la formation et aux évaluations (apprendre, s’exercer, démontrer les connaissances et compétences acquises, donner son point de vue concernant la formation et ses résultats sur le plan du travail). − Identifier sa zone de responsabilité concernant la réussite d’un projet de formation. − Guide pour mesurer l’efficacité des formations 15 Chapitre 2 Les intervenants – Leurs rôles et leurs responsabilités LA DIRECTION : • C’est qui ? − • Comité directeur de l’entreprise ou du site. Rôles et responsabilités dans ce projet ? − − − − − Valider le choix et la pertinence de la formation à évaluer. Promouvoir le projet à la grandeur de l’entreprise (faire valoir l’intérêt pour l’entreprise et les résultats souhaités/obtenus). Soutenir le client interne pour la réalisation du projet en mettant à disposition les ressources complémentaires dont il a besoin (ressources matérielles, humaines et financières). S’assurer d’avoir régulièrement un état d’avancement du projet. À la suite du projet, déterminer la pertinence de développer à nouveau ce processus sur d’autres formations, dans d’autres secteurs de l’entreprise. LE SERVICE FORMATION : • C’est qui ? − − • Service de formation « central ». Service regroupant les « experts formation » au niveau de l’entreprise ou du site. Rôles et responsabilités dans ce projet ? Mettre à disposition du client interne une ressource pour piloter le projet et accompagner le comité interne (le responsable de projet). − Promouvoir le projet à la grandeur de l’entreprise (faire valoir l’intérêt pour l’entreprise et les résultats souhaités/obtenus). − S’assurer d’avoir régulièrement un état d’avancement du projet. − Mettre à disposition ses ressources, son expertise, ses outils pour améliorer la formation (en particulier, les améliorations liées aux conditions de formation). − LES EXPERTS : • C’est qui ? − • Rôles et responsabilités dans ce projet ? − − 16 Membre de services support (ingénierie, qualité, santé sécurité, etc.). Apporter son point de vue concernant la formation à évaluer. Mettre à disposition du comité interne son expertise, ses outils et ses compétences : 1. pour la phase ÉVALUER, en particulier pour ce qui est de l’évaluation de l’impact de la formation sur les performances organisationnelles; 2. pour la phase AMÉLIORER, réaliser les améliorations décidées relevant de son domaine d’expertise. Guide pour mesurer l’efficacité des formations CHAPITRE 3 LES DÉFINITIONS ET LES MODÈLES UTILISÉS Ce chapitre présente les concepts clés, les principes directeurs et les modèles qui ont été utilisés lors de l’élaboration de ce guide : • les définitions que nous avons retenues pour clarifier l’évaluation; • le modèle de C. Kirkpatrick pour situer les quatre niveaux d’évaluation de la formation; • le modèle qui nous a inspiré pour identifier les trois composantes d’efficacité de la formation. Dans les trois entreprises pilotes, ces références ont été présentées aux principaux acteurs (direction et membres du comité interne) au démarrage du projet. Cela a permis de : • • • • clarifier et démystifier les notions d’évaluation; partager un vocabulaire commun; situer les éléments clés pour réussir le projet; fournir des repères pour comprendre le processus proposé et les actions à engager pour mesurer et améliorer l’efficacité d’une formation. Guide pour mesurer l’efficacité des formations 17 Chapitre 3 Les définitions et les modèles utilisés LES DÉFINITIONS UTILISÉES POUR CLARIFIER L’ÉVALUATION DÉFINITION DE L’ÉVALUATION ÉVALUER c’est…. • JUGER Évaluer c’est « faire sortir la valeur » (au sens étymologique). Évaluer consiste à porter un jugement et à interpréter. • EXPLICITER Évaluer consiste à contrôler l’atteinte d’un objectif ET à expliquer pourquoi on a atteint ou non l’objectif. Sinon, il s’agit d’une MESURE et non d’une EVALUATION. • DÉCIDER On évalue si on est prêt à « prendre action » à la suite des résultats obtenus. Si l’organisation n’est pas prête, différez les évaluations et mettez vos énergies ailleurs !!! CONDITIONS DE RÉUSSITE D’UNE ÉVALUATION Pour qu’une évaluation soit réussie, il faut qu’elle soit… • UTILE L’évaluation représente un EFFORT important pour une organisation. Il est indispensable de justifier toute évaluation réalisée. • RÉALISTE Il vaut mieux faire peu d’évaluation dans de bonnes conditions, que beaucoup dans de mauvaises conditions. • ACCEPTABLE Il est essentiel d’expliquer le pourquoi d’une évaluation à toutes les personnes qui vont être impliquées (décideurs, évaluateurs, évalués, etc.). 18 Guide pour mesurer l’efficacité des formations Chapitre 3 Les définitions et les modèles utilisés PRÉCAUTIONS À PRENDRE ET PIÈGES À ÉVITER • Il n’y a pas de BONNES méthodes d’évaluation, mais il y en a des MAUVAISES. • Une évaluation n’est JAMAIS FIABLE à 100 % : - On peut se tromper sur l’outil, sur la stratégie choisie, sur le moment choisi, etc. - La personne évaluée n’est pas forcément disponible lors de l’évaluation (motivation, concentration, fatigue, etc.). - Les évaluateurs, de la même façon, peuvent aussi être plus ou moins disposés à réaliser une bonne évaluation (préparation, concentration, fatigue, etc.). • Une évaluation permet de recueillir des HYPOTHÈSES mais JAMAIS DE CERTITUDES. • Une évaluation n’est JAMAIS NEUTRE pour un individu. • Plus l’évaluation est COURTE dans le temps, plus on prend des RISQUES DE SE TROMPER. • Le défi n’est pas de recueillir l’information, mais de la TRAITER. Quelle que soit la situation où on va placer un individu, il réagira en fonction de ses compétences, de ses aptitudes, de sa personnalité, de sa motivation. La difficulté ne consiste pas à faire apparaître ses dimensions, mais de les traiter objectivement. • La difficulté d’une évaluation ne se situe ni dans sa passation, ni dans son analyse, mais dans son INTERPRÉTATION. À la suite de cette évaluation, quelles conclusions en tirer et quelles décisions prendre ? Guide pour mesurer l’efficacité des formations 19 Chapitre 3 Les définitions et les modèles utilisés LE MODÈLE POUR SITUER LES 4 NIVEAUX D’ÉVALUATION DE LA FORMATION – LE MODÈLE DE KIRKPATRICK Dans le domaine de la qualité, les mesures prises pour évaluer l’efficacité d’un système qualité concernent plus particulièrement les finalités recherchées par ce système. Elles permettront, par exemple, de vérifier dans quelle mesure le produit fini répond aux spécifications demandées par le client, si le produit est bien arrivé au bon endroit et selon les quantités demandées. Il en est de même pour la formation. Elle constitue, en soi, un système, avec ses intrants, ses processus et ses activités en interaction. On reconnaît généralement quatre finalités au système formation, correspondant aux quatre niveaux d’évaluation d’efficacité de ce système. On dira que la formation est efficace dans la mesure où : Environnement de TRAVAIL Environnement de FORMATION 1. elle aura été satisfaisante pour ceux qui l’ont suivie : on mesurera alors la SATISFACTION; 2. ceux qui y participaient ont appris ce qu’ils devaient apprendre et s’attendaient à y apprendre : on mesurera alors l’ACQUISITION des connaissances; 3. les personnes formées ont utilisé au travail ce qu’ils avaient appris : on mesurera alors le TRANSFERT; 4. elle a contribué de façon significative à l’amélioration des résultats organisationnels : on en mesurera alors l’IMPACT. 20 - Niveau 1 Satisfaction des participants En fin de formation Les participants sont-ils satisfaits du programme de formation ? - Niveau 2 Acquisition des connaissances En cours / fin de formation Qu’est-ce que les participants ont appris dans cette formation ? - Niveau 3 Transfert des acquis 1 à 3 mois après la formation Ont-ils changé leurs comportements au travail à cause de ce qu’ils ont appris ? - Niveau 4Impact sur l’organisation 3 à 6 mois après la formation Les changements ont-ils eu des effets bénéfiques pour l’organisation ? Guide pour mesurer l’efficacité des formations Chapitre 3 Les définitions et les modèles utilisés NIVEAU 1 : ÉVALUATION DE LA SATISFACTION DES PARTICIPANTS • À quoi ça sert ? Contrôler les ressources pédagogiques et les conditions dans lesquelles se donne la formation. − Points à aborder : le contenu, l’enseignement, le matériel, les installations, les compétences du formateur (habiletés, connaissances), les documents, les ressources, l’horaire, la durée, le sentiment d’avoir appris quelque chose, etc. − • Quand ? − • À la fin de la formation. Comment ? − Questionnaire de satisfaction – « Questionnaire à chaud ». NIVEAU 2 : ÉVALUATION DE L’ACQUISITION DES CONNAISSANCES • À quoi ça sert ? Mesurer la portée des habiletés et des connaissances acquises dans le cadre de la formation (et non dans la situation de travail). − Contrôler les apprentissages réalisés. − • Quand ? − • À la fin de la formation. Comment ? Exercices – Tests – Quiz – QCM – Interrogations orales. − Travaux pratiques – Manipulations. − Problèmes à résoudre - Études de cas – Simulation. − Travaux de recherche - Rapport de synthèse à rédiger – etc. − NIVEAU 3 : ÉVALUATION DU TRANSFERT DANS LE TRAVAIL • À quoi ça sert ? Mesurer à quel degré les connaissances acquises en formation sont utilisées et intégrées dans le travail. − Contrôler l’utilisation et le maintien des connaissances au travail. − • Quand ? − • Après la formation (1 à 3 mois après la fin de la formation) - Évaluation « à froid ». Comment ? − − − − − Observation des comportements professionnels. Questionnaire d’évaluation ou auto-évaluation. Résultat de l’activité : produits et/ou performances de l’employé. Analyse critique des situations problèmes. Entretien de suivi. Guide pour mesurer l’efficacité des formations 21 Chapitre 3 Les définitions et les modèles utilisés NIVEAU 4 : ÉVALUATION DE L’IMPACT SUR L’ORGANISATION • À quoi ça sert ? − − • Quand ? − • Mesurer les résultats (répercussions/bénéfices) à long terme sur l’organisation. Vérifier les bénéfices économiques de la formation (R.O.I). Après la formation (3 à 6 mois après la fin de la formation). Comment ? Suivi d’indicateurs de performances : rejets, accidents de travail, etc. Calculer une évolution par rapport à une situation initiale. − Calculer le retour sur investissement (R.O.I) : gains obtenus versus coût des investissements pour y arriver. − − 22 Guide pour mesurer l’efficacité des formations Chapitre 3 Les définitions et les modèles utilisés LE MODÈLE D’EFFICACITÉ DE LA FORMATION La formation au sein d’une organisation est un processus complexe qui engage trois acteurs clés : le formateur, le gestionnaire, l’employé. La réussite d’une formation nécessite que chacun de ces intervenants assume sa part de responsabilité. En effet, pour qu’une formation soit réussie, SAVOIR • Il faut que la formation proposée soit de qualité (contenus, déroulement, matériel, organisation, etc.) pour permette à l’employé de SAVOIR. Ce premier élément se situe dans le champ de responsabilité du FORMATEUR. VOULOIR • Il faut que l’EMPLOYE soit disposé à s’investir pour comprendre, appliquer et utiliser ce qu’il aura appris. POUVOIR • Il faut que l’organisation, représentée en première ligne par le GESTIONNAIRE, permette à l’employé d’être confronté à la situation pour laquelle il a été formé et lui fournisse les moyens nécessaires pour y faire face (disponibilité, moyens matériels et humains, etc.). Contenus, déroulement, méthodes, matériel, durée, formateurs,… LA FORMATION SAVOIR Je sais Pour qu’ qu’une formation soit ré réussie, il faut… faut… VOULOIR Je veux LA MOTIVATION Gestion du changement, encadrement, communication,… POUVOIR Je peux ORGANISATION du TRAVAIL Ressources matérielles/humaines, disponibilité, priorités,… Guide pour mesurer l’efficacité des formations 23 Chapitre 3 Les définitions et les modèles utilisés Il suffit qu’un de ces acteurs fasse défaut pour que la formation soit un échec. Par conséquent, si une formation n’est pas efficace, les causes doivent être recherchées : • • • du côté de la formation; et/ou du côté de l’engagement, de la mobilisation de l’employé; et/ou du côté de l’organisation du travail (sous la responsabilité du gestionnaire). Par conséquent, les améliorations à apporter se situeront forcément en regard de ces trois paramètres : • • • améliorer la qualité de la formation; et/ou augmenter l’engagement et la mobilisation de l’employé; et/ou améliorer l’organisation du travail. L’employé, bien évidement, est responsable de sa motivation et de son engagement au travail. Mais il est tout aussi évident qu’une organisation peut amener des conditions qui favorisent ou freinent l’engagement du personnel (encadrement, communication des objectifs, gestion des changements, politique de gestion des ressources humaines, etc.). Donc, si l’on se place du côté de l’organisation (au niveau des paramètres sur lesquels une entreprise peut intervenir), les actions correctives et préventives pour améliorer une formation vont se situer à deux niveaux : • • au niveau de la formation, sous la responsabilité du service formation et des formateurs. au niveau de l’organisation du travail, sous la responsabilité des gestionnaires (directeurs de service, superviseurs, etc.). La compréhension de ce partage de responsabilité et de ses conséquences est au cœur de la problématique concernant l’évaluation de l’efficacité de la formation. Pour améliorer une formation …. Actions correctives ou préventives à réaliser ? Au niveau de la FORMATION 24 Au niveau du TRAVAIL Formateur Organisation du travail Déroulement / contenus Moyens matériels Matériel Moyens humains Profil des participants Gestion/encadrement Logistique Gestion du changement Guide pour mesurer l’efficacité des formations 1. 2. 3. 4. Faire le choix de la formation à évaluer Constituer le comité interne Établir la charte de projet Choisir les modalités d’évaluation 1 gabarit 1 fiche guide 1 gabarit 1 gabarit + 1 fiche guide PRÉPARER 5. Préparer les outils de gestion du projet 6. Préparer les outils de mesure les ressources 7. Préparer les personnes Experts Service formation Direction Employés formés Formateurs Superviseurs Les outils Phase 1 : ÉVALUER DÉFINIR le projet Comité interne Les étapes, les outils et les intervenants Client interne Mesurer l’ l’efficacité efficacité de la formation Responsable de projet CHAPITRE 4 LES ÉTAPES ET LES OUTILS \ \ \ 2 gabarits 2 gabarits + 2 fiches guide \ \ \ \ \ MESURER l’efficacité 8. Mesurer les acquis et les conditions de formation Grille d’observation+Questionnaire Grille d’observation+Questionnaire 9. Mesurer le transfert, les conditions de transfert 10.Mesurer les impacts Tableau de bord des impacts ANALYSER les résultats 11.Analyser les données et faire le diagnostic 12.Valider le plan d’action 13.Communiquer le diagnostic et le plan d’action 3 gabarits + 1 fiche guide \ \ \ \ \ \ \ \ \ \ Phase 2 : AMÉ AMÉLIORER AMÉLIORER l’efficacité 14.Réaliser le plan d’action 15.Mesurer les impacts du plan d’action 16.Communiquer et fermer le projet Tableau de bord des impacts \ \ \ \ \ Responsabilité : Je guide Je fais \ Je suis impliqué Guide pour mesurer l’efficacité des formations 25 Étape 1 Faire le choix de la formation à évaluer ÉTAPE 1 : FAIRE LE CHOIX DE LA FORMATION À ÉVALUER POURQUOI CETTE ETAPE ? Raison d’être Décider de déclencher OU non un processus de mesure d’efficacité d’une formation : 1. Faire une analyse des formations pour identifier la/les formation(s) les plus critiques. 2. Vérifier l’intérêt et la faisabilité de réaliser une évaluation pour chacune des formations identifiées. 3. Justifier les investissements nécessaires à la mesure d’efficacité. COMMENT FAIRE ? Avec quoi ? • Gabarit « Choix de la formation à évaluer » à compléter. Avec qui ? • Client interne – Service formation – Direction. Durée ? • Rencontre avec le client interne – environ 1 heure. • Pour chaque formation à analyser, vérifier préalablement que l’organisation a des arguments solides pour réaliser une mesure d’efficacité sur cette formation. Il faut s’assurer que la formation qui sera évaluée a été identifiée par tous comme une vraie problématique (créant de vrais problèmes) : - Peu ou pas d’amélioration constatée (doute sur son efficacité). - Manque de suivi après formation. - Pressions exercées sur les formateurs ou le service formation pour modifier la formation (supprimer la formation pratique, réduire la durée de formation, changer le profil des formateurs, etc.). - etc. • Si l’analyse fait ressortir des risques, en tirer les conclusions : reporter ou annuler le projet d’évaluation. • Faire cette analyse sans impliquer le client interne. Il est essentiel que le service formation et le/les client(s) interne(s) partagent la même vision sur les formations identifiées. RECOMMANDATIONS Conseils Pièges à éviter Rappel des deux conditions de réussite importantes dans cette étape : Choix de la formation à évaluer – Engagement du client interne Guide pour mesurer l’efficacité des formations 27 Étape 1 Faire le choix de la formation à évaluer GABARIT « CHOIX DE LA FORMATION À ÉVALUER » - MODE D’EMPLOI • Avant d’utiliser le gabarit, présenter chaque critère et identifier avec vos interlocuteurs des exemples de formations représentatives des cotations 1 et 10 (pour visualiser les deux extrêmes). • Chaque formation est analysée relativement à la réalité de l’entreprise (c'est-à-dire par rapport aux autres formations dispensées dans l’organisation et non dans l’absolu). • Six critères sont analysés pour chacune des formations identifiées : - Impact de la formation : pour vérifier si la formation a un impact sur les résultats d’affaires. Est-ce que la formation a un impact majeur (10), moyen (5) ou faible (1) sur la productivité, la qualité, le service client, la santé sécurité, etc. ? - Coût de la formation : pour vérifier si cette formation nécessite un investissement important ($ ou disponibilité) pour l’organisation dans sa conception et/ou sa diffusion. Plusieurs coûts sont à considérer : durée de conception, durée de la formation, coût des déplacements pour le formateur ou les participants, coût du matériel de formation, etc. - Nombre d’employés formés : pour vérifier l’ampleur de la formation. Est-ce que cette formation vise beaucoup d’employés (10) ou très peu (1) ? Ce critère complète l’estimation du coût de la formation. - Formation formelle et structurée. Est-ce que cette formation est documentée, reconnue par tous ? Est-ce que cette formation dispose d’un plan de formation précisant clairement son déroulement, les étapes ? - Comportements spécifiques et observables : pour vérifier si les résultats attendus de la formation sont facilement observables et spécifiques à des situations précises. - Motivation et intérêt du client interne. Est-ce que le client interne est demandeur, intéressé par la mesure d’efficacité pour cette formation ? En voit-il l’intérêt, les bénéfices ? Est-il prêt à y participer, à se rendre disponible et à libérer des ressources ? • Si la cotation est inférieure à 5 pour un des critères, il y a un risque d’évaluer cette formation. - Si la cotation est faible pour le critère Impact de la formation, le risque est d’avoir des difficultés à justifier les bénéfices du projet mesure d’efficacité en termes d’enjeux d’affaires. - Si la cotation est faible pour les critères Coût de la formation et Nombre d’employés formés, le risque est d’avoir des difficultés à justifier les bénéfices du projet en termes financiers. - Si la cotation est faible pour les critères Formation formelle et structurée et Comportements spécifiques et observables, le risque est d’avoir des difficultés à réaliser les observations et à identifier des mesures correctives spécifiques. - Si la cotation est faible pour le critère Motivation et intérêt du client interne, le risque est d’avoir des difficultés à disposer des ressources nécessaires pour mesurer et améliorer l’efficacité de la formation, en résumé, pour mener le projet à terme. 28 Guide pour mesurer l’efficacité des formations Formation Secteur concerné Motivation et intérêt du client interne Comportements spécifiques et observables Formation formelle et structurée Nombre d’employés formés Coût de la formation Impact de la formation CHOIX DE LA FORMATION À ÉVALUER – GABARIT À COMPLÉTER Cotation 10 : Très élevé – 5 : Moyen – 1 : Très faible Décision à prendre 29 Étape 1 Faire le choix de la formation à évaluer Guide pour mesurer l’efficacité des formations Secteur concerné Coût de la formation Nombre d’employés formés Formation formelle et structurée Comportements spécifiques et observables Motivation et intérêt du client interne pour mesurer l’efficacité des formations Formation Impact de la formation Cotation 10 : Très élevé – 5 : Moyen – 1 : Très faible Préparation et nettoyage de la remplisseuse Opération 10 5 10 10 5 10 OUI Détection des fuites à l’hélium Conditionnement 5 10 10 5 10 5 OUI Usine 1 5 10 10 1 5 NON (2 critères trop faibles) Sensibilisation à la qualité Décision à prendre Si la cotation est inférieure à 5, il y a un RISQUE… …à justifier les bénéfices du projet de mesure d’efficacité en termes d’enjeux d’affaires …à justifier les bénéfices du projet de mesures d’efficacité en termes financiers …à réaliser les mesures (observations) et à appliquer les mesures correctives … à disposer des ressources nécessaires pour mesurer et améliorer l’efficacité de la formation Étape 1 Faire le choix de la formation à évaluer 30 CHOIX DE LA FORMATION À ÉVALUER - EXEMPLE Étape 2 Constituer le comité interne ÉTAPE 2 : CONSTITUER LE COMITÉ INTERNE POURQUOI CETTE ETAPE ? Raison d’être Favoriser une mobilisation et une participation active des principaux acteurs du projet dès le départ et tout au long du projet. 1. Identifier les personnes, les informer de leurs rôles, responsabilités et contributions. 2. Les sensibiliser sur les conditions de réussite du projet, en particulier la disponibilité de chacun. COMMENT FAIRE ? Avec quoi ? • Fiche guide « Rôle et composition du comité interne ». Avec qui ? • Client interne – Responsable de projet - Comité interne. Durée ? • Une rencontre – 1 heure avec le client interne. Une séance de travail – 1 heure avec le comité interne. • Présenter au client interne, le rôle, la composition et le fonctionnement du comité interne. Identifier avec lui les personnes qui devraient y participer. • Convaincre le client interne de l’importance du comité interne (condition essentielle à la réussite du projet) ET de son intérêt (organe de décision et de suivi du projet). • Constituer le comité interne dès que la formation a été choisie. • Réaliser une première rencontre avec le comité interne pour : RECOMMANDATIONS Conseils Présenter le processus, le projet et le rôle du comité interne. − Clarifier la contribution, le rôle, les responsabilités de chacun. − Informer des disponibilités à prévoir, se distribuer les tâches : communication (auprès de la direction, des employés), suivi du tableau de bord des impacts, suivi du calendrier, suivi des coûts du projet, etc. − Pièges à éviter • Le partage et la dilution des responsabilités. Dans le cas d’une formation avec des employés issus de plusieurs départements, il est essentiel de nommer un représentant des clients internes. Rappel des trois conditions de réussite importantes dans cette étape : Mise en place du comité interne - Implication des intervenants clés Disponibilité des ressources Guide pour mesurer l’efficacité des formations 31 Étape 2 Constituer le comité interne FICHE GUIDE - RÔLE ET COMPOSITION DU COMITÉ INTERNE Le rôle du comité interne • VENTE et COMMUNICATION : Promouvoir le projet au sein de l’entreprise. Faire passer l’information. Communiquer régulièrement sur les résultats et l’état d’avancement du projet. BÉNÉFICES : − Valider le choix de la formation à évaluer. − Vérifier l’intérêt du projet pour l’organisation. − S’assurer que l’organisation va en tirer des bénéfices. GESTION DES RESSOURCES : − Au début du projet, identifier les ressources nécessaires et distribuer les tâches. − En cours de projet, s’assurer que les ressources sont effectivement mises à disposition. SUIVI et BILAN : − Faire régulièrement des bilans sur l’état d’avancement. − Ajuster si nécessaire les ressources et le calendrier. − Faire le bilan du projet (investissement versus résultats obtenus). − Alerter le client et/ou la direction si les conditions ne sont pas réunies pour réussir le projet. − − − • • • Composition du comité interne Le comité interne regroupe des représentants des acteurs clés du projet : • • • Ceux qui vont fournir les moyens et décider (au niveau des opérations et de la formation) : − Directeur du département ou du service. − Représentants de la formation « au niveau central » : directeur / gestionnaire de la formation, coordonnateur de formation, conseiller formation, etc. Ceux qui interviennent directement au niveau de l’environnement du travail et au niveau de l’environnement de formation : − Superviseur, chef d’équipe. − Représentants de la formation « au niveau local » (responsable de formation, etc.) − Formateurs, compagnons impliqués dans la formation (théorique et pratique). Ceux qui pourront être sollicités pour apporter de l’information (phase ÉVALUER) ou des améliorations (phase AMÉLIORER) : − Ingénierie – Service technique – Spécialiste sur une tâche ou un équipement. − Qualité. − Santé et Sécurité – Environnement. − etc. En fonction de l’enjeu de la formation, du secteur et des personnes impliquées, il peut être important de rajouter : • • • 32 un représentant des employés; un représentant des ressources humaines; un représentant du syndicat. Guide pour mesurer l’efficacité des formations Étape 2 Constituer le comité interne Exemple de composition d’un comité interne - six personnes • • • • • • Le directeur du département – Chef conditionnement (le client interne) Un superviseur Le formateur qui réalise la formation (formation pratique sur le poste de travail) Le directeur de la formation Le coordonnateur de formation (responsable de projet) L’ingénieur Plan de travail et disponibilités à prévoir Prévoir un minimum de sept rencontres du comité interne (environ trois heures chacune). Soit environ une rencontre par mois. Rencontre n° 1 • Réaliser l’étape 2 : Constituer le comité interne. Identifier le projet (Pourquoi ?). Présenter le processus de mesure d’efficacité de la formation (Comment ?). Présenter le rôle, le fonctionnement et les responsabilités du comité interne. • Réaliser l’étape 3 : Établir la charte de projet, faire le pré diagnostic. Rencontre n° 2 • Réaliser l’étape 4 : Choisir les modalités d’évaluation. • Réaliser l’étape 5 : Préparer les outils de gestion de projet. Établir le calendrier, se distribuer les tâches pour la préparation des outils de mesure. Rencontre n° 3 • Valider l’étape 6 : Valider la préparation des outils de mesure. • Préparer l’étape 7 : Organiser la préparation des personnes, ajuster le calendrier. Rencontre n° 4 • Bilan des étapes 7 et 8 : Faire le bilan de la préparation des personnes et des deux évaluations réalisées en fin de formation (mesure des acquis et des conditions de formation). • Préparer les étapes 9, 10, 11 : Préparer la mesure du transfert, des conditions de transfert, des impacts. Préparer l’analyse des données. Rencontre n° 5 • Bilan des étapes 9, 10 et 11 : Faire le bilan des évaluations réalisées, présenter l’analyse des données et le diagnostic. • Réaliser l’étape 12 : Présenter et valider le plan d’action. Se distribuer les tâches. • Préparer l’étape 13 : Préparer la communication du diagnostic et du plan d’action (élaborer la stratégie de communication). Rencontre n° 6 • Suivi de l’étape 14 : Faire le suivi du plan d’action (améliorations réalisées). Ajuster le plan d’action, si nécessaire. Selon l’ampleur du plan d’action et des améliorations à faire, prévoir éventuellement d’autres rencontres de suivi. Rencontre n° 7 • Bilan de l’étape 15 : Bilan des améliorations et de leurs impacts. • Préparer l’étape 16 : Bilan du projet (résultats, post-mortem) et préparation de l’événement pour célébrer la fermeture du projet. 2 mois avant la formation 1 mois avant la formation 15 jours avant la formation 15 jours après la formation 2 mois après la formation À compléter si nécessaire 3 à 6 mois après la formation Guide pour mesurer l’efficacité des formations 33 Étape 3 Établir la charte du projet ÉTAPE 3 : ÉTABLIR LA CHARTE DU PROJET POURQUOI CETTE ETAPE ? Raison d’être Aligner le comité interne sur une analyse commune et partagée de la situation actuelle et de la situation souhaitée. • Cadrer le projet avec le comité interne en clarifiant : 1. Les éléments déclencheurs de la formation. 2. Les objectifs poursuivis à travers cette formation. 3. La tâche ciblée par la formation et ses conditions de réalisation. 4. Les conditions de réalisation de la formation. 5. L’analyse de la situation actuelle (points positifs et à améliorer). • Préparer le marketing du projet (nécessité et intérêt). Avec quoi ? • Gabarit « Charte de projet » à compléter. Avec qui ? • Le comité interne. Durée ? • Séance de travail – environ 1 à 2 heures. • Il est important de compléter toutes les rubriques de la charte de projet avec les membres du comité interne. • Si les employés ne sont pas représentés dans le comité interne, compléter l’analyse avec certains d’entre eux pour recueillir leur perception de la situation actuelle concernant la formation et le transfert dans le travail (points positifs et points à améliorer). • Utiliser cet exercice pour convaincre les membres du comité interne que l’amélioration d’une formation peut être faite en changeant les conditions de réalisation de la formation, mais aussi en changeant les conditions de réalisation du travail. • Une fois complétée, présenter la charte de projet à la direction. • Remplir ce document seul et le faire valider par le comité interne. • Mettre en œuvre des améliorations, après cette première analyse, sans avoir étudié leur pertinence et leur faisabilité. COMMENT FAIRE ? RECOMMANDATIONS Conseils Pièges à éviter Guide pour mesurer l’efficacité des formations 35 Étape 3 Établir la charte du projet GABARIT « CHARTE DE PROJET » - MODE D’EMPLOI • L’ordre importe peu pour compléter la charte de projet. Il est possible de faire des allers-retours d’une page à l’autre. • La charte de projet comporte quatre parties sur trois pages : − Description du projet de mesure et d’amélioration de la formation. Permet de cadrer le projet avec l’ensemble des membres du comité interne : les raisons du projet, identification du client interne, constitution du comité interne, les différents coûts à envisager, les risques ou décisions pouvant affecter celui-ci. − Description de la formation à améliorer. Permet de cadrer la formation : 1. en la situant par rapport à la/aux tâche(s) qu’elle cible (intitulé de la tâche, rapide descriptif); 2. en réalisant un rapide résumé de celle-ci : demandeur, raison d’être, durée et nombre d’années d’existence; 3. en la situant par rapport aux objectifs de performances souhaitées et constatées à ce jour autant au niveau de l’organisation (impacts) qu’au niveau des employés (performances observables). − Les deux tableaux suivants « Description des conditions de formation » et « Description des conditions de transfert » ont pour objectif : 1. de détailler les différentes conditions de la formation et du transfert; 2. d’énumérer les constats positifs et les points à améliorer relativement à ces conditions tels que perçus actuellement par les membres du comité interne (analyse de la situation actuelle). L’utilisation d’un code de couleur permet de situer visuellement les points positifs (Q noir), les points à vérifier (Q gris), les points à améliorer ({ blanc). Pour avoir plus d’explications sur ces différentes rubriques, voir à l’étape 6, les deux fiches guides sur les conditions de formation et sur les conditions de transfert. • 36 À ce moment-ci, les constats et les pistes d’amélioration évoqués sont basés sur des perceptions et non sur des preuves. Il s’agit de prendre la température auprès des membres du comité pour qu’ils partagent leurs impressions respectives et pour obtenir un portrait global de cette formation. Guide pour mesurer l’efficacité des formations Étape 3 Établir la charte du projet CHARTE DE PROJET – GABARIT À COMPLÉTER Description du projet de mesure et d’amélioration de la formation Titre du projet Pourquoi évaluer l’efficacité de cette formation ? Qui est le client interne ? Qui participe au comité interne ? Quels sont les différents coûts à envisager ? Risques / décisions qui affecteraient le projet TÂCHE Description de la formation à améliorer Intitulé Description de la tâche FORMATION Demandée par… Raisons d’être de la formation Durée Existe depuis… PERFORMANCES Souhaitées Constats actuels …au niveau de l’organisation Impacts (indicateurs mesurables) …au niveau des employés Performances observables (résultats à atteindre) Guide pour mesurer l’efficacité des formations 37 pour mesurer l’efficacité des formations Formateur Profil des formateurs Préparation Constats Pistes d’amélioration { Qui ? Comment ? Déroulement Programme Contenu Déroulement de la formation Durée de la formation { Concepteur du programme Équipements utilisés Matériel de formation Documents apprenant Documents formateur { Instruments d’évaluation Profils des employés Employés formés Pré requis à cette formation { Âge moyen Expérience sur la tâche Lieu { Logistique Horaire Code couleur (Q Noir : points positifs – Q Gris : points à vérifier – { Blanc : points à améliorer) Étape 3 Établir la charte du projet 38 Points clés DESCRIPTION DES CONDITIONS DE FORMATION Points clés DESCRIPTION DES CONDITIONS DE TRANSFERT Constats Pistes d’amélioration Nombre d’employés réalisant la tâche Complexité de la tâche Organisation du travail Fréquence de réalisation de la tâche { Conséquences si la tâche est mal faite Interférence Équipements utilisés Moyens matériel Procédure(s) mise(s) à disposition { Documentation à disposition Moyens humains Gestion Gestion du changement Support à disposition { Superviseurs impliqués { Actions réalisées pour préparer le changement { 39 Code couleur (Q Noir : points positifs – Q Gris : points à vérifier – { Blanc : points à améliorer) Étape 3 Établir la charte du projet Guide pour mesurer l’efficacité des formations (cette tâche versus d’autres tâches) Étape 3 Établir la charte du projet CHARTE DE PROJET - EXEMPLE Description du projet de mesure et d’amélioration de la formation Titre du projet Évaluation et amélioration de la formation sur la détection des fuites à l’hélium. Pourquoi évaluer l’efficacité de cette formation ? La perception de l’efficacité de la formation est plutôt négative. Les personnes ayant déjà été formées exécuteraient seulement 60 % de la tâche correctement. Qui est le client interne ? Chef conditionnement. Qui participe au comité interne ? Chef conditionnement – Responsable de la ligne de conditionnement – Superviseur – Formateur – Ingénieur industriel – Coordonnateur formation – Directeur de la formation – Expert de la détection des fuites à l’hélium. Quels sont les différents coûts à envisager ? - Coût relié aux mesures. - Coût relié à l’amélioration de la formation. Risques / décisions qui affecteraient le projet Réorganisation du service conditionnement (d’ici 6 mois) qui aura un impact sur l’attribution des ressources formation. TÂCHE Formation pour la détection des fuites à l’hélium. Description de la tâche 3 séries de tests à réaliser : test pour l’étalonnage, tests de pré production et tests en cours de production. Demandée par… Superviseur et ingénieur industriel. Raisons d’être de la formation 1 – Dysfonctionnements (rapport d’anomalie). 2 – Avoir des garanties sur la qualité des tests d’étanchéité. Durée 2 heures de formation - en 3 étapes (selon la procédure). Existe depuis… 8 ans. PERFORMANCES Intitulé FORMATION Description de la formation à améliorer 40 …au niveau de l’organisation Impacts (indicateurs mesurables) …au niveau des employés Performances observables (résultats à atteindre) Souhaités Constats actuels Réduire le coût du conditionnement : - Nombre d’opérateurs utilisés. - Durée de la tâche. - Opérateurs formés une fois - Réduire la non qualité (anomalie, documentation). - Durée de la tâche : 70 min - Qualité d’installation des équipements (étalonnage/test). - Pas d’erreur dans le numérotage des plaquettes. - 3 formulaires bien complétés. Trop de gaspillages : - 2 opérateurs au lieu d’un. - 270 min au lieu de 70 min. - Formation faite chaque mois. - Erreurs dans la détection des fuites à l’hélium. - Formulaires mal complétés. - Durée de la tâche : 270 min - Temps perdu pour corriger l’installation des équipements. - Plusieurs erreurs (destruction de produit fini et retravail). - Des oublis et des erreurs. Guide pour mesurer l’efficacité des formations Points clés DESCRIPTION DES CONDITIONS DE FORMATION Formateur Profil des formateurs Préparation Qui ? Comment ? Déroulement Programme Contenu Formateurs formés par le gestionnaire des équipements du conditionnement. Déroulement de la formation - Formation théorique : présentation de la procédure et des formulaires. - Formation pratique : démonstration, mise en situation et vérification. - Une seule personne formée à la fois. Durée de la formation Environ 2 heures par opérateur. Concepteur du programme Le gestionnaire des équipements du conditionnement avec un superviseur. Équipements utilisés Ceux nécessaire à la tâche Documents apprenant - La procédure. - Les trois formulaires à remplir. Documents formateur Plan de cours. Instruments d’évaluation Profils des employés Employés formés Opérateurs d’expérience (environ 5 ans). { Avoir déjà opéré au conditionnement. Âge moyen 40 ans. Expérience sur la tâche 8 ans en moyenne. Lieu Formation réalisée directement sur la ligne en situation de travail. Horaire Le plus tôt possible en début de campagne. Les formateurs ne se sentent assez compétents sur la tâche. Mieux préparer les formateurs. Pas suffisamment d’occasions de s’exercer la tâche (la formation doit être refaite avant chaque campagne). Trouver une solution pour organiser plus de pratiques. Difficulté à faire pratiquer cette tâche en dehors des campagnes de production. Q Test écrit en fin de formation (10 questions) – environ 10 minutes. - Employés déjà formés : les 5 opérateurs. - Employés à former : les 5 opérateurs d’ici à 2 mois. Pré requis à cette formation Logistique Q Pistes d’amélioration Test écrit à revoir pour vérifier si les points importants sont couverts. Identifier les points clés de la formation et réviser en conséquence le test de fin de formation. Ce sont les employés qui doivent être formés qui sont formés. Q Q La décision de former est prise au dernier moment (manque de planification). À revoir et à mieux structurer. Code couleur (Q Noir : points positifs – Q Gris : points à vérifier – { Blanc : points à améliorer) 41 Étape 3 Établir la charte du projet Guide pour mesurer l’efficacité des formations Matériel de formation Constats pour mesurer l’efficacité des formations Nombre d’employés réalisant la tâche Complexité de la tâche Organisation du travail Fréquence de réalisation de la tâche Conséquences si la tâche est mal faite Interférence (cette tâche versus d’autres tâches) Équipements utilisés Moyens matériel Moyens humains Gestion Gestion du changement Procédure(s) mise(s) à disposition Documentation à disposition Constats 13 opérateurs sur la ligne. Tâche complexe : calculs (pourcentage), plusieurs tests à réaliser à différents moments en cours de production. Environ 1 campagne par mois. Q Pistes d’amélioration Fréquence trop faible de réalisation de la tâche : les opérateurs n’ont pas l’occasion de s’exercer (les opérateurs oublient d’une campagne à l’autre). A identifier. Procédure complexe. Formulaires complexes. Simplifier la procédure Support trop présent des analystes. Certains opérateurs formés ne réalisent pas la tâche (manque de confiance en eux) Rendre la formation plus efficace. Difficulté pour détecter les conséquences d’une mauvaise manipulation. Pas d’interférence avec d’autres tâches. Détecteur, prise de test, aiguille, afficheur, bonbonne externe, 3 cylindres d’Hélium, panneaux de démarrage et de contrôle du détecteur, ordinateur et un moniteur. - 1 procédure (détection des fuites à l’hélium). - 3 formulaires. { Simplifier les formulaires et mieux identifier les parties à compléter par l’opérateur et par l’analyste. Manuel d’utilisation du détecteur. Support à disposition Autres opérateurs, analystes et superviseurs. Q Superviseurs impliqués Les 3 superviseurs du conditionnement. Les opérateurs les avisent (équipements défectueux ou anomalie lors des tests). Q Actions réalisées pour préparer le changement Tâche existante depuis longtemps. Q - Les opérateurs réclament l’amélioration de cette formation. - Code couleur (Q Noir : points positifs – Q Gris : points à vérifier – { Blanc : points à améliorer) Étape 3 Établir la charte du projet 42 Points clés DESCRIPTION DES CONDITIONS DE TRANSFERT Étape 4 Choisir les modalités d’évaluation ÉTAPE 4 : CHOISIR LES MODALITÉS D’ÉVALUATION POURQUOI CETTE ETAPE ? Raison d’être • Prendre connaissance du dispositif de formation proposé et l’adapter à la formation choisie et au contexte organisationnel. • Préciser les modalités de chaque évaluation à réaliser : 1. Cibler les points clés à évaluer : QUOI MESURER ? 2. Identifier les évalués : AUPRÈS DE QUI MESURER ? 3. Identifier les évaluateurs : QUI VA MESURER ? 4. Déterminer le calendrier : QUAND MESURER ? 5. Identifier les obstacles pour s’y préparer. COMMENT FAIRE ? Avec quoi ? • • Fiche guide « Le dispositif d’évaluation proposé ». Gabarit « Choix des modalités d’évaluation » à compléter. Avec qui ? • Le comité interne. Durée ? • Séance de travail - 1 heure environ. • S’assurer d’une bonne compréhension du dispositif de mesure proposé avant de l’adapter à la formation et au contexte organisationnel. • Pour chaque décision prise concernant les modalités, vérifier que chacune des évaluations sera UTILE, RÉALISTE et ACCEPTABLE. • Réaliser cette étape sans le comité interne. Le consensus du comité interne est important pour : RECOMMANDATIONS Conseils Pièges à éviter s’aligner sur les éléments recherchés (l’importance de chacun d’eux et la façon de les recueillir); − se partager les tâches; − clarifier les contributions et les responsabilités de chacun. − Rappel d’une condition de réussite importante dans cette étape : Échantillonnage des personnes à évaluer Guide pour mesurer l’efficacité des formations 43 Étape 4 Choisir les modalités d’évaluation FICHE GUIDE « LE DISPOSITIF D’ÉVALUATION PROPOSÉ » Explications sur le dispositif d’évaluation proposé - POURQUOI ? Pour qu’une formation soit efficace, il faut pouvoir répondre SUCCESSIVEMENT et POSITIVEMENT aux trois questions suivantes : 1. Est-ce que les employés ont acquis les habiletés, les connaissances et les performances visées en fin de formation ? Î ÉVALUATION DES ACQUIS en fin de formation 2. Est-ce que les employés ont pu transférer ces acquis dans leur travail, 1 à 3 mois après la formation ? Î ÉVALUATION DES ACQUIS après la formation 3. Est-ce qu’à la suite de cette formation (3 à 6 mois après), les performances organisationnelles (impacts) se sont améliorées ? Î ÉVALUATION de l’impact 3 à 6 mois après la formation FORMATION 1 OUI Question 1 - En fin de formation : Les employés ont-il acquis les habiletés, connaissances et performances visées ? NON La preuve est faite que la FORMATION est à améliorer Questionner les conditions de FORMATION Améliorer les conditions de FORMATION TRANSFERT 2 OUI Question 2 - 1 à 3 mois APRÈS la formation Les employés ont-il pu transférer ces acquis dans leur travail ? NON La preuve est faite que le TRANSFERT est à améliorer Questionner les conditions de TRANSFERT Améliorer les conditions de TRANSFERT IMPACT 3 OUI Question 3 - 3 à 6 mois APRÈS la formation À la suite de la formation, les performances organisationnelles sont-elles améliorées ? NON La preuve est faite que la FORMATION n’était pas nécessairement la seule solution au problème La formation est efficace 44 Questionner les solutions envisagées Guide pour mesurer l’efficacité des formations Revenir à l’analyse des besoins Étape 4 Choisir les modalités d’évaluation Présentation du dispositif d’évaluation proposé – COMMENT ? Le dispositif d’évaluation proposé est découpé en trois étapes et se réalise à trois moments clés : • • • en fin de formation; 1 à 3 mois après la formation; 3 à 6 mois après la formation. Le dispositif d’évaluation proposé utilise quatre outils de mesure : • • • • une grille d’observation pour évaluer les acquis en situation de travail. Cette grille d’observation va être utilisée deux fois (en fin de formation, 1 à 3 mois après la formation); un questionnaire pour recueillir les perceptions des employés sur les conditions de formation (pour questionner les conditions de formation); un questionnaire pour recueillir les perceptions des employés sur les conditions de transfert (pour questionner les conditions de transfert); un tableau de bord pour suivre les impacts au niveau des performances organisationnelles. Ce dispositif va permettre à la fois de recueillir des PREUVES et des PISTES D’AMÉLIORATION. En fin de formation 1 à 3 mois après la formation Évaluer les acquis Recueillir les perceptions en situation de travail sur les conditions de formation ÎGrille d’observation Employés / Formateur ÎQuestionnaire Formation Employés / Formateur Évaluer les acquis Recueillir les perceptions en situation de travail sur les conditions de transfert ÎGrille d’observation Employés / Superviseur ÎQuestionnaire Transfert Employés / Service formation Évaluer les impacts 3 à 6 mois après la formation (indicateurs) ÎTableau de bord Comité interne Avoir des preuves Recueillir des pistes d’amé amélioration Justifier les investissements Guide pour mesurer l’efficacité des formations 45 Étape 4 Choisir les modalités d’évaluation Présentation des 4 outils de mesure – AVEC QUOI ? Outil 1 : La grille d’observation pour mesurer les acquis en situation de travail Pourquoi cet outil de mesure ? Durée ? Quand ? Qui est évalué ? Qui évalue en FIN de formation ? Première utilisation Qui évalue APRÈS la formation ? Deuxième utilisation C’est l’outil le plus pertinent pour vérifier, sur le poste de travail, si l’employé a acquis les habiletés, connaissances et performances visées. Variable. Dépend du temps de réalisation de la tâche. Première utilisation : En fin de formation. Deuxième utilisation : 1 à 3 mois après la formation. Des employés formés. Le formateur pour : − Identifier les points forts et les points faibles de la formation. − Faire des compléments si nécessaires (compléter la formation). − Être convaincu de la nécessité d’améliorer la formation. Un superviseur pour : − Identifier les points forts et les points faibles des personnes formées. − Être convaincu de la nécessité d’améliorer la formation et/ou le transfert. Outil 2 : Le questionnaire pour évaluer les conditions de formation Pourquoi cet outil de mesure ? Durée ? Quand ? Qui est évalué ? Qui évalue ? Les organisations disposent déjà de ce type de questionnaire (smile sheet). C’est une pratique courante dans les entreprises. 10 minutes. En fin de formation. Des employés formés. Le formateur. Outil 3 : Le questionnaire pour évaluer les conditions de transfert Pourquoi cet outil de mesure ? Durée ? Quand ? Qui est évalué ? Qui évalue ? C’est l’outil le moins coûteux pour recueillir des commentaires et des propositions d’amélioration. 10 minutes. 1 à 3 mois après la fin de la formation. Des employés formés. Le service formation (personne neutre, impliquée ni dans la formation, ni dans le transfert). Outil 4 : Le tableau de bord pour évaluer les impacts sur les performances organisationnelles Pourquoi cet outil de mesure ? Durée ? Quand ? Qui évalue ? 46 Pour pouvoir s’appuyer sur des indicateurs mesurables, objectifs. Variable. En général, cette information est déjà documentée dans les tableaux de bord de gestion. Réaliser plusieurs constats en cours de projet : avant la formation, en fin de formation, après la formation (3 mois – 6 mois – 9 mois). La gestion, l’ingénierie, etc. Guide pour mesurer l’efficacité des formations Étape 4 Choisir les modalités d’évaluation GABARIT « CHOIX DES MODALITÉS D’ÉVALUATION » - MODE D’EMPLOI • Pour chacune des évaluations à réaliser, ce gabarit va permettre d’identifier : − − − − − • Les points clés à évaluer : QUOI mesurer ? les personnes à évaluer : AUPRÈS DE QUI mesurer ? Les évaluateurs : QUI mesure ? Les moments les plus appropriés pour réaliser l’évaluation : QUAND mesurer ? Les obstacles prévus pour s’y préparer. Pour la colonne « QUOI MESURER ? », voici les différentes questions à se poser : Voulons-nous évaluer les acquis de tout ou partie de la tâche ciblée ? Quels sont les acquis que nous voulons/devons évaluer ? Les habiletés (tout ou partie) ? Les connaissances (tout ou partie) ? Les performances (tout ou partie) ? − Quelles sont les conditions de formation que nous voulons particulièrement évaluer ? − Quelles sont les conditions de transfert que nous voulons particulièrement évaluer ? − Quels sont les indicateurs d’impact que nous voulons/devons évaluer ? − − • Pour la colonne « AUPRÈS DE QUI MESURER ? », il s’agit de déterminer pour chaque évaluation, s’il est utile, réaliste et acceptable de rencontrer : Tout ou partie des employés formés. − D’autres intervenants (les superviseurs par exemple). − • Pour la colonne « QUI VA MESURER ? », il s’agit de déterminer pour chaque évaluation quelles sont les personnes les mieux placées pour prendre les mesures. • Pour la colonne « QUAND MESURER ? », cela consiste à identifier le moment le plus approprié pour réaliser chacune des évaluations. • Pour la colonne « OBSTACLES ? », il s’agit d’identifier les difficultés pouvant être rencontrées pour chacune de ces évaluations afin de s’y préparer et ainsi diminuer les résistances ou éviter les obstacles éventuels. Guide pour mesurer l’efficacité des formations 47 QUOI mesurer ? pour mesurer l’efficacité des formations ACQUIS En fin de formation Transfert des ACQUIS 1 à 3 mois après la formation CONDITIONS de formation En fin de formation CONDITIONS de transfert 1 à 3 mois après la formation IMPACTS 3 à 6 mois après la formation AUPRÈS DE QUI mesurer ? QUI va mesurer ? QUAND mesurer ? Obstacles ? Étape 4 Choisir les modalités d’évaluation 48 CHOIX DES MODALITÉS D’ÉVALUATION – GABARIT À COMPLÉTER CHOIX DES MODALITÉS D’ÉVALUATION – EXEMPLE QUOI mesurer ? ACQUIS En fin de formation 100 % de la tâche – soit environ 2 heures. Les habiletés. AUPRÈS DE QUI mesurer ? Tous les employés formés. QUI va mesurer ? Le formateur. QUAND mesurer ? Obstacles ? Fin mars. Manque de préparation des formateurs pour réaliser les mesures. Les connaissances (liées aux hbiletés critiques). Les 5 performances observables au niveau des employés (cf. charte de projet). CONDITIONS de formation En fin de formation Seulement 5 employés (représentatifs) sur les 20 employés formés. Le superviseur. Fin mai. Manque de préparation et disponibilité du superviseur pour réaliser les mesures. Les 4 conditions suivantes : formateur, déroulement/contenu, matériel de formation, logistique. Avec les 20 employés formés. Le formateur. Fin mars. --- CONDITIONS de transfert 1 à 3 mois après la formation Les 5 conditions suivantes : organisation du travail, moyens matériels, moyens humains, gestion, gestion du changement. Seulement 5 employés (représentatifs) sur les 20 employés formés. Le service formation. Fin mai après la deuxième observation. Bien faire comprendre aux employés les objectifs poursuivis. IMPACTS 3 à 6 mois après la formation • Nombre d’employés réalisant la tâche. • Durée moyenne de réalisation de la tâche. • Nombre d’erreurs (formulaires). • Nombre d’anomalies. --- Superviseur et ingénierie avec le support du comité interne. • En fin de formation (fin mars 2005). • Fin avril. • Fin juin. • Fin septembre. • Fin décembre 2006. Ne pas se perdre dans les calculs et les détails (faire des estimations, visualiser les tendances). 49 Étape 4 Choisir les modalités d’évaluation Guide pour mesurer l’efficacité des formations Transfert des ACQUIS 1 à 3 mois après la formation Étape 5 Préparer les outils de gestion du projet ÉTAPE 5 : PRÉPARER LES OUTILS DE GESTION DU PROJET POURQUOI CETTE ETAPE ? Raison d’être Mettre en place des outils pour suivre le projet autant sur le plan des actions à réaliser qu’en termes de rentabilité. L’objectif est de : 1. Clarifier les étapes à suivre. 2. Clarifier les contributions de chacun dans l’atteinte du but commun. 3. Identifier et faire valider les ressources nécessaires. 4. Préparer le suivi et la communication du projet. 5. Maintenir la motivation. COMMENT FAIRE ? Avec quoi ? • • Gabarit « Calendrier du projet » à compléter. Gabarit « Analyse coûts / bénéfices » à compléter. Avec qui ? • Le comité interne. Durée ? • Séance de travail - Environ 1 heure. • Au sein du comité interne, pour chaque outil, nommer une personne responsable de son suivi et de sa révision. • Être réaliste concernant les délais, tenir compte des contraintes de gestion. • Utiliser le calendrier pour planifier à l’avance les rencontres du comité interne. • Adapter le calendrier proposé. Rajouter, si nécessaire, d’autres actions spécifiques au projet. • Dès cette étape, estimer les bénéfices souhaités. Ces éléments sont importants pour la promotion/communication du projet. • Prévoir de documenter et réviser régulièrement ces outils de gestion (à chaque rencontre du comité interne). • Rendre complexe l’utilisation de ces deux outils. L’objectif est de se donner des balises avec des estimations (délais, $). RECOMMANDATIONS Conseils Pièges à éviter Rappel d’une condition de réussite importante dans cette étape : Disponibilité des ressources Guide pour mesurer l’efficacité des formations 51 Étape 5 Préparer les outils de gestion du projet GABARIT « CALENDRIER » - MODE D’EMPLOI • Dans la colonne (« QUOI ? Activités à réaliser »), le tableau reprend les cinq sous phases et les seize étapes du processus. • Les trois colonnes suivantes sont à remplir à cette étape-ci (étape 5) : QUI ? Pour identifier les responsables pour de chaque étape. − AVEC QUI ? Pour identifier les personnes à impliquer à chaque étape. − QUAND ? Pour préciser les dates prévues de réalisation de chaque étape. − • En cours de projet, la révision du calendrier consistera à : Indiquer les dates effectives des étapes réalisées (colonne « Réalisé »). − Ajuster le calendrier pour les étapes à venir (les prévisions). − • Le suivi du calendrier est un atout pour le pilotage du projet en cours, mais aussi pour les projets à venir. Ce calendrier complété sera une référence fiable et solide pour un projet futur. GABARIT « ANALYSE COÛTS/BÉNÉFICES » - MODE D’EMPLOI • • Ce gabarit présenté dès cette étape permet au comité interne d’identifier dès le départ les éléments financiers à recueillir tout au long du projet. Ce document propose le suivi des deux éléments clés sur le plan financier : les coûts liés au projet. − les bénéfices retirés du projet. − • Le suivi des coûts va se faire au fur et à mesure des étapes réalisées (phase ÉVALUER et phase AMÉLIORER). • Au niveau des bénéfices : les trois premières colonnes (impacts souhaités, mode de calcul, bénéfices souhaités) seront complétées dès que le comité interne aura établi le tableau de bord des impacts (étape 6 – Préparer les outils de mesure). − la 4e colonne (bénéfices réalisés) et le calcul du retour sur investissement seront complétés en fin de projet, lorsque le tableau de bord des impacts sera documenté (étape 15 – Mesurer les impacts du plan d’action). − 52 Guide pour mesurer l’efficacité des formations Date de la dernière mise à jour : _____ CALENDRIER – GABARIT À COMPLÉTER QUOI ? PRÉPARER les ressources DÉFINIR le projet Activités à réaliser 1. Faire le choix de la formation à évaluer 2. Constituer le comité interne 3. Établir la charte de projet 4. Choisir les modalités d’évaluation 5. Préparer les outils de gestion du projet 6. Préparer les outils de mesure 7. Préparer les personnes QUI ? Responsable AVEC QUI ? Personnes à impliquer QUAND ? Réalisé MESURER l’efficacité ANALYSER les résultats AMÉLIORER l’efficacité 8. 9. Mesurer les acquis et les conditions de formation Mesurer le transfert et les conditions de transfert 10. Mesurer les impacts 11. Analyser les données et faire le diagnostic 12. Valider le plan d’action 13. Communiquer le diagnostic et le plan d’action 14. Réaliser le plan d’action 15. Mesurer les impacts du plan d’action 16. Communiquer et fermer le projet 53 Étape 5 Préparer les outils de gestion du projet Guide pour mesurer l’efficacité des formations Diffuser la formation DÉFINIR le projet PRÉPARER les ressources MESURER l’efficacité ANALYSER les résultats QUI ? Responsable AVEC QUI ? Personnes à impliquer QUAND ? Réalisé Février 2/2 1. Faire le choix de la formation à évaluer Chef conditionnement Directeur formation 2. Constituer le comité interne Chef conditionnement Service formation - Comité interne 3. Établir la charte de projet Comité interne 4. Choisir les modalités d’évaluation Comité interne 5. Préparer les outils de gestion du projet Comité interne 6. Préparer les outils de mesure Comité interne Formateur – Superviseurs Comité interne 7. Préparer les personnes Chef conditionnement Superviseurs - Employés Mi-mars Formateur Apprenants Fin mars Formateur Apprenants - Service formation Superviseur - Service formation 10. Mesurer les impacts Diffuser la formation AMÉLIORER l’efficacité pour mesurer l’efficacité des formations QUOI ? Activités à réaliser 8. Mesurer les acquis et les conditions de formation Mesurer le transfert et les conditions de transfert Rencontre 1 Mi-février Rencontre 1 Mi-février Rencontre 2 Fin février 12/02 12/02 25/02 Rencontre 2 Fin février 25/02 Rencontre 3 Début mars 10/03 Semaine du 10/03 Semaine du 17/3 Fin mars Rencontre 4 Semaine du 17/3 Apprenants - Formateur Fin mai Semaine du 18/5 Comité interne Superviseurs - Ingénierie Fin mai Semaine du 18/5 11. Analyser les données et faire le diagnostic Service formation Formateur - Superviseurs Fin mai Fin mai 12. Valider le plan d’action Comité interne Fin mai Rencontre 5 25/5 13. Communiquer le diagnostic et le plan d’action Chef conditionnement + Directeur formation Comité interne - Formateur – Superviseurs - Employés Début juin Semaine du 3/06 14. Réaliser le plan d’action Comité interne Service formation - Formateur – Superviseurs - Ingénierie Juin - Juillet Juin – Juillet Août 15. Mesurer les impacts du plan d’action Comité interne Superviseurs - Ingénierie Août à octobre Rencontre 6 26/08 25/10 16. Communiquer et fermer le projet Chef conditionnement + Directeur formation Comité interne - Formateur – Superviseurs - Employés Début nov. Rencontre 7 Semaine du 3/11 9. Rencontres 1 à 7 : Rencontres du comité interne. Étape 5 Préparer les outils de gestion du projet 54 Date de la dernière mise à jour : 4/11 CALENDRIER – EXEMPLE ANALYSE COÛTS / BÉNÉFICES – À COMPLÉTER Estimation des COÛTS Coûts Mode Coûts à estimer de calcul ($) Rencontres du comité interne Actions réalisées pour ÉVALUER l’efficacité de la formation Estimation des BÉNÉFICES liés aux impacts souhaités Impacts souhaités Mode de calcul Bénéfices souhaités ($) Bénéfices réalisés ($) Coût de la formation Total des bénéfices réalisés ($) Total des coûts réalisés Sur un an, le retour sur investissement est de ________ (bénéfices sur l’année / coûts du projet). 55 Étape 5 Préparer les outils de gestion du projet Guide pour mesurer l’efficacité des formations Actions réalisées pour AMÉLIORER l’efficacité de la formation Estimation des BENEFICES liés aux impacts souhaités Estimation des COÛTS pour mesurer l’efficacité des formations Coûts à estimer Mode de calcul Rencontres du comité interne 7 rencontres x 3 h comité (500 $) Coûts ($) 10.500 $ Actions réalisées pour ÉVALUER l’efficacité de la formation Coût de la formation re 1 Observation 2e Observation Questionnaire sur les conditions de transfert Tableau de bord des impacts 2 h x (1 employé + 1 formateur – 70 $) x 5 700 $ 5 employés x 2 h formateur (35 $) 350 $ 5 employés x 2 h superviseur (50 $) 5 employés x 0,5 h Formation et employés (85 $) 6 mesures x 2 h ingénierie (60 $) 500 $ Bénéfices souhaités ($) Bénéfices réalisés ($) 2 semaines opérateur / mois (2800 $) 33.600 $ 25.200 $ en 2005 1 formation (700 $) au lieu de 12 fois la formation (8 400 $) 7.700 $ / an 5.600 $ en 2005 3 formulaires bien complétés (50% à 100% qualité) 2 jours superviseurs / mois (800 $) 9.600 $ / an 4.800 $ en 2005 Réduire les anomalies / investigations (1 par an à 0 par an) 1 semaine d’investigation / an 2.400 $ / an 2.400 $ en 2005 Diminuer les coûts Réduire le nombre d’opérateurs (2 à 1) Réduire le temps de réalisation de la tâche (4 heures à 1 heure) 210 $ Formation réalisée 1 fois (au lieu d’être réalisée chaque mois) 720 $ Augmenter la qualité Actions réalisées pour AÉELIORER l’efficacité de la formation Améliorer la procédure Revoir la formation (contenu, matériel, etc.) Compléter la formation des formateurs Déplacer les machines Mode de calcul Impacts souhaités 24 h Formation et ingénierie (110 $) 2.640 $ 24 h Formateur et ingénierie (85 $) 2.040 $ 16 h Formateur et ingénierie (85 $) 1.520 $ 16 h x 2 mécaniciens (80 $) 640 $ Total des coûts réalisés Environ 20.000 $ Total des bénéfices réalisés ($) 38.000 $ en 2005 Environ 53.300 $ / an Sur un an, le retour sur investissement est de 1,9 (38.000 $ / 20.000 $). Sur trois ans (fin 2007), le retour sur investissement sera de 7,23 ((38.000 $ + 53.300 $ + 53.300 $)/20.000 $). Pour 1 $ investi, l’entreprise devrait récupérer 7,23 $ sur 3 ans. Étape 5 Préparer les outils de gestion du projet 56 ANALYSE COÛTS / BÉNÉFICES – EXEMPLE Étape 6 Préparer les outils de mesure ÉTAPE 6 : PRÉPARER LES OUTILS DE MESURE POURQUOI CETTE ETAPE ? Raison d’être • • En fonction des modalités d’évaluation choisies à l’étape 4, élaborer des outils de mesures utiles, réalistes et acceptables. Permettre aux futurs évaluateurs de s’approprier les outils de mesure qu’ils vont utiliser. COMMENT FAIRE ? Avec quoi ? • • • • • • Gabarit « Grille d’observation » à compléter. Fiche guide « Questionnaire sur les conditions de formation ». Questionnaire sur les conditions de formation (exemple). Fiche guide « Questionnaire sur les conditions de transfert ». Questionnaire sur les conditions de transfert. Gabarit « Tableau de bord des impacts » à compléter. Avec qui ? • Responsable de projet – Formateur(s) – Superviseur(s) – Comité interne. Durée ? • Grille d’observation : Environ une demi-journée de travail avec un ou plusieurs superviseur(s) et formateur(s). Questionnaire sur les conditions de formation : Environ une heure avec un ou plusieurs formateur(s). Tableau de bord des impacts et validation des quatre outils de mesure : Environ deux heures avec le comité interne. • • RECOMMANDATIONS Conseils • Élaborer les outils de mesure avec les futurs évaluateurs pour qu’ils se les approprient. • Préparer, dès cette étape, les outils pour compiler les données recueillies (fichier Excel). Voir à l’étape 11, la fiche guide « Compilation des données chiffrées ». • Tester les outils de mesure avant de les utiliser : pour valider la bonne compréhension des énoncés; pour vérifier l’obtention des informations souhaitées; − pour permettre aux évaluateurs de se pratiquer. − − Pièges à éviter • Se rendre compte trop tard que les outils de mesure ne sont pas appropriés (questions mal interprétées, inexploitables ou inutiles, support difficile à l’utilisation, etc.). Guide pour mesurer l’efficacité des formations 57 Étape 6 Préparer les outils de mesure GABARIT « GRILLE D’OBSERVATION » - MODE D’EMPLOI • Les éléments à observer au cours de la tâche sont les habiletés (H), les connaissances (C), les performances observables dès la fin de la formation (F) et les performances observables après le transfert (T). • Les habiletés (H) correspondent à la suite des actions (savoir-faire) que l’employé doit réaliser pour effectuer la tâche. • Les connaissances (C) correspondent aux savoirs critiques que l’employé doit maîtriser pour bien réaliser la tâche. • Les performances observables correspondent aux résultats (livrables) que doivent fournir les employés lors de la réalisation de la tâche. Elles sont de deux ordres : les performances observables dès la fin de la formation (F) qui dépendent d’une bonne compréhension de la formation (par exemple, un formulaire bien complété); − les performances observables après le transfert (T) qui dépendent d’une bonne compréhension de la formation, mais aussi, de pratiques répétées de cette tâche. La vitesse d’exécution d’une tâche en est le meilleur exemple. − C’est important de faire cette distinction car : − lors de la première observation, seules les performances observables dès la fin de la formation (F) seront prises en compte pour évaluer les acquis; − lors de la deuxième observation, les deux types de performances (F et T) seront prises en compte pour mesurer les acquis. • Utiliser les procédures de travail pour élaborer la grille d’observation (Procédure Opératoire Normalisée, fiche de production, aide-mémoire, etc.). Ce sont des aides précieuses, car les habiletés et les connaissances critiques sont déjà repérées dans ces documents. • Extraire du document « Charte de projet » les performances observables au niveau des employés. Les classer comme performances F ou T. Puis les situer dans la chronologie des habiletés (actions à faire). • La colonne « critères » permet d’identifier les conditions à vérifier pour juger de la conformité d’une habileté, d’une connaissance ou d’une performance produite par l’employé. Ces critères permettront d’uniformiser les observations des évaluateurs. • La grille d’observation doit être utilisée à la toute fin du processus de formation. Par exemple, si la formation est structurée en trois étapes : formation théorique, formation pratique puis parrainage. L’employé sera observé seulement à la fin de la période de parrainage. • Les colonnes « conforme » et « commentaires » seront complétées par les évaluateurs lors des observations. • En élaborant la grille d’observation avec les formateurs, ces derniers vont découvrir qu’elle peut leur être utile : AVANT la formation, pour valider le contenu de la formation; PENDANT la formation, pour structurer leur intervention, cibler les points clés. La grille d’observation peut être utilisée, tout au long de la formation comme un guide et un aide-mémoire; − À LA FIN de la formation, pour repérer les progrès réalisés et ajuster la formation. − − 58 Guide pour mesurer l’efficacité des formations Étape 6 Préparer les outils de mesure GRILLE D’OBSERVATION - À COMPLÉTER Grille d’observation utilisée en fin de formation Grille d’observation utilisée 1 à 3 mois après la formation Tâche observée : Nom/prénom de l’employé : Nom/prénom de l’observateur : Date de l’observation : Éléments maîtrisés Bilan de l’observation Éléments observés Habiletés (H1 à H__) / ____ x100 = % Connaissances (C1 à C__) / ____ x100 = % Performances observables dès la fin de la formation (F1 à F__) / ____ x100 = % Performances observables après le transfert (T1 à T__) après un temps suffisant de pratique / ____ x100 = % Commentaires : Signature de l’employé : Signature de l’observateur : Guide pour mesurer l’efficacité des formations 59 F F F F F F Étape 2 – F Conforme pour mesurer l’efficacité des formations F F F F F F F F Étape 6 Préparer les outils de mesure 60 Étape 1 – Commentaires Critères Éléments à observer Étape 6 Préparer les outils de mesure GRILLE D’OBSERVATION - EXEMPLE Grille d’observation utilisée en fin de formation. ; Grille d’observation utilisée 1 à 3 mois après la formation. Tâche observée : CHANGEMENT D’UNE ROUE DE VOITURE Nom/prénom de l’employé : André Gagnon Nom/prénom de l’observateur : Richard Côté (superviseur) Date de l’observation : 3 juin 2005 Éléments maîtrisés Bilan de l’observation Éléments observés Habiletés (H1 à H16) 13 / 16 x100 = 81 % Connaissances (C1 à C3) 2 /3 x100 = 66 % Performances observables dès la fin de la formation (F1 à F3) 2 /3 x100 = 66 % Performances observables après le transfert (T1 à T3) après un temps suffisant de pratique 0 /1 x100 = 0% Commentaires : 1/ Le serrage de la roue et le rangement des écrous est à revoir au niveau des habiletés (comment faire ?) et au niveau des explications (pourquoi faire comme ça ?) – voir avec les formateurs s’il est possible de reprendre juste cette partie là de la formation. 2/ Le temps de réalisation de la tâche est trop long (15 min au lieu de 10 min). Une fois la formation refaite avec lui, prévoir des pratiques pour améliorer la vitesse d’exécution de la tâche. En particulier au niveau du rangement (des écrous pendant le changement - des accessoires et de la roue à la fin). Signature de l’employé : Signature de l’observateur : Guide pour mesurer l’efficacité des formations 61 Conforme pour mesurer l’efficacité des formations Critères Commentaires Déclencher le chrono 1 Étape 1 – Préparation du véhicule H1 H2 Sortir le matériel (cric, manivelle et croix) et le déposer à côté de la roue à changer Sortir la roue de secours, vérifier la pression et la déposer à côté de la roue à changer ; ; Étape 2 – Retrait de la roue à changer H3 Enlever l’enjoliveur et le déposer à côté de la roue ; H4 Débloquer les écrous à l’aide de la croix ; H5 H6 F1 C1 H7 H8 H9 Installer le cric à l’emplacement prévu pour soulever la roue à retirer Actionner le cric jusqu’à ce que le bas du cric touche le sol en s’assurant qu’il soit bien placé Positionnement du cric Poser la question : Pourquoi faut-il que le cric soit placé perpendiculairement au sol ? Continuer à actionner le cric pour élever la voiture jusqu’à ce que la roue soit soulevée du sol Dévisser complètement les écrous, les retirer et les déposer dans l’enjoliveur Retirer la roue Cric positionné au bon endroit ; Cric perpendiculaire au sol sur un terrain stable ; Stable, perpendiculaire au sol ; Éviter que le cric se défausse ; Pouvoir faire tourner la roue sans qu’elle frotte sur le sol ; F ; Vérifie plusieurs fois la position du cric Les explications données sont très claires Écrous déposés à terre (risque de les perdre) Étape 6 Préparer les outils de mesure 62 Éléments à observer Critères Conforme Éléments à observer Commentaires Étape 3 – Pose de la roue de secours H10 H11 C2 F2 H13 C3 Bloquer la roue avec un pied et visser manuellement les écrous en alternant en diagonale Poser la question : Pourquoi visser les écrous en alternant en diagonale ? Rabaisser la voiture à l’aide du cric, jusqu’à ce que la roue touche le sol mais sans la bloquer complètement Les 4 écrous sont accessibles ; Verrous serrés au maximum à la main F A pris du temps pour trouver un écrou. Écrous vissés, pas dans le bon ordre Bon équilibrage du serrage F Ne comprend pas la question, ne trouve pas important d’alterner le serrage ; Position de la roue Visser les écrous complètement en alternant en diagonale et en utilisant la croix Poser la question : Pourquoi serrer la roue en deux fois ? H14 Abaisser complètement le cric et le retirer H15 Replacer l’enjoliveur F Roue mal placée Les serrer complètement F Écrous vissés mais pas dans le bon ordre Assurer un serrage optimum ; ; ; Étape 4 – Rangement H16 Ranger la roue ainsi que tous les accessoires dans le coffre F3 Rangement de la roue et des accessoires ; En place et bien fixé ; Temps chrono 1 inférieur à 10 min F Arrêter le chrono 1 T1 Temps total (du début de l’étape 1 à la fin de l’étape 4) Tâche réalisée en 15 minutes (beaucoup de temps perdu à chercher 1 écrou et lors du rangement) 63 Étape 6 Préparer les outils de mesure Guide pour mesurer l’efficacité des formations H12 Poser la roue de secours Étape 6 Préparer les outils de mesure FICHE GUIDE « QUESTIONNAIRE SUR LES CONDITIONS DE FORMATION » Introduction • • Le questionnaire sur les conditions de formation ressemble aux questionnaires couramment utilisés dans les entreprises en fin de formation (smile sheet). C’est un questionnaire à distribuer en fin de formation. Il doit être rempli facilement. Il a pour objectif de recueillir : − − le degré de satisfaction des participants; des pistes d’amélioration. Les conditions de formation Les conditions de formation ont été structurées en cinq catégories correspondant aux cinq leviers sur lesquels on peut agir pour améliorer une formation. • Le formateur : Profil et expertise du formateur − Qualités personnelles du formateur (qualités humaines et de communication) : patient, encourageant, dynamique, accueillant, etc. − Qualité pédagogique du formateur : être un guide, un soutien, donner envie d’apprendre, respecter le rythme de l’apprenant. − Qualité de la préparation du formateur. − • Le programme – Les contenus – Le déroulement : − − − − − − − − • Objectifs clairs et précis. Déroulement et chronologie de la formation. Contenus (adéquats, pas trop difficiles / pas trop faciles). Méthodes utilisées (adéquates, variées). Suffisamment d’exercices pratiques. Suffisamment d’explications. Durée de la formation. Évaluations en cours de formation (suffisantes et pertinentes). Le matériel utilisé lors de la formation : Matériel de formation (documents, manuel du participant, etc.) pertinent, approprié, de qualité. − Matériel lié au travail (procédures, formulaires, manuel d’utilisation des équipements, etc.) pertinent et approprié. − • Les autres participants : Nombre de participants adéquat. Profils des participants adéquats. − Possibilités et intérêt de l’interactivité entre les participants en cours de formation. − − • La logistique : Qualité de l’environnement formation (choix du lieu ou de la salle, disposition du lieu ou de la salle, température, clarté, bruit, etc.). − Calendrier (dates) et horaire de formation. − Formation dispensée au bon moment (ni trop tôt, ni trop tard). − 64 Guide pour mesurer l’efficacité des formations Étape 6 Préparer les outils de mesure Conseils pour le choix ou l’élaboration d’un questionnaire sur les conditions de formation Le format importe peu. Par contre, pour que cette mesure soit UTILE, RÉALISTE et ACCEPTABLE, il faut vérifier les points suivants : • • • • Le choix des questions : Identifier des questions qui couvrent les cinq conditions de formation. Attention, assurez-vous qu’une question adresse une condition de formation et une seule pour faciliter l’analyse des réponses. L’administration du questionnaire : L’administration de ce questionnaire ne doit pas dépasser 10 minutes. Par contre, prévoir des échanges avec certains employés pour faire préciser leurs réponses et commentaires (éviter de suivre de mauvaises pistes). L’anonymat : Cette condition n’est pas essentielle, mais elle peut faciliter l’expression des employés. Par contre, il sera impossible de remonter à son auteur si on veut faire préciser un commentaire. Les compléments : D’autres questions peuvent être ajoutées, mais elles ne seront pas prises en compte dans l’analyse des données à l’étape 11 : Préparation à la formation - AVANT − Bonne explication sur le POURQUOI des changements (importance, enjeu, attente de l’organisation). − Bonne explication sur le COMMENT des changements (stratégie choisie, étapes d’implantation, déroulement, suivi, etc.). − Suite de la formation - APRÈS − Possibilité de s’exercer. − Volonté de s’exercer. − Soutien des collègues – soutien de la gestion. − Mise à disposition du matériel nécessaire. − Appréciation générale − Formation utile ? − Formation intéressante ? − Conseillerait à d’autres ? − Note globale pour rendre compte de la satisfaction. − Guide pour mesurer l’efficacité des formations 65 S.V.P. faites un X dans la case reflétant le mieux votre appréciation en utilisant la cotation suivante : pour mesurer l’efficacité des formations Très peu Peu Beaucoup Assez Le formateur : S/O Est compétent. Maîtrise sa matière Les documents, matériels utilisés sont réutilisables au travail A été attentif et a su s’adapter L’environnement était propice pour se former (clarté, bruit) A été bien préparé pour donner cette formation Les objectifs de la formation ont été présentés. Le déroulement de la formation a facilité ma compréhension Les activités et méthodes utilisées ont stimulé et retenu mon intérêt La durée était appropriée (ni trop longue, ni trop courte) Matériel, environnement, calendrier de la formation Les documents, matériels utilisés ont facilité mon apprentissage A été patient, enthousiaste, clair et précis dans ses explications Le programme – Les contenus – La durée Très S/O La formation est arrivée au bon moment (ni trop tôt, ni trop tard) Intérêt et utilité de la formation Quel % du contenu de la formation a suscité votre intérêt? Quel % du contenu de la formation vous servira? Commentaires de l’apprenant : Les évaluations ont permis de vérifier ma compréhension et de compléter si nécessaire Vos commentaires permettront de hausser la qualité de la formation et de s’améliorer. Merci ! Nom de l’apprenant (facultatif) : Nom du formateur : S/O Sans objet S/O Étape 6 Préparer les outils de mesure 66 QUESTIONNAIRE SUR LES CONDITIONS DE FORMATION – EXEMPLE Étape 6 Préparer les outils de mesure FICHE GUIDE « QUESTIONNAIRE SUR LES CONDITIONS DE TRANSFERT » Les conditions de transfert ont été organisées en cinq catégories correspondant aux cinq leviers sur lesquels on peut agir pour améliorer les conditions de transfert. • Organisation du travail : Fréquence de réalisation de la tâche, temps requis pour réaliser la tâche, interférence entre cette tâche et d’autres tâches, perception par les employés des conséquences positives et négatives à bien faire ou à mal faire cette tâche, niveau de complexité de la tâche – Questions 8 – 3 – 13 – 6 – 16 – 15. • Moyens matériels mis à la disposition des employés pour réaliser la tâche : Méthodes et procédures, documentation, outils/équipements/matériels, environnement de travail – Questions 18 – 10 – 1 – 17. • Moyens humains (collègues, support technique) : Support approprié à la disposition des employés pour réaliser la tâche - Questions 7 – 14. • Gestion (encadrement) : Climat de travail, clarification des performances à atteindre et des responsabilités, qualité et cohérence du feed-back - Questions 12 – 5 - 4 – 9. • Gestion du changement : Communication pour justifier cette formation (causes, changements, etc.), acceptation de ces changements par les employés - Questions 19 – 2. Le questionnaire • Ce questionnaire a pour objectifs de recueillir auprès des employés formés : leur constat sur les moyens fournis dans l’environnement de travail pour qu’ils puissent utiliser ce qu’ils ont appris dans la formation; − des pistes d’amélioration concernant les conditions de transfert. Ce questionnaire est un document standard (à utiliser quelle que soit la formation). Il est composé de 21 questions : − • 18 questions ciblent l’évaluation des conditions de transfert; 3 questions reviennent sur la formation pour recueillir l’opinion des employés formés une fois la poussière retombée (« à froid »). Questions 11 – 20 – 21. C’est un questionnaire à distribuer après la deuxième observation. − − • Conseils avant d’utiliser le questionnaire • Vérifier si toutes les questions sont pertinentes en fonction de la tâche visée. Ajuster ou compléter si nécessaire. • L’administration de ce questionnaire ne doit pas dépasser 10 minutes. Prévoir des échanges complémentaires avec certains employés pour préciser leurs commentaires. • Choisir comme évaluateur une personne « neutre » (ni formateur, ni superviseur) pour favoriser l’expression des employés. • Tester ce questionnaire (auprès d’employés, de superviseurs, etc.) pour valider la bonne compréhension de toutes les questions. • L’anonymat n’est pas essentiel, mais cela peut faciliter l’expression des employés. Par contre, il sera impossible de remonter à son auteur si on veut faire préciser un commentaire. • Cibler un petit nombre d’employés représentatifs plutôt qu’un grand nombre d’employés nécessitant trop d’effort pour recueillir tous les questionnaires remplis. Guide pour mesurer l’efficacité des formations 67 pour mesurer l’efficacité des formations Nom / Prénom : Formation : Date : L’objectif du questionnaire est d’identifier les éléments qui ont favorisé ou empêché l’utilisation de la formation sur le poste de travail Quel bilan je fais par rapport à la tâche sur laquelle j’ai été formé ET que l’on me demande d’accomplir dans mon travail ? 0 : Pas d’accord – 1 : Plutôt en désaccord – 2 : Plutôt d’accord – 3 : Tout à fait d’accord 1. J’ai à ma disposition tous les outils de travail nécessaires pour accomplir cette tâche 0 1 2 3 2. Pendant et après la formation, j’ai accepté d’acquérir et/ou de modifier mes habitudes 0 1 2 3 3. J’ai assez de temps pour accomplir cette tâche 0 1 2 3 4. J’ai des commentaires sur mes comportements et mes résultats (positifs quand le travail est bien fait, négatifs quand il y a des améliorations à apporter) J’ai été informé de mes responsabilités et des résultats attendus pour accomplir cette tâche 5. 0 1 2 3 0 1 2 3 6. Je vois les inconvénients de mal accomplir cette tâche 0 1 2 3 7. J’ai le support nécessaire pour accomplir cette tâche (collègues, superviseur, maintenance, etc.) 0 1 2 3 8. J’ai pu accomplir plusieurs fois cette tâche 0 1 2 3 9. Faire l’inverse de ce qui est demandé n’est pas accepté 0 1 2 3 10. J’ai toute la documentation nécessaire pour accomplir cette tâche selon les attentes 0 1 2 3 Commentaires Étape 6 Préparer les outils de mesure 68 QUESTIONNAIRE SUR LES CONDITIONS DE TRANSFERT Quel bilan je fais par rapport à la tâche sur laquelle j’ai été formé ET que l’on me demande d’accomplir dans mon travail ? Commentaires 0 : Pas d’accord – 1 : Plutôt en désaccord – 2 : Plutôt d’accord – 3 : Tout à fait d’accord 0 1 2 3 12. Je considère que le climat de travail dans l’équipe est favorable pour accomplir cette tâche 0 1 2 3 13. Je peux accomplir cette tâche sans être dérangé (pas d’interférence, pas de conflits de priorité avec d’autres tâches) 0 1 2 3 14. Je peux m’améliorer à la suite de mes erreurs puisqu’on m’encourage à les corriger moi-même 0 1 2 3 15. Je trouve que cette tâche est simple à exécuter (elle n’est pas exagérément compliquée) 0 1 2 3 16. Je vois l’intérêt de bien accomplir cette tâche 0 1 2 3 17. L’aménagement de mon environnement de travail m’aide à accomplir cette tâche (température, calme,…) 0 1 2 3 18. La procédure disponible m’aide à accomplir cette tâche 0 1 2 3 19. On m’a expliqué pourquoi on faisait cette tâche (ou pourquoi on faisait ce changement) 0 1 2 3 20. J’ai reçu une formation théorique adéquate (nécessaire et suffisante) pour comprendre cette tâche 0 1 2 3 21. J’ai reçu une formation pratique adéquate (nécessaire et suffisante) pour accomplir cette tâche 0 1 2 3 69 Étape 6 Préparer les outils de mesure Guide pour mesurer l’efficacité des formations 11. J’avais ce qu’il faut pour suivre cette formation et accomplir cette tâche (qualification, formation de base, capacité physique,…) Étape 6 Préparer les outils de mesure GABARIT «TABLEAU DE BORD DES IMPACTS» - MODE D’EMPLOI Ce tableau de bord correspond au thermomètre utilisé chez le médecin pour vérifier si le patient est toujours malade. Un indicateur est un élément mesurable et significatif pour rendre compte d’une situation et refléter une tendance. Les indicateurs d’impact de la formation permettent de vérifier si les performances organisationnelles s’améliorent à la suite de cette formation. Un tableau de bord des impacts prouvant l’amélioration des performances organisationnelles est un atout majeur pour le marketing de la formation. Il permet d’estimer les bénéfices obtenus à la suite d’une formation et de les présenter à la direction. • Extraire de la charte de projet, les performances attendues déjà identifiées. • Plus les indicateurs choisis seront proches du travail des employés, plus le lien sera facile à faire avec la formation. • Certains membres du comité interne peuvent exprimer des résistances face à l’élaboration d’un tableau de bord des impacts (trop complexe, pas nécessaire, etc.). C’est un engagement et un pari à faire sur l’avenir qui nécessite du « courage ». • Pour identifier et choisir les indicateurs d’impacts, respecter les 3 conditions : UTILE, RÉALISTE, ACCEPTABLE. Nombre d’indicateurs : Deux, trois ou quatre indicateurs bien choisis peuvent suffire. − Faire simple : Favoriser des indicateurs déjà suivis par ailleurs (tableaux de bord de gestion). Ou rechercher des indicateurs dont les données seront facilement extraites. − Estimation : Rechercher des modes de calculs simplifiés pour chaque indicateur. − • Avant de réaliser la formation, déterminer le niveau initial et le niveau souhaité pour chaque indicateur. • Déterminer un calendrier de recueil des mesures d’impact. Envisager un minimum de quatre mesures pour faire le suivi des indicateurs. - En fin de formation. - Environ 2 à 3 mois après la fin de la formation. - Environ 6 mois après la fin de la formation. - Environ 9 mois après la fin de la formation. Il s’agit de trouver le meilleur compromis entre l’effort à faire pour obtenir ces données et l’intérêt d’avoir régulièrement un état de la situation. • Au sein du comité interne, identifier une personne responsable du tableau de bord des impacts (suivi, mise à jour). • La colonne « code » est révisée après chaque relevé et permet de visualiser la distance par rapport aux objectifs visés. - Q Code noir : Objectif atteint. - Q Code gris : Objectif proche. - { Code blanc : Objectif lointain. 70 Guide pour mesurer l’efficacité des formations GABARIT « TABLEAU DE BORD DES IMPACTS » - À COMPLÉTER Formation : Impacts souhaités (indicateurs) Niveau souhaité (Cible) MESURES RÉALISÉES Avant la formation Fin de formation 1 mois après la formation 3 mois après la formation 6 mois après la formation 9 mois après la formation Code { { { 71 Étape 6 Préparer les outils de mesure Guide pour mesurer l’efficacité des formations { Formation : Détection des fuites à l’hélium pour mesurer l’efficacité des formations Impacts souhaités (indicateurs) Niveau souhaité (Cible) MESURES RÉALISÉES Avant la formation Fin de formation 1 mois après la formation 3 mois après la formation 6 mois après la formation 9 mois après la formation Janvier 2005 Mars 2005 Avril 2005 Juin 2005 Septembre 2005 Décembre 2005 Code Réduire les coûts Réduire le nombre d’opérateurs pour réaliser la tâche 1 opérateur 2 1 1 1 Q Réduire la vitesse d’exécution de la tâche 70 minutes 270 min 116 min 80 min 81 min Q Diminuer le nombre de formations réalisées 1 formation par opérateur 12 formations/ opérateur en 2004 3 formations/ opérateur 3 formations/ opérateur 3 formations/ opérateur Q Augmenter la qualité des formulaires complétés 100 % des formulaires bien complétés Insatisfaisant 70 % des formulaires bien complétés 60 % des formulaires bien complétés 80 % des formulaires bien complétés { Réduire le nombre d’anomalies 0 anomalie à partir de 2005 1 anomalie en 2003 1 anomalie en 2004 0 anomalie 0 anomalie 0 anomalie Q Augmenter la qualité Étape 6 Préparer les outils de mesure 72 GABARIT « TABLEAU DE BORD DES IMPACTS » - EXEMPLE Étape 7 Préparer les personnes ÉTAPE 7 : PRÉPARER LES PERSONNES POURQUOI CETTE ETAPE ? Raison d’être Avant de réaliser les mesures, • s’assurer que toutes les personnes concernées par la formation comprennent le projet et y adhèrent; • s’assurer que toutes les personnes qui vont participer aux évaluations (évaluateurs/évalués) savent ce qu’on attend d’elles, ce qu’elles doivent faire, pourquoi et comment. COMMENT FAIRE ? Avec quoi ? • Présentation des rôles et responsabilités des intervenants dans le projet – Charte de projet – Calendrier. Avec qui ? • Responsable de projet - Comité interne – Client interne Direction – Service formation - Superviseurs - Formateurs – Employés. Durée ? • Variable selon la stratégie adoptée (réunion d’information générale, information spécifique, etc.). • Avec le comité interne, préparer un plan de communication : le pourquoi du projet (éléments déclencheurs, bénéfices attendus), les objectifs à atteindre, les étapes, le calendrier, les outils de mesure, les rôles et responsabilités de chacun, les conditions de réussite. Identifier les résistances possibles et s’y préparer. • Organiser une réunion générale pour s’assurer que toutes les personnes concernées par la formation reçoivent le même message et puissent exprimer leurs questions et préoccupations. • Préparer les évaluateurs. Leur offrir support et rétroaction : démystifier l’évaluation, proposer des simulations, les inciter à avoir une approche commune et uniforme, etc. • Prévoir un suivi particulier des évaluateurs et des évalués. S’assurer de leur compréhension et de leur engagement. • Considérer qu’un message a été compris dès la première fois. Il faut prévoir plusieurs occasions de communiquer sur le projet. RECOMMANDATIONS Conseils Pièges à éviter Rappel d’une condition de réussite importante dans cette étape : Implication des intervenants clés Guide pour mesurer l’efficacité des formations 73 Étape 8 Mesurer les acquis et les conditions de formation ÉTAPE 8 : MESURER LES ACQUIS ET LES CONDITIONS DE FORMATION POURQUOI CETTE ETAPE ? Raison d’être Recueillir des données concernant : • les acquis en fin de formation. • les pistes d’amélioration sur les conditions de formation. L’objectif est de pouvoir répondre à la première question clé : • Est-ce que les employés ont acquis les habiletés, connaissances et performances visées par la formation ? • Si non, sur quelle(s) condition(s) intervenir pour améliorer la formation : Le formateur ? Le déroulement, le programme, les contenus ? Le matériel de formation ? Les participants ? La logistique ? COMMENT FAIRE ? Avec quoi ? • Utilisation de la grille d’observation et du questionnaire sur les conditions de formation. Avec qui ? • Formateur(s) – Employés – Responsable de projet. Durée ? • • Observation : variable selon la durée de la tâche à observer. Questionnaire : prévoir 30 minutes à la fin de la formation. • À la fin de l’observation, le formateur communique les résultats de celle-ci à chaque employé. Si des éléments ne sont pas acquis, le formateur en recherche les causes avec l’employé (quels éléments ont fait défaut ?). • Réaliser l’observation avant le questionnaire. Le bilan sur les conditions de formation sera plus pertinent si chaque employé dispose des résultats de son observation. • Pendant la formation et ces deux évaluations, le responsable de projet est proche des apprenants, des formateurs et des superviseurs (pour « sentir » le climat de formation, pour recueillir les commentaires, pour soutenir les évaluateurs, etc.). • Une fois les évaluations faites, compléter au plus tôt le gabarit « Diagnostic sur les acquis en fin de formation et les conditions de formation » (cf. étape 11). • Réunir le comité interne pour leur présenter un bilan de ces deux premières évaluations. • Oublier ou trop tarder pour faire un retour des résultats obtenus aux employés évalués (résultats individuels) ou aux évaluateurs (résultats globaux). RECOMMANDATIONS Conseils Pièges à éviter Guide pour mesurer l’efficacité des formations 75 Étape 9 Mesurer le transfert et les conditions de transfert ÉTAPE 9 : MESURER LE TRANSFERT ET LES CONDITIONS DE TRANSFERT POURQUOI CETTE ETAPE ? Raison d’être Recueillir des données concernant : • Les acquis transférés dans le travail quelques mois après la formation (évaluation des acquis 1 à 3 mois après formation). • les pistes d’amélioration sur les conditions de transfert. L’objectif est de pouvoir répondre à la deuxième question clé : • Est-ce que les employés ont pu transférer ces acquis dans leur travail ? • Si non, sur quelle(s) condition(s) intervenir pour améliorer le transfert ? COMMENT FAIRE ? Avec quoi ? • Utilisation de la grille d’observation et du questionnaire sur les conditions de transfert. Avec qui ? • Superviseur (observation) – Service formation (questionnaire) – Employés – Responsable de projet. Durée ? • • Observation : variable selon la durée de la tâche à observer. Questionnaire : prévoir 15 minutes par employé. • Le superviseur communique les résultats de l’observation à chaque employé et recueille « à chaud » leurs explications et justifications en cas de non atteinte des objectifs visés. • Réaliser l’observation avant le questionnaire. Le bilan sur les conditions de transfert sera plus pertinent si chaque employé dispose des résultats de son observation. • Pendant ces deux évaluations, le responsable de projet s’assure d’être proche des employés et des superviseurs (pour « prendre la température», recueillir les commentaires, soutenir les évaluateurs, etc.). • Une fois les évaluations faites, compléter au plus tôt le gabarit « Diagnostic sur les acquis après transfert et les conditions de transfert» (cf. étape 11). • Oublier ou trop tarder pour faire un retour des résultats obtenus aux employés évalués (résultats individuels) ou aux évaluateurs (résultats globaux). RECOMMANDATIONS Conseils Pièges à éviter Guide pour mesurer l’efficacité des formations 77 Étape 10 Mesurer les impacts ÉTAPE 10 : MESURER LES IMPACTS POURQUOI CETTE ETAPE ? Raison d’être Recueillir des données concernant les impacts de la formation sur les performances organisationnelles. L’objectif est de pouvoir répondre à la troisième question clé : • À la suite de cette formation, est-ce que les performances organisationnelles se sont améliorées ? COMMENT FAIRE ? Avec quoi ? • Utilisation du tableau de bord des impacts. Avec qui ? • Comité interne. Durée ? Variable selon les indicateurs. RECOMMANDATIONS Conseils Pièges à éviter • Suivre le calendrier fixé pour recueillir les données. • Communiquer les résultats à tous les membres du comité interne. • S’alarmer si les indicateurs se dégradent. C’est un phénomène courant. On observe souvent que des changements provoquent d’abord une chute des performances avant que celles-ci s’améliorent significativement. • Ne pas chercher à prouver l’impact précis de la formation sur les performances organisationnelles. Cet exercice est extrêmement difficile, voire impossible. Il s’agit de : prouver l’amélioration des performances organisationnelles. − souligner la contribution de la formation dans ces améliorations. − Guide pour mesurer l’efficacité des formations 79 Étape 11 Analyser les données et faire le diagnostic ÉTAPE 11 : ANALYSER LES DONNÉES ET FAIRE LE DIAGNOSTIC POURQUOI CETTE ETAPE ? Raison d’être • Statuer sur l’efficacité de la formation, proposer et argumenter un plan d’action. • Préparer un document pour présenter le diagnostic et le plan d’action à soumettre au comité interne pour validation. COMMENT FAIRE ? Avec quoi ? • • • Fiche guide «Compilation des données chiffrées ». Deux gabarits « Diagnostic » à compléter. Gabarit « Plan d’action » à compléter. Avec qui ? • Responsable de projet. Durée ? • Environ une demi-journée. • Avant de compiler les données, réviser l’ensemble de l’information recueillie avec les évaluateurs pour bien la comprendre (observations et questionnaires). • Intégrer dans le diagnostic les commentaires recueillis en dehors des outils de mesure utilisés et auprès d’autres intervenants (formateurs, superviseurs, supports, direction, etc.). • Ne pas hésiter à proposer vos pistes d’améliorations (autres que celles énoncées par les employés ou les autres intervenants). • Perdre l’objectif de vue. L’analyse des données consiste à répondre précisément aux trois questions clés : 1. Est-ce que les employés ont acquis les habiletés, les connaissances et les performances visées en fin de formation (ACQUIS) ? Sinon, comment modifier les conditions de formation pour que ceci se réalise ? 2. Est-ce que les employés ont pu transférer ces acquis dans leur travail, 1 à 3 mois après la formation ? Sinon, comment modifier les conditions de transfert pour que ceci se réalise ? 3. Est-ce qu’à la suite de cette formation (3 à 6 mois après), les performances organisationnelles (impacts) se sont améliorées? Sinon, pourquoi ? RECOMMANDATIONS Conseils Pièges à éviter Guide pour mesurer l’efficacité des formations 81 Étape 11 Analyser les données et faire le diagnostic FICHE GUIDE « COMPILATION DES DONNÉES CHIFFRÉES » Première étape : Résultats pour chaque employé Pour chacun des outils de mesure, les données chiffrées sont transformées en pourcentage pour visualiser l’écart à combler par rapport à un objectif théorique de 100 %, puis elles sont regroupées pour faire ressortir les paramètres clés. • Pour la grille d’observation : Pour chaque employé, calculer un pourcentage d’acquisition pour les habiletés, les connaissances, les performances (observables dès la fin de la formation et observables après le transfert). Par exemple, si l’employé a acquis 8 habiletés sur 10, son pourcentage d’acquisition est de 80 %. • Pour les deux questionnaires : Pour chaque employé, calculer le pourcentage de satisfaction pour chacune des cinq conditions. Par exemple, si l’employé a donné respectivement une cote de 3, 2, 4, 0 aux quatre questions relatives au formateur (cotation de 0 à 4), son pourcentage de satisfaction vis-à-vis du formateur est de 56 % (moyenne de 75 %, 50 %,100 % et 0 %). Deuxième étape : Résultats pour l’ensemble des employés évalués • Pour la grille d’observation : Calculer la moyenne des pourcentages d’acquisition pour les habiletés, les connaissances, les performances (observables dès la fin de la formation et observables après le transfert). Par exemple, si les cinq employés évalués ont respectivement un pourcentage d’acquisition pour les habiletés de 60 %, 80 %, 100 %, 95 % et 65 %, le pourcentage d’acquisition des habiletés pour l’ensemble des employés sera de 80 %. • Pour les deux questionnaires : Calculer la moyenne des pourcentages de satisfaction pour chacune des cinq conditions traitées dans les deux questionnaires. Par exemple, si les cinq employés interrogés ont des pourcentages de satisfaction sur l’organisation du travail de 40 %, 80 %, 100 %, 20 % et 60 %, le pourcentage de satisfaction pour l’ensemble des employés sur l’organisation du travail est de 60 %. Troisième étape : Efficacité de la formation • • 82 Efficacité de la formation en fin de la formation : A partir des données de la première observation, calculer la moyenne des pourcentages d’acquisition des trois types d’acquis (H, C, F) pour l’ensemble des employés. Les performances observables après transfert sont retirées de ce calcul. Par exemple, si les pourcentages d’acquisition pour l’ensemble des employés sont de 95 % pour les habiletés, 75 % pour les connaissances et 90 % pour les performances observables dès la fin de la formation, l’efficacité en fin de formation est de 87 %. Efficacité de la formation après transfert : A partir des données de la deuxième observation, calculer la moyenne des pourcentages d’acquisition pour les quatre types d’acquis (H, C, F, T). Par exemple, si les pourcentages d’acquisition pour l’ensemble des employés sont de 95 % (habiletés), 70 % (connaissances), 90 % (performances observables dès la fin de la formation) et 85 % (performances observables après transfert), l’efficacité après transfert est de 85 %. Guide pour mesurer l’efficacité des formations Étape 11 Analyser les données et faire le diagnostic GABARITS « DIAGNOSTIC » - MODE D’EMPLOI • L’objectif est de visualiser l’ensemble des données chiffrées, constats, commentaires et pistes d’amélioration concernant la situation telle qu’observée et mesurée en fin de formation (sur une page) et après la formation (sur une autre page). • Le gabarit « Diagnostic sur les acquis en fin de formation et les conditions de formation » rassemble les données et l’analyse issues : de la première observation (par les formateurs); − du questionnaire sur les conditions de formation. − • Le gabarit « Diagnostic sur les acquis après transfert et les conditions de transfert » rassemble les données et l’analyse issues : − − de la deuxième observation (par les superviseurs); du questionnaire sur les conditions de transfert. Première étape : Données chiffrées • Reporter dans la partie gauche du gabarit, les données chiffrées issues de la grille d’observation : la note globale d’efficacité de la formation pour l’ensemble des employés; la note globale d’efficacité de la formation minimum et maximum (l’employé ayant réalisé le moins et l’employé ayant réalisé le plus d’acquisition en moyenne) − Les moyennes des pourcentages d’acquisition pour les habiletés, les connaissances et les performances observables. Reporter dans le tableau de droite, dans la colonne « bilan » la moyenne des pourcentages de satisfaction concernant les cinq conditions de formation et de transfert. − − • Deuxième étape : Constats sur les données chiffrées • Faire l’analyse et la synthèse de ces données et formuler les constats à tirer de celles-ci (à inscrire dans la partie gauche en bas). Troisième étape : Commentaires • Reporter les commentaires recueillis par écrit (questionnaire) ou oralement sur les conditions de formation et de transfert. Les placer sur la ligne correspondante à la condition ciblée et dans les colonnes « éléments positifs » ou « éléments à améliorer » selon leur nature. Quatrième étape : Pistes d’amélioration (actions correctives ou préventives) • Placer toutes les propositions d’amélioration identifiées par les différents intervenants sur les lignes correspondant aux conditions qu’elles ciblent. • A partir de votre analyse des données chiffrées et des constats, compléter et/ou rajouter des pistes d’améliorations. Guide pour mesurer l’efficacité des formations 83 pour mesurer l’efficacité des formations Commentaires recueillis sur les CONDITIONS DE FORMATION Les acquis EN FIN de formation : ____% Minimum : Maximum : Habiletés : Bilan ____% ____% ____% Formateur ___% Déroulement Programme Contenu ___% Matériel de formation ___% Personnes formées ___% Logistique ___% Connaissances : ____% Performances observables en fin de formation : ____% Ø CONSTATS : Éléments positifs Éléments à améliorer Pistes d’actions correctives et préventives Étape 11 Analyser les données et faire le diagnostic 84 DIAGNOSTIC SUR LES ACQUIS EN FIN DE FORMATION ET LES CONDITIONS DE FORMATION – À COMPLÉTER DIAGNOSTIC SUR LES ACQUIS EN FIN DE FORMATION ET LES CONDITIONS DE FORMATION - EXEMPLE Commentaires recueillis sur les CONDITIONS DE FORMATION Les acquis EN FIN de formation : 83 % Minimum : Maximum : Bilan 75% 100% Habiletés : 89% Connaissances : 93% Performances observables en fin de formation : 74% 88% Déroulement Programme Contenu 90% • Pas assez de pratique. • Pas assez de référence à la procédure lors des formations pratiques. Questions restées sans réponse (fonctionnement des équipements). Renforcer les connaissances des formateurs pour qu’ils apportent plus d’explications sur le fonctionnement des équipements. Formation améliorée, structurée : - Très bonne idée de voir les étapes 1 à 1 (bloc par bloc). - Présentation des formulaires. - Les explications sont suivies de pratique. Pas assez de pratique pour se sentir en confiance. Organiser plus de pratiques, mieux les cibler en fonction des besoins des employés. Tests et évaluations bien ciblés sur ce qu’il faut retenir (test, grille d’observation). Peu d’utilisation de la procédure pendant les pratiques (seulement comme référence). Explications très claires. CONSTATS : • Explications insuffisantes lors de la formation pour comprendre le pourquoi des connaissances et habiletés. Formateur disponible. Les employés se sont sentis à l’aise pour poser des questions. Éléments à améliorer Matériel de formation Personnes formées Logistique 90% Méthode des bonbonnes pas claire. Difficulté à comprendre les exposants négatifs. Incertitudes pour démarrer et arrêter les équipements. Trop d’acronymes utilisés dans les tests. Consolider le contenu de la formation : méthode des bonbonnes, exposants négatifs, démarrage et arrêts des machines, etc. Favoriser l’utilisation de la procédure pendant les pratiques. Réviser les tests concernant les acronymes. Proposer une version anglaise. 100% 65% Environnement restreint et bruyant (beaucoup de monde). Déplacer les machines dans un environnement plus calme pour les pratiques. 85 Étape 11 Analyser les données et faire le diagnostic Guide pour mesurer l’efficacité des formations Ø Formateur Éléments positifs Pistes d’actions correctives et préventives pour mesurer l’efficacité des formations Les acquis APRÈS transfert : Commentaires recueillis sur les CONDITIONS DE TRANSFERT ___% Minimum : Maximum : Habiletés : Bilan ___% ___% ___% Connaissances : ___% Organisation du travail ___% Moyens matériels ___% Moyens humains ___% Gestion ___% Gestion du changement ___% Performances observables en fin de formation : ___% Performances observables après le transfert : ___% Ø CONSTATS : Éléments positifs Éléments à améliorer Pistes d’actions correctives et préventives Étape 11 Analyser les données et faire le diagnostic 86 DIAGNOSTIC SUR LES ACQUIS APRÈS TRANSFERT ET LES CONDITIONS DE TRANSFERT- A COMPLÉTER DIAGNOSTIC SUR LES ACQUIS APRÈS TRANSFERT ET LES CONDITIONS DE TRANSFERT - EXEMPLE Commentaires recueillis sur les CONDITIONS DE TRANSFERT Les acquis APRÈS transfert : 74% Minimum : Maximum : Bilan Éléments positifs 69% 87% Habiletés : 98% Connaissances : 87% Jamais réalisé la tâche seul. Organisation du travail Pas assez de temps pour s’exercer. 90% Performances observables en fin de formation : 83% Les nouveaux formulaires sont plus clairs. Moyens matériels 85% La plaquette exemple est une bonne aide. Procédure plus facile à consulter. Ø CONSTATS : • La séquence des opérations est acquise. MAIS • Nécessité de s’exercer plus pour améliorer les performances (vitesse et qualité de l’exécution). Moyens humains 100% 80% • Besoin de consolider les connaissances (les « pourquoi »). Responsabilités clairement définies. Cohérence de la gestion. Gestion du changement 97% La tâche semble exagérément compliquée. Simplifier la tâche. La procédure manque de clarté. Cela oblige à fouiller ailleurs, trop de mots. Trop long et trop compliqué. Dans la plaquette exemple, mettre le n°1 en haut à gauche. La procédure de mise en fonction des ordinateurs n’est pas claire. Améliorer la procédure (clarifier, simplifier, rajouter des graphiques, illustrations, check-list. Valider la procédure avec des opérateurs. Bon support apporté aux opérateurs. Climat de travail satisfaisant. Gestion Établir un calendrier précis pour les pratiques en fonction du calendrier de production. Changement expliqué et accepté par les opérateurs. Jamais de commentaires (positifs ou négatifs) de la part des superviseurs concernant la réalisation de la tâche. Convaincre les superviseurs de réaliser des feed-back auprès des opérateurs formés. 87 Étape 11 Analyser les données et faire le diagnostic Guide pour mesurer l’efficacité des formations Performances observables après le transfert : 30% Éléments à améliorer Pistes d’actions correctives et préventives Étape 11 Analyser les données et faire le diagnostic GABARIT « PLAN D’ACTION » - MODE D’EMPLOI • L’objectif est de proposer un plan d’action détaillé pour améliorer l’efficacité de la formation en faisant apparaître : des actions correctives ou préventives autant au niveau des conditions de formation que des conditions de transfert; − des responsables pour mettre en place et suivre chacune des actions envisagées; − un ordre de réalisation de ces actions (chronologie); − un calendrier (délais de réalisation). − Première étape : • Reporter dans la colonne « actions correctives et préventives » les pistes d’améliorations identifiées dans les deux gabarits « diagnostic ». • Proposer pour chacune d’elle un responsable, un ordre et un délai de réalisation. Deuxième étape : • 88 En fonction des améliorations envisagées, statuer sur l’intérêt de supprimer ou de maintenir tout ou partie du dispositif d’évaluation. Guide pour mesurer l’efficacité des formations PLAN D’ACTION – À COMPLÉTER MESURES Responsables Ordre Délais Réalisé Formateur Déroulement Programme Contenu Matériel de formation Personnes formées Logistique Organisation du travail Moyens matériels Moyens humains Gestion Gestion du changement Fin de formation Après la formation Impacts 89 Étape 11 Analyser les données et faire le diagnostic Guide pour mesurer l’efficacité des formations Conditions de TRANSFERT Conditions de FORMATION Actions CORRECTIVES et PREVENTIVES à réaliser Formateur Déroulement Programme Contenu Matériel de formation Conditions de TRANSFERT • Compléter la préparation des formateurs sur les connaissances critiques (fonctionnement des équipements). • Organiser plus de pratiques et mieux les cibler sur les besoins des employés. • Consolider le contenu de la formation : méthode de test, exposant négatifs, démarrage et arrêt des équipements. • Favoriser l’utilisation des procédures pendant les pratiques. • Réviser les tests (moins d’acronymes). • Proposer une version anglaise. Responsables Ordre Délais Ingénierie 4 15 juil. 3 20 juin Formateurs avec l’ingénierie 3 20 juin Formateurs avec le service formation 3 3 4 20 juin 20 juin 15 juil. Superviseurs avec les formateurs 5 15 juil. 3 1 20 juin 10 juin 2 5 17 juin 15 juil. Formateurs Personnes formées Logistique Organisation du travail MESURES pour mesurer l’efficacité des formations Conditions de FORMATION Actions CORRECTIVES et PREVENTIVES à réaliser Moyens matériels • Établir un calendrier précis pour les pratiques en fonction du calendrier de production. • Dans la plaquette exemple, mettre le n° 1 en haut à gauche. • Améliorer la procédure (simplifier les étapes, clarifier le vocabulaire, apporter plus d’explications, préciser le démarrage des équipements). • Valider la révision de la procédure avec des opérateurs. • Déplacer les machines dans un environnement plus calme pour les pratiques. Superviseurs avec le soutien du service formation Moyens humains Gestion Gestion du changement Fin de formation Après la formation Impacts • Réaliser des feed-back auprès des opérateurs formés (faire des commentaires aux employés sur la qualité de leur prestation). Superviseurs • Réaliser de nouveau une mesure des acquis lors de la prochaine formation. Comité interne 6 miaoût • Prolonger la mesure des impacts (6 mois de plus). Comité interne 7 Fin déc. Réalisé Étape 11 Analyser les données et faire le diagnostic 90 PLAN D’ACTION - EXEMPLE Étape 12 Valider le plan d’action ÉTAPE 12 : VALIDER LE PLAN D’ACTION POURQUOI CETTE ETAPE ? Raison d’être • Présenter le plan d’action au comité interne, le valider. • Présenter le plan d’action à la direction, le valider. • Obtenir l’engagement du client interne, de la direction pour disposer des ressources et des disponibilités nécessaires à sa réalisation. COMMENT FAIRE ? Avec quoi ? • Gabarits « diagnostic », « plan d’action » et « tableau de bord des impacts » complétés. Avec qui ? • Comité interne – Direction. Durée ? • • Une séance de travail avec le comité interne – Environ 2 heures. Une rencontre avec la direction – Environ 1 heure. • Être précis sur les actions et les personnes responsables pour obtenir des engagements clairs. • Avant de présenter le plan d’action, présenter le diagnostic et le tableau de bord des impacts et s’assurer de leur bonne compréhension. • Si les actions ou délais proposés ne paraissent pas réalistes (en fonction des contraintes ou autres projets de l’organisation), challenger le comité interne et/ou la direction. • Proposer de maintenir tout ou partie du dispositif d’évaluation (mesures), tant que les objectifs de la formation ne sont pas atteints. • Ajuster le plan d’action proposé : - en fonction des commentaires et suggestions. - en fonction de la disponibilité des ressources. • Tenir pour acquis la compréhension et l’engagement des intervenants vis-à-vis du plan d’action proposé. RECOMMANDATIONS Conseils Pièges à éviter Rappel des trois conditions de réussite importantes dans cette étape : Disponibilité des ressources – Loi de Pareto pour les améliorations – Durée limitée du dispositif d’évaluation Guide pour mesurer l’efficacité des formations 91 Étape 13 Communiquer le diagnostic et le plan d’action ÉTAPE 13 : COMMUNIQUER LE DIAGNOSTIC ET LE PLAN D’ACTION POURQUOI CETTE ETAPE ? Raison d’être Présenter le diagnostic et le plan d’action à tous les intervenants impliqués directement ou indirectement par la formation et les améliorations envisagées. COMMENT FAIRE ? Avec quoi ? • Diagnostic et plan d’action validés par le comité interne. Avec qui ? • Responsable de projet - Comité interne – Client interne Direction – Superviseurs – Formateurs - Service formation – Employés concernés – Experts. Durée ? • Variable selon la stratégie de présentation choisie. • Avec le comité interne, préparer la présentation du diagnostic et du plan d’action (choix de la stratégie de présentation, structure de la présentation, points clés à souligner, etc.). Identifier les résistances possibles et s’y préparer. • Mettre « sur la tribune » les intervenants clés qui ont contribué à l’élaboration du diagnostic et qui sont convaincus de la pertinence du plan d’action. En tant que responsable de projet, apporter son soutien pour les aider à mettre en avant leur conviction et leur contribution (passée et future). • Lors de la présentation, mettre en avant les bénéfices déjà obtenus via la formation réalisée et les bénéfices encore attendus à la suite du plan d’action envisagé. • Prendre date avec les personnes rencontrées pour rendre compte de l’avancement et des résultats obtenus. • Oublier d’informer et de mobiliser des intervenants clés. RECOMMANDATIONS Conseils Pièges à éviter Rappel d’une condition de réussite importante dans cette étape : Implication des intervenants clés Guide pour mesurer l’efficacité des formations 93 Étape 14 Réaliser le plan d’action ÉTAPE 14 : RÉALISER LE PLAN D’ACTION POURQUOI CETTE ETAPE ? Raison d’être Implanter les améliorations envisagées selon le plan d’action défini. COMMENT FAIRE ? Avec quoi ? • Plan d’action validé par le comité interne et la direction. Avec qui ? • Comité interne et les responsables identifiés dans le plan d’action. Durée ? • Variable selon les améliorations envisagées. • Tenir à jour et réaliser un suivi serré du plan d’action : RECOMMANDATIONS Conseils Avec le comité interne, prévoir des réunions pour en contrôler sa bonne réalisation − En cas de décalage, rechercher les explications et l’ajuster si nécessaire. − Pièges à éviter • Rendre compte régulièrement de l’avancement et des résultats obtenus à la direction et dans les services concernés. • Réduire l’engagement du service formation. La crédibilité de l’ensemble du projet se joue à cette étape. Le rôle du service formation consiste à maintenir l’engagement de tous pour que les actions correctives et préventives soient effectivement mises en œuvre. Guide pour mesurer l’efficacité des formations 95 Étape 15 Mesurer les impacts du plan d’action ÉTAPE 15 : MESURER LES IMPACTS DU PLAN D’ACTION POURQUOI CETTE ETAPE ? Raison d’être Vérifier l’atteinte des objectifs d’amélioration des performances organisationnelles. COMMENT FAIRE ? Avec quoi ? • Tableau de bord des impacts. Avec qui ? • Comité interne. Durée ? • Variable selon la stratégie choisie. • Faire respecter les engagements pris dans le tableau de bord des impacts (indicateurs à suivre et dates pour faire les mesures). • Faire valoir le chemin déjà parcouru et le chemin restant à parcourir pour maintenir la motivation et l’engagement de tous. • Ne pas chercher à « prouver » l’impact précis de la formation mais souligner sa contribution aux bénéfices obtenus. • Modifier d’une fois à l’autre le mode de calcul ou la façon de recueillir les données chiffrées pour les indicateurs. La force du tableau de bord est de refléter des tendances par rapport à des indicateurs mesurables et significatifs. Il faut que leurs modes de calcul soient toujours les mêmes. • Lorsque les objectifs visés sont atteints, abandonner le recueil des données dans le tableau de bord des impacts. Il est important de s’assurer dans le temps, du maintien des performances organisationnelles. RECOMMANDATIONS Conseils Pièges à éviter Guide pour mesurer l’efficacité des formations 97 Étape 16 Communiquer et fermer le projet ÉTAPE 16 : COMMUNIQUER ET FERMER LE PROJET POURQUOI CETTE ETAPE ? Raison d’être • • Annoncer la fermeture du projet et l’atteinte des objectifs poursuivis. Reconnaître l’engagement, la contribution et les efforts réalisés par les différents intervenants et les féliciter « publiquement ». COMMENT FAIRE ? Avec quoi ? • Charte de projet, calendrier, diagnostic, plan d’action et tableau de bord des impacts documentés. Avec qui ? • Comité interne – Client interne - Direction – Superviseurs – Formateurs - Service formation – Employés – Experts. Durée ? • Variable selon la stratégie envisagée. • Avec le comité interne, réaliser un bilan du projet (post-mortem). L’objectif est de tirer les enseignements de ce projet et de les communiquer au bénéfice de projets à venir. Plusieurs points peuvent être évoqués : travail d’équipe, collaboration interservice, pertinence des outils, stratégie de gestion de projet, stratégie de gestion de projet, etc. • Solliciter le comité interne pour préparer l’annonce. Être créatif pour monter un événement à la hauteur des résultats attendus et obtenus. • Lors de l’événement, mettre sur la tribune les intervenants clés qui ont contribué au projet et à sa réussite. • S’assurer d’obtenir l’implication de la direction pour organiser cet événement et être présente pour féliciter et reconnaître les contributions de chacun. • Ne pas reconnaître les efforts et la contribution d’un ou de plusieurs intervenants. La re-mobilisation des personnes sur de nouveaux projets dépend de la capacité d’une organisation à reconnaître les succès et la contribution de chacun dans l’atteinte de ceux-ci. RECOMMANDATIONS Conseils Pièges à éviter Guide pour mesurer l’efficacité des formations 99 ">

Public link updated
The public link to your chat has been updated.