AGEFOS-PME Guide d'évaluation Mode d'emploi

Guide pour aider à l’évaluation
des actions de formation
Pourquoi évaluer ?
L’évaluation constitue la dernière étape du service d’ingénierie que le conseiller de
l’AGEFOS PME Bretagne peut apporter à l’entreprise dans le cadre de la mise en œuvre
de son plan de formation.
L’apport d’un conseil à ce niveau doit constituer aujourd’hui une des exigences de
l’activité du conseiller. Se préoccuper des résultats de la formation, des effets produits
dans l’entreprise, s’inscrit en effet dans la volonté d’AGEFOS PME d’accompagner
l’entreprise dans tous les actes qui relèvent du processus de formation.
. Lorsque le conseiller a guidé l’entreprise dans l’élaboration de son plan de formation, le
montage d’un dossier de financement et la rédaction de(s) cahier(s) des charges pour
l’achat de la formation, il est souhaitable qu’il se préoccupe des résultats : il y va de la
cohérence et du sens de son action.
La démarche d’évaluation a des vertus pédagogiques, démonstratives : la méthodologie
développée permet au conseiller d’enrichir ses compétences en ingénierie et de
développer des argumentaires pour sensibiliser les entreprises aux étapes d’ingénierie.
De plus, la direction et les instances paritaires de l’Agefos-PME sont en droit de se
préoccuper des résultats des actions de formation auxquelles la structure a accordé un
financement.
. Les chefs d’entreprises veulent savoir si l’effort consenti – au plan financier mais aussi
organisationnel – a effectivement produit des résultats ; si les compétences visées par la
formation et nécessaires à l’atteinte de leurs objectifs, sont effectivement disponibles.
C’est également l’ensemble des acteurs de l’entreprise qui sont concernés par cette
opération : les Responsables hiérarchiques, les salariés formés, les DP et le CE. Le fait
de se préoccuper de l’évaluation des actions de formation contribue à donner de la
cohérence à la politique de l’entreprise en matière de gestion des ressources humaines,
à renforcer l’importance accordée au développement des compétences et à reconnaître
le rôle de la formation.
AGEFOS- PME BRETAGNE 2009
1
. Enfin les pouvoirs publics, dans le cadre des programmes d’aide - EDDF, FSE par
exemple - doivent pouvoir disposer d’informations précises sur l’utilité (résultats
effectivement produits) des financements accordés. On constate en effet que cette
préoccupation porte de plus en plus sur des aspects qualitatifs, c’est à dire sur les
compétences nouvellement acquises et mobilisées dans les entreprises.
C’est donc l’ensemble des acteurs qui sont intéressés par le développement de
pratiques d’évaluation de la formation dans les entreprises. Et l’Agefos-PME a un rôle
moteur à jouer sur ce point.
Des cibles prioritaires sont à définir par les différentes Agefos-PME : par exemple les
actions ayant fait l’objet de financements de la part de l’OPCA ; les actions collectives,
les plans de formation ayant bénéficié de financements publics.
Dans la mise en œuvre de ce service aux entreprises, il ne faut pas oublier qu’évaluer
ne constitue pas une fin en soi. Evaluer doit engager un effet de rétroaction sur les
pratiques et les compétences des conseillers : l’évaluation bien conduite est formative,
pour le conseiller et pour l’entreprise. L’évaluation doit en effet amener l’entreprise à
prendre des décisions en vue d’améliorer les différentes phases du processus de
formation : l’analyse des besoins, l’élaboration du plan de formation, les procédures
d’achat, le pilotage du plan de formation...
Ce guide a pour but d’aider le conseiller à accompagner l’entreprise dans cette
démarche. Il est plus particulièrement conçu pour évaluer les formations « sur mesure »,
les « actions-clés » ou particulièrement stratégiques du plan de formation de l’entreprise.
Qui doit évaluer ?
C’est l’entreprise qui doit être en mesure d’apprécier les résultats et les effets du plan de
formation qu’elle a mis en place.
Mais c’est le conseiller de l’AGEFOS-PME, dans le cadre de sa mission de conseil, qui
doit guider l’entreprise au plan méthodique, proposer des outils à ses interlocuteurs et
les aider à interpréter les résultats.
En dernier ressort, il aide l’entreprise à tirer des enseignements de cette opération et à
prendre des mesures en vue d’améliorer l’élaboration et la mise en œuvre de son plan
de formation.
Quoi évaluer ?
AGEFOS- PME BRETAGNE 2009
2
Quand on se propose d’évaluer la formation, il est nécessaire d’abord de préciser ce que
l’on veut évaluer exactement, autrement dit de délimiter son objet.
On peut en effet évaluer plusieurs dimensions de la formation :
la pertinence du choix d’une action au regard des besoins de l’entreprise ?
la conformité de l’action mise en place au regard de ce qui a été acheté ?
les acquis des formés à l’issue de la formation ?
les résultats en terme d’efficacité : les compétences effectivement mobilisées dans
l’entreprise ?
les effets indirects de la formation dans l’entreprise.
L’outil ne se propose pas de répondre à l’ensemble de ces points. Il se propose d’aider
l’entreprise à faire le point sur :
le déroulement des actions de formation : sont-elles conformes avec ce qui était
prévu, ce qui a été acheté ?
les résultats obtenus en termes de compétences professionnelles effectivement
mobilisés
les effets indirects et l’impact du plan de formation dans l’entreprise.
Comment évaluer ?
Pour évaluer une action - son déroulement, les résultats produits - il est nécessaire de
disposer d’un cadre de référence c’est à dire du modèle auquel on va se référer et
comparer les résultats atteints. Autrement dit, il est nécessaire de bien mettre en lumière,
de façon très précise, quels étaient les objectifs poursuivis et les résultats attendus par
l’entreprise.
Au plan méthodique, il ne peut y avoir évaluation si l’on ne pose pas d’abord le cadre de
référence.
C’est dire combien l’évaluation est dépendante des phases d’élaboration du plan de
formation et des actes d’ingénierie : on peut difficilement évaluer si les objectifs et les
résultats recherchés n’ont pas été précisés et surtout formalisés.
Pour chaque objet à évaluer on va devoir par conséquent mettre en lumière :
- d’une part le référentiel que l’on va utiliser. Ce cadre de références sera re-construit à
partir de plusieurs sources : éléments de la politique de formation et du plan de
formation, cahiers des charges correspondants aux actions à évaluer, programmes et
projets de formation des Organismes de formation, fiches de postes ou référentiels
métier s’il y a lieu …
- d’autre part les informations concernant les réalisations de formation et les résultats
obtenus en termes de compétences, ainsi que les conditions de mise en œuvre de
ces compétences
AGEFOS- PME BRETAGNE 2009
3
C’est la mise en regard de ces deux paramètres qui conduira à produire une évaluation
c’est à dire à statuer sur les résultats en termes de conformité, d’efficacité, de
cohérence.
En dernier lieu, les constats effectués doivent être interprétés avec l’entreprise de façon
à en tirer des enseignements pour les actions futures.
A quel moment est-il pertinent d’évaluer ?
Le moment où l’on va procéder à l’évaluation constitue un facteur important. Il
est à déterminer en fonction de ce que l’on cherche à évaluer.
. S’il s’agit de vérifier la conformité de l’action de formation réalisée avec ce
qui a été prévu (et donc acheté), l’opération peut être conduite en cours et en fin
de formation
Le volet 1 du guide peut être appliqué dès la fin de l’action de formation.
. S’il s’agit d’évaluer les résultats en termes de compétences nouvelles mobilisées par
les salariés formés, un délai est à respecter après la formation
La pertinence de ce délai est à apprécier en fonction de la nature de la formation
effectuée :
Exemples :
♦ pour des formations à l’utilisation d’outils (bureautique ; chariots élévateurs...) les
résultats peuvent être rapidement observés à un mois environ... (à condition, bien
entendu, que les salariés aient l’outil à leur disposition).
♦ pour des formations au management ou ayant une dimension culturelle, le délai pour
la constitution des compétences est plus long : 3 à 6 mois, voire plus.
Le volet 2 du guide est à appliquer plutôt en différé.
. S’il s’agit d’apprécier l’impact et les effets du plan sur l’entreprise, il est nécessaire bien
entendu, que l’ensemble des actions prévues soient réalisées, mais il faut aussi laisser
au temps la possibilité de produire les effets escomptés, voire des effets indirects.
Le volet 3 du guide est à appliquer selon des délais variables (selon l’ampleur et le
contenu du plan) ; il peut s’appliquer en même temps que le volet 2.
AGEFOS- PME BRETAGNE 2009
4
Plan du guide
Cet outil est composé de trois volets :
Volet 1
« Evaluation des prestations de formation réalisées » :
étude de la conformité des actions réalisées avec ce qui était prévu (conformité par
rapport au cahier des charges et au projet présenté par l’organisme de Formation).
Volet 2
« Evaluation des résultats dans l’entreprise » :
compétences nouvelles effectivement mobilisées par les salariés formés.
Volet 3
« Impacts et effets du plan de formation sur l’entreprise.
Les trois volets peuvent être utilisés séparément ou en totalité. C’est au conseiller
d’estimer au cas par cas de la pertinence de l’application de telle ou telle partie de l’outil
dans une entreprise donnée.
AGEFOS- PME BRETAGNE 2009
5
Volet 1
Evaluation des prestations de formation réalisées
Etude de la conformité des actions réalisées avec ce qui était prévu.
Les documents auxquels il convient de se référer pour évaluer la prestation réalisée
sont : le cahier des charges, le projet de formation de l’OF, la convention signée avec
l’OF, et s’il y a lieu, les documents de suivi comme le tableau de bord du plan de
formation (cf guide pour aider l’entreprise à piloter le plan de développement des
compétences)
Mode d’emploi
La grille présentée ci-après sert de fil conducteur pour conduire un entretien.
et de trame pour formaliser les constats avec le responsable de l’entreprise.
L’interlocuteur peut être le chef d’entreprise ou le responsable concerné par la ou les
actions évaluées. On utilisera une grille par action de formation.
Avant l’entretien
Le conseiller commence à formaliser le référentiel d’évaluation : en fonction des
informations dont il dispose, il remplit la deuxième colonne de la grille « ce qui était
prévu «
La troisième colonne – « ce qui a été réalisé » - sera renseignée au cours de l’entretien
avec l’interlocuteur.
Pendant l’entretien
Dans un premier temps, il s’agira de compléter et valider le cadre de référence,
c’est à dire le contenu de la deuxième colonne. Puis de remplir la troisième
colonne.
L’exploitation de cette grille avec le responsable de l’entreprise doit permettre d’organiser
les échanges de façon méthodique (en suivant les indicateurs) et conduire à se poser les
bonnes questions afin de dégager les améliorations à mettre en place :
concernant la formalisation de l’acte d’achat de la formation :
- le contenu du cahier des charges,
- le projet de formation de l’OF.
concernant le pilotage en interne du plan de formation.
AGEFOS- PME BRETAGNE 2009
6
Plusieurs cas de figure peuvent apparaître :
La colonne « ce qui était prévu » a été difficile à remplir car les opérations d’achat ont
été insuffisamment formalisées. L’écart, entre le prévu et le réalisé, ne peut donc être
effectué. Mais ce travail de mise en lumière peut contribuer à alerter l’entreprise sur
les inconvénients d’une telle pratique et donc à le sensibiliser aux pratiques
d’ingénierie.
Les 2 colonnes « ce qui était prévu » et « ce qui a été réalisé » sont aisées à remplir :
il y a eu formalisation de l’acte d’achat et l’entreprise a bien suivi la mise en œuvre de
la formation. Il est donc possible d’évaluer, de vérifier la conformité de ce qui était
prévu avec ce qui a été réalisé.
La colonne « ce qui était prévu » est bien renseignée, mais la colonne « ce qui a été
réalisé » est très difficile à remplir avec l’entreprise : ce qui démontre qu’il n’y a pas
eu de véritable suivi du plan. On se posera alors, avec l’interlocuteur une série de
questions :
il y a-t-il eu suivi avec l’OF ?
il y a-t-il eu entretien entre la hiérarchie et les salariés après leur formation ?
A la fin de l’entretien
Il est important de laisser une trace à l’entreprise : le conseiller peut remettre à son
interlocuteur le tableau rempli en commun ; ou bien il s’engage à lui adresser après
l’avoir finalisé.
AGEFOS- PME BRETAGNE 2009
7
Evaluation des prestations formation réalisées
Intitulé de la formation :
Indicateurs
ce qui était prévu
ce qui a été réalisé
• Equipement – matériel
pédagogique
• Identité et profil du
formateur
• Calendrier
• Documentation
supports pour les
stagiaires
• Contenu du programme
• Méthodes
pédagogiques
• Coût
• Conditions matérielles
• Profil des stagiaires
• Evaluation des acquis
par l’OF
AGEFOS- PME BRETAGNE 2009
8
Evaluation des prestations formation réalisées (exemple)
Intitulé de la formation : Exemple d’une formation au logiciel Excel
Indicateurs
ce qui était prévu
• Equipement – matériel
pédagogique
un poste par personne
• Identité et profil du
formateur
Mme X
• Calendrier
12-13 février
5 mars 2008
• Documentation
supports pour les
stagiaires
• Contenu du programme
Un classeur
• Méthodes
pédagogiques
• Coût
• Conditions matérielles
• Profil des stagiaires
• Evaluation des
acquis par l’OF
AGEFOS- PME BRETAGNE 2009
ce qui a été réalisé
Démonstration, exercices
application directe à des cas
des stagiaires
400 euros/stagiaire
Locaux de l’OF repas
compris
Secrétaires administratives et
commerciales.
Niveau BAC
Tests en fin de stage,
résultats remis aux stagiaires
9
Volet 2
Evaluation des résultats dans l’entreprise
Identification des compétences nouvelles mobilisées par les salariés formés
Les documents auxquels il convient de se référer pour évaluer les compétences
nouvelles mobilisées sont : le cahier des charges, le projet de formation de l’OF, ainsi
que les fiches de postes ou référentiels métier, s’ils existent et s’ils ont été mentionnés
par l’entreprise au moment de la rédaction du cahier des charges.
Mode d’emploi
La grille proposée sert de cadre pour conduire l’investigation avec l’entreprise, formaliser
les constats et réfléchir avec le responsable sur les résultats obtenus.
L’interlocuteur doit être, dans tous les cas, le responsable encadrant les salariés formés.
Avant l’entretien
Le conseiller commence à remplir les deux premières colonnes du tableau (compétences
visées, indicateurs de résultat) en fonction des informations dont il dispose : recueillies
dans le programme de formation de l’OF, le cahier des charges.
L’important est d’être précis sur les compétences visées par la formation et sur les
indicateurs de résultat, c’est-à-dire sur ce qui va permettre de constater que la
compétence est effectivement produite.
Pendant l’entretien
Dans un premier temps il s’agira de bien se mettre d’accord sur le cadre de référence :
en l’occurrence la définition des compétences visées.
Puis à faire exprimer au responsable de l’entreprise les résultats constatés, en termes
d’activités et de compétences.
Souvent les interlocuteurs de l’entreprise ont de la difficulté à préciser les résultats, et
surtout à trouver des indicateurs (cas où la deuxième colonne du tableau est difficile à
renseigner parce que les indicateurs n’étaient pas précisés en amont).
C’est parfois un exercice difficile pour un responsable ; il faut l’amener à donner des
exemples précis concernant les tâches et activités. Quelques exemples de questions
que vous pouvez poser :
Les salariés ont-ils acquis les compétences souhaitées ? pouvez-vous les décrire ?
Quel est le résultat obtenu ? ou quels résultats observez-vous ?
Concrètement, que font-ils maintenant qu’ils ne faisaient pas avant ?
AGEFOS- PME BRETAGNE 2009
10
Ont-ils été aidé dans ces nouvelles tâches ? comment ? quels moyens avez-vous mis
en place ?
Si les résultats vous semblent insatisfaisants, quelles en sont les causes ?
Exemples de causes possibles
♦ Le temps insuffisant pour que les salariés puissent mettre en pratique ?
♦ Le contenu de la formation elle-même ? : pré-requis nécessaires non précisés ?
♦ Les outils, matériels, moyens, non mis à disposition des salariés dans l’entreprise
à leur retour de formation ?
♦ L’organisation du travail inchangée ?
♦ Le rôle de l’encadrement ? quel accompagnement du salarié après sa formation ?
♦ La motivation insuffisante des salariés ? quelle a été leur information, leur
préparation en amont ?…
Ce questionnement sur les résultats ou l’insuffisance des résultats permettra de
renseigner la 4ème colonne de la grille du volet 2 « commentaires », dont le but est de
tirer des enseignements en vue d’améliorer les pratiques.
A la fin de l’entretien
Soit le tableau rempli est laissé directement à l’entreprise, ou bien le conseiller se
propose de le mettre en forme en fonction de ce qui aura été décidé avec son
interlocuteur, et de le lui retourner dans les jours qui suivent.
AGEFOS- PME BRETAGNE 2009
11
Intitulé de la formation :
Compétences visées
AGEFOS- PME BRETAGNE 2009
Indicateurs de résultats
Résultats observés par l’entreprise
Commentaires
12
Intitulé de la formation : exemple d’une formation aux techniques du management, pour cadres intermédiaires nouvellement promus
Compétences visées
Indicateurs de résultats
-
Résultats observés par l’entreprise
Commentaires
affichage de l’ordre du
Conduire une réunion avec son équipe jour
- indication de l’heure
de début et de fin
- gestion du temps entre
l’information descendante et
ascendante, l’organisation des
échanges …
- rédaction d’un compterendu
- relevé de décisions
communiqué à l’équipe
Conduire un entretien annuel avec
chaque membre de son équipe
AGEFOS- PME BRETAGNE 2009
- information donnée
aux salariés en amont
- document préparatoire
pour le salarié
- rédaction des constats
- rédaction des décisions
des objectifs, des moyens
13
Volet 3
Impacts et effets du plan de formation sur
l’entreprise
Quels sont les effets du plan sur l’ensemble de l’entreprise ?
Les documents auxquels il convient de se référer pour apprécier les effets du plan sont
principalement : le projet de l’entreprise, le plan de formation, le dossier EDDF, FSE…
Mode d’emploi
Le tableau présenté ci-après permet au conseiller de guider la réflexion du chef
d’entreprise sur ce point.
L’interlocuteur du conseiller sera le chef d’entreprise ou le responsable RH chargé du
plan de formation dans l’entreprise.
Avant l’entretien
La colonne « indicateurs » est à remplir à partir des éléments détenus concernant la
stratégie de l’entreprise et le plan de formation. Il est probable que le conseiller ne
détient pas toutes les informations nécessaires, mais il peut commencer à préparer le
travail avant de rencontrer l’entreprise.
Pendant l’entretien
Le tableau propose un cadre pour guider le chef d’entreprise à se poser les questions,
pour l’aider à apprécier et à préciser les résultats.
Tous les types d’impacts mentionnés dans le tableau ne sont pas nécessairement
pertinents pour une entreprise donnée (cela dépend de son projet et de son plan de
formation) de même pour les indicateurs (ce sont des exemples-types).
La colonne « mesure des effets constatés » est, bien entendu, à remplir avec le chef
d’entreprise. A partir de ce tableau, le conseiller peut amener le chef d’entreprise à se
poser des questions plus larges sur l’utilité du plan de formation.
Exemples :
AGEFOS- PME BRETAGNE 2009
14
♦ Au terme du plan de formation, que pensez-vous de votre investissement financier au
regard des résultats et effets dont on vient de parler ?
(cette question est à introduire lorsque des résultats et des effets ont été bien
identifiés)
A la fin de l’entretien
Soit le tableau rempli est laissé directement à l’entreprise ou bien le conseiller se
propose de le mettre en forme en fonction de ce qui aura été décidé et de l’adresser à
son interlocuteur dans les jours qui suivent.
AGEFOS- PME BRETAGNE 2009
15
Impacts et effets du plan de formation dans l’entreprise
Indicateurs d’impacts économiques
Mesure des effets constatés
Indicateurs d’impacts organisationnels
Mesure des effets constatés
Indicateurs d’effets sur la mobilité interne
Mesure des effets constatés
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Impacts et effets du plan de formation dans l’entreprise (suite)
AGEFOS- PME BRETAGNE 2009
16
Indicateurs d’effets sur l’emploi
Mesure des effets constatés
Indicateurs d’effets sur la classification
Mesure des effets constatés
Indicateurs d’effets sur les hommes
Mesure des effets constatés
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
AGEFOS- PME BRETAGNE 2009
17
Impacts et effets du plan de formation dans l’entreprise
Exemples
Indicateurs d’impacts économiques
•
•
•
•
•
•
% d’augmentation du CA
% à l’export
réduction des délais de livraison
diminution des retours clients
Indicateurs d’impacts organisationnels
•
•
•
•
•
•
•
Mesure des effets constatés
Mesure des effets constatés
organisation en équipe
certification qualité
création d’un encadrement intermédiaire
suppression d’une ligne hiérarchique
création de service, fusion ou
rapprochement de services
Indicateurs d’effets sur la mobilité interne
Mesure des effets constatés
• nombre de personnes formées ayant
changé d’emploi
•
•
•
•
•
•
Impacts et effets du plan de formation dans l’entreprise (suite)
Exemples
AGEFOS- PME BRETAGNE 2009
18
Indicateurs d’effets sur l’emploi
Mesure des effets constatés
• nombre de personnes embauchées suite
à la mobilité interne
• suite aux résultats économiques
• embauches suite à la création d’un
nouveau service
•
•
•
Indicateurs d’effets sur la classification
Mesure des effets constatés
• nombre de personnes formées ayant
changé de classification
•
•
•
•
•
•
Indicateurs d’effets sur les hommes
Mesure des effets constatés
• motivation des salariés
• esprit d’équipe
•
•
•
•
•
•
AGEFOS- PME BRETAGNE 2009
19
">