La préconception du dispositif de suivi et d’évaluation du projet FP Psi. Gret simplifiés

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Les deux promoteurs décident donc de chiffrer grossièrement plusieurs hypothèses tout en commençant à rechercher des partenaires financiers possibles. Ce premier tableau logique leur permettra de réagir et de s’adapter rapidement aux contraintes d’un bailleur… comme le découvriront ci-après les lecteurs qui auront le courage de poursuivre leur lecture jusqu’à la page

58 de cette note méthodologique.

3.2 La préconception du dispositif de suivi et d’évaluation du projet FP Psi

L’identification des outils du dispositif de suivi et d’évaluation à partir des grandes questions évaluatives formulées en utilisant le tableau logique

Ces hypothèses devront prendre en compte les moyens nécessaires au dispositif de suivi-

évaluation du projet. Mieux vaut donc amorcer sa préconception à ce stade de la préparation du projet. Mais il n’est alors pas nécessaire de prévoir en détail les différents éléments de ce dispositif. La définition des indicateurs (cf. ci-après page 68), l’élaboration des bases de données et des outils informatiques nécessaires à leur mise en œuvre, ne sont pas encore à l’ordre du jour. Il ne s’agit encore que d’identifier les outils qui devront composer ce dispositif pour pouvoir les dimensionner puis les budgéter.

La méthode

Comme indiqué ci-dessus (cf. § 2.2) une des bonnes méthodes pour cette identification consiste à procéder rapidement en deux étapes :

1. D’abord formuler les questions évaluatives qui permettront de suivre et d’apprécier la qualité de la mise en œuvre du projet en se référant aux « grands critères » identifiés cidessus, l’impact, l’efficacité et l’efficience (cf. schéma page 32) : Quelles questions faudra-t-il se poser pour savoir :

– si le projet a contribué aux objectifs globaux qu’il visait,

– s’il a atteint les objectifs spécifiques qui lui étaient assignés,

– si ses actions ont abouti aux résultats attendus.

(La démarche commence là sur un mode quasi automatique, à partir des énoncés du tableau logique).

2. Ensuite, une fois ces questions formulées, il s’agit d’identifier les outils qui permettront d’y répondre :

– Des outils de suivi, qui collectent des données dans le courant de la mise en œuvre des activités (marqués par le signe dans le tableau ci-après).

– Des études ciblées, confiées à des prestataires externes quand elles sont trop lourdes, ou quand elles nécessitent des compétences spécifiques ou un point de vue extérieur, et une certaine neutralité (repérée par ci-après).

– L’évaluation externe, en général une mission de courte durée, d’une à trois semaines

(pointée ci après par

).

– Des exercices d’auto évaluation assistée ou plus simplement la mise en débat des ré-

sultats du projet (certains parlent de « revues », montrée par X).

– Les missions d’appui externe peuvent également contribuer au dispositif de S&E (indi-

quée par

).

On procède souvent par « grands critères ». Par exemple, pour le Psi Sta Elodia et pour l’impact, cela peut donner le raisonnement et le tableau suivants :

Gret - Coopérer aujourd’hui n° 47 49

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Les questions évaluatives pour apprécier l’impact

Les questions évaluatives formulées pour apprécier l’impact vont (classiquement) distinguer les impacts directs et indirects constatés auprès des bénéficiaires des formations, puis les impacts induits chez leurs « voisins » et dans leur milieu.

1. Pour apprécier les premiers, elles vont s’intéresser à l’évolution des micro-entrepreneurs et des entreprises bénéficiaires (leurs activités, leurs résultats économiques ont-ils évolué ?

Des personnes formées ou leurs proches ont-elles créé de nouvelles micro-entreprises ?, etc.).

2. Pour prendre en considération les seconds, elles devraient s’attacher aux conséquences de ces effets directs sur les revenus, les conditions de vie, les comportements…

3. Pour rendre compte les troisièmes, elles vont porter, d’une part, sur les microentrepreneurs des corporations concernées (ont-ils bénéficié des apprentissages de leurs collègues ? Y a-t-il eu transfert des savoir-faire acquis ? Au contraire, les gains des uns n’ont-ils pas généré des pertes pour les autres ? …).

4. Elles vont porter, d’autre part, sur les acteurs plus ou moins directement impliqués dans le dispositif : les organisations corporatives, les organisations de formations et les formateurs, les autorités locales et leur politique à l’égard des micro-entreprises…

Les impacts attendus correspondent, en gros, à la concrétisation des objectifs visés par le projet… Mais ce ne sont pas toujours les seuls effets d’un projet.

Les impacts directs sont les effets « directement imputables » (et donc assez immédiats) sur les résultats du projet pour les « bénéficiaires » ou sur les cibles de ses actions.

Les effets des précédents sont des impacts indirects quand ils concernent toujours ce même public ou cibles, ce sont des impacts induits quand ils concernent leurs voisins ou au-delà.

Les outils pour répondre à ces questions sur l’impact

– Les questions posées pour apprécier les impacts directs et indirects (1) et 2) ci-dessus) passent par une enquête auprès d’un échantillon de « bénéficiaires ». Cette enquête doit

être suivie, pour retracer des évolutions dans le temps, assez complète, pour couvrir le champ des « activités » et des « économies familiales » et détaillée pour pouvoir expliquer les évolutions constatées. Cette enquête devrait plutôt être sous-traitée à un prestataire externe : elle demandera des capacités de conception et du temps de réalisation dont « l’équipe projet » ne disposera pas forcément. La neutralité des enquêteurs vis-àvis du projet n’est pas ici indispensable, mais constituerait un « plus », une garantie d’objectivité.

– En toute rigueur, les résultats d’une étude « bénéficiaire » ne valent qu’en comparaison avec des données recueillies auprès de l’ensemble de la « population » concernée. De même, l’appréciation des impacts induits nécessite d’enquêter au-delà du public directement touché par le projet. Compte tenu de la diversité des petites et très petites entreprises, une telle enquête implique de travailler sur un échantillon assez lourd et de porter à la fois sur un questionnement quantitatif et qualitatif. L’idée est donc de l’insérer dans une « étude d’impact » confiée à une force d’enquête à la fois performante et

« bon marché », des étudiants en fin de cycle de l’enseignement supérieur. Leur enquête devrait être cohérente avec celle qui devra être réalisée lors de l’étude initiale du milieu.

50 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

– L’appréciation des effets induits du projet sur les acteurs et les « institutions » associés

à sa mise en œuvre concerne « une population » plus réduite. Elle requiert une bonne connaissance du projet, une réelle neutralité et la capacité de débattre des « qualités » du projet avec les intéressés. Elle s’intègre donc assez bien dans les termes de références d’une évaluation finale.

– Enfin, l’opinion argumentée, « travaillée », des principaux acteurs sur ces questions d’impact est souvent bien intéressante. Elle complète les résultats d’enquêtes objectives mais pas forcément « intelligentes » sur tous les sujets. Les différences d’appréciation selon les acteurs et entre eux et les « évaluateurs enquêteurs » sont souvent bien instructives.

Le tableau de synthèse sur l’impact

À ce stade, il n’est pas besoin d’être beaucoup plus précis, ni sur les questions évaluatives, ni sur les outils, et il n’est pas encore temps de prendre en considération le coût du dispositif de suivi et d’évaluation (il faudra évidemment l’être et le faire plus tard). Les deux paragraphes ci-dessus peuvent donc se résumer par le tableau suivant :

Tableau 26 : Suestions évaluatives et les outils de S.E. pour apprécier l’impact du projet FP Psi

Les « grandes questions

évaluatives »

Les questions évaluatives plus détaillées, les éléments de méthode

A propos de l’impact : Le projet a-t-il contribué aux Objectifs Globaux qu’il visait ?

Éléments du dispositif de suivi et d’évaluation susceptibles d’apporter des réponses à ces questions

Quel est l’impact des formations et du dispositif lui-même, sur les PE et TPE et leur environnement ?

Quel est l’impact des formations au sein des PE et TPE qui en ont bénéficié ?

Ont-elles accru leur activité économique ?

Ont-elles essaimé ?

La croissance de leur activité et leur démultiplication ont-elles eu un impact sur le revenu des gens ?

Quel est l’impact induit du dispositif, au-delà des bénéficiaires des formations ? Celui-ci a-t-il eu…

Des effets « chez leurs voisins » (la diffusion spontanée des savoir-faire) ?

Des impacts collectifs sur le « milieu des PE et TPE, leurs organisations, les autres structures d’appui et de formation ?

Des conséquences sur l’engagement des autorités locales en faveur du développement des PE et TPE…

Suivi d’un échantillon de PE TPE bénéficiaires

(sans doute sous-traité à un prestataire externe ?)

Étude d’impact conçue à partir de la mise à jour de l’étude initiale de milieu (stages étudiants ?)

X « Auto évaluation » de cet impact « direct » sur les micro-entrepreneurs par les Corporations

Étude d’impact conçue à partir de la mise à jour initiale de l’étude de milieu

évaluation externe finale

X Autoévaluation de ces impacts induits par les

Corporations et autres parties prenantes

La suite du tableau de synthèse

Les tableaux ci-dessous traduisent les résultats de cette démarche rapide « questions évaluatives/outils » appliquée pour les autres « grands » critères.

Gret - Coopérer aujourd’hui n° 47 51

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Tableau 27 : Questions évaluatives et les outils de S.E. pour apprécier l’efficacité du FP Psi

Les « grandes questions

évaluatives »

Le dispositif mis en place at-il les qualités recherchées ?

Est-il accessible et adapté aux besoins des PE et TPE et durable

Les questions évaluatives plus détaillées, les éléments de méthode

Les formations proposées par le dispositif sont-elles adaptées aux contraintes et aux attentes des PE et TPE ?

Quels sont les effets directs des formations sur les participants ?

Quels sont les raisons pour lesquelles certaines catégories de PE et TPE ne participent pas aux formations proposées ?

Quelle est l’opinion des parties prenantes sur les formations proposées par le dispositif ?

Éléments du dispositif de suivi et d’évaluation susceptibles d’apporter des réponses à ces questions

Entre impact et efficacité : Le projet a-t-il atteint les objectifs spécifiques qui lui étaient assignés ?

Les PE et TPE ont-elles effectivement accès à la formation ?

Quelle est l’évolution quantitative de l’offre de formation ?

Quel % des PE et TPE a bénéficié du dispositif ?

Qui, parmi les PE et TPE, et au sein de celles-ci, a eu accès

à la formation ?

Suivi des formations et de leurs publics

Référence à l’étude initiale du milieu actualisée via

l’étude d’impact

Enquête ex post au près d’un échantillon d’individus bénéficiaires des formations

Enquête à conduire lors de l’étude d’impact

X Auto évaluation de l’action par les Corporations et les parties prenantes

Evaluation « à chaud » des formations

Dans quelle mesure les services offerts par le dispositif peuvent-ils être durables ? Quel est leur degré d’autonomie ?

… Financière ? (les coûts, le % d’auto- financement des formations, les perspectives de financement local …)

…Institutionnelle ? (les qualités des instances de pilotage, les montages contractuels, l’image du dispositif auprès des PE et TPE, de leurs partenaires des « décideurs »…)

… Organisationnelle ? (le degré de maîtrise du dispositif par l’Ong locale co-maître d’œuvre du projet…)

Suivi (différents indicateurs de coûts établis à partir de la comptabilité du projet)

Suivi (CR d’activités, CR des instances de pilotage)

Etude externe « utilisateurs/non utilisateurs » consacrée partiellement à l’appréciation de cette image

Eléments dans l'évaluation externe finale

Suivi (évolution des indicateurs d’activités)

X

Diagnostic établi lors des missions d’appui (et

évaluation à chaud des formations internes)

Autour de l’efficacité : Les actions entreprises ont-elles abouti aux résultats attendus ?

Le système de financement est-il au

point ?

Les acteurs locaux ont-ils les capacités et les moyens d’initier et d’organiser les formations ?

Le système est-il fonctionnel ? (coûts, sécurité, délais de paiement, réactivité aux initiatives)

Le dispositif est-il approprié par les parties prenantes (Nbre d’organisations relais, opinions des initiateurs de formation, des « formés » et des formateurs

…

Quels acteurs participent et ne participent pas au dispositif ?

Qui est à l’initiative des formations ?

Quel est le degré d’autonomie des acteurs à l’initiative des formations?

Quelles sont les caractéristiques des formations organisées, celles de leur public, leur évolution ? Quels formateurs sont mobilisés ?

…

Suivi opérationnel et comptable du système

Enquête externe annuelle « utilisateurs/non utilisateurs »

Suivi des formations

Complément et synthèse lors de l’évaluation externe finale

Enquête externe annuelle « utilisateurs/non utilisateurs »

Suivi des actions d’appui aux acteurs locaux (en rapport avec l’étude initiale du milieu)

Suivi et évaluation à chaud des formations (en rapport avec l’enquête formateurs et l’évaluation des besoins)

Appréciation lors des missions d’appui

52 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Autour de l’efficacité (suite) : Les actions entreprises ont-elles abouti aux résultats attendus ?

L’organisation de l’appui et du suivi des formations est-elle fonctionnelle ?

Les instances de pilotage fonctionnent-elles correctement ?

La plupart des acteurs concernés sont-ils effectivement informés et associés au pilotage du dispositif ?

Les outils de suivi sont-ils en place ? Sont-ils effectivement utilisés ?

…

Suivi, rapport d’activités des instances

Enquête externe annuelle

Synthèse des différents outils de suivi

Evaluation des outils de suivi lors des missions d’appui

Evaluation externe

Les conditions nécessaires à la pérennisation du dispositif sontelles réunies ?

Est-ce que l’Ong locale maîtrise l’animation du dispositif ?

Est-ce que les outils de communication et d’information sont en place ? Comment le dispositif est-il connu et apprécié au-delà des acteurs directement impliqués dans sa mise en œuvre ?

La transparence du dispositif est-elle assurée ?

Bilan de l’évolution des capacités de l’Ong faite avec celle-ci lors des missions d’appui

Evaluation externe

X Autoévaluation avec les parties prenantes

Les conditions nécessaires à la reproduction du dispositif sontelles en passe d’être remplies ?

Des Ong suffisamment performantes, implantées dans des sites favorables et motivées ont-elles été identifiées ?

Les outils de Santa Elodia sont-ils suffisamment éprouvés et finalisés ?

Les conclusions des diagnostics réalisés par l’équipe projet

L’évaluation externe

Sans surprise, ce tableau met en évidence quelques points communs à la plupart des dispositifs de suivi-évaluation. On retrouve là les conclusions du même exercice déjà effectué pour l’exemple calamiteux du maïs de Chihuahua :

La plupart des questions relatives à l’efficacité du projet peuvent être renseignées par des outils de suivi, actionnés dans le courant des actions par « l’équipe projet elle-même » (et d’autres acteurs chargés de la mise en œuvre de celles-ci). Ici le suivi doit renseigner les caractéristiques des formations et de leurs « bénéficiaires », intégrer l’évaluation « à chaud » des formations (mémorisation immédiate et appréciation qualitative des participants), et rendre compte des actions d’appui et du fonctionnement des différentes instances de pilotage et de concertation. Le système comptable doit permettre de calculer des coûts de revient de formation, « bruts » et « nets », leur évolution et leur taux de financement.

En toute rigueur, ces outils doivent être complétés par d’autres investigations qui d’une part, élargissent la collecte des données et des opinions au-delà des bénéficiaires et des parties prenantes de ces actions, et d’autre part, recueillent les points de vue de ces derniers avec plus de recul et de neutralité : une enquête « image », des enquêtes annuelles d’opinion sur les « qualités du dispositif » auprès d'utilisateurs et de non utilisateurs.

Pour être validées et mieux valorisées au fur et à mesure du déroulement du projet, les données et les conclusions issues de ces outils de suivi doivent être relues et mises en débats avec les parties prenantes, et si possible alimenter régulièrement des exercices d’auto-

évaluation.

Par contre, l’appréciation de l’impact et des effets n’est pas à la portée de ces outils de suivi. Elle nécessite des investigations plus lourdes et plus distanciées de l’action. Ces investigations ne peuvent être seulement des investigations « finales » : la comparaison

« avant/après » est bien utile pour contribuer à apprécier l’effet ; l’analyse en cours de projet des évolutions produites par l’action est souvent fructueuse quand il s’agit au final d’éclairer des liens de cause à effet.

Gret - Coopérer aujourd’hui n° 47 53

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Ces investigations demandent du temps, une certaine neutralité et souvent des capacités qui sont hors de portée des équipes opérationnelles.

Le suivi des éléments du contexte, qui seront déterminants pour la réussite du projet

Les dispositifs de suivi et d’évaluation doivent donc également permettre d’apprécier l’évolution des éléments du contexte qui seront déterminants pour la réussite du projet (cf. cidessus page 37 et suivantes).

La conception de ces dispositifs implique donc :

– d’identifier les relations de cause à effets qui conditionnent cette réussite,

– les facteurs extérieurs qui peuvent influencer ces relations,

– et les moyens nécessaires pour suivre l’évolution de ces facteurs.

Le petit tableau résume la démarche appliquée lors de la conception du projet FP psi.

Tableau 28 : Le suivi des éléments du contexte déterminants pour la réussite du projet du projet FP psi

Les relations de cause à effet sur lesquelles est fondée la réussite du projet

Les éléments du contexte déterminants pour ces relations

Des objectifs spécifiques aux objectifs globaux

Consulter les bulletins de conjoncture et d’analyses économiques disponibles

La conjoncture économique locale et nationale ne se dégrade pas.

Participer à l’observatoire de l’économie locale (recueillir l’avis d’un échantillon de personnes ressources)

Des formations de qualité permettent le développement et la création de PE et TPE

Les PE et TPE ont toujours accès aux services financiers proposés par les institutions locales de microfinance. La qualité de ces services est maintenue

Rencontrer régulièrement les institutions de microfinance de la place. Avoir accès

à leur compte rendu d’activités

La politique de la municipalité en direction des PE et

TPE (facilités d’installation, taxes locales modérées) reste favorable

Des résultats aux objectifs spécifiques

Idem, rencontrer régulièrement les élus, les services de la ville et les administrations concernées

Le dispositif améliore l’accès des PE et TPE à des formations de qualité

(accessibles et adaptées)

L’offre locale de formation sur laquelle s’appuiera le projet, mais qui ne dépend pas que de lui, ne se dégrade pas

Les institutions locales (l’Ong locale porteuse et les principales corporations) ne sont pas déstabilisées par des évènements indépendants du programme

Comment apprécier l’évolution de ces éléments ?

Le dispositif de suivi doit permettre d’apprécier ces évolutions

Idem, le dispositif de suivi

Le dispositif a des chances d’être durable

La formation professionnelle reste une des priorités de l’Etat et des bailleurs de fonds

Cf. ci-dessus la conjoncture économique

Absence de projets « concurrents » qui, en offrant des formations gratuites, déstabiliserait le système

Se ternir régulièrement informé de la politique nationale et de celle des bailleurs (rencontres épisodiques)

Le projet sera inévitablement informé d’une telle arrivée

Le tableau ci-dessus permet d’identifier rapidement les éléments du contexte qui risquent d’être déterminants pour la réussite du projet. Les conclusions de l’exercice ne concernent le dispositif de suivi et d’évaluation que sur un point : l’appréciation de l’évolution de la conjoncture économique locale. Mais le concepteur du projet estime qu’il n’aura pas les

54 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

moyens de mettre en place un dispositif fiable de suivi de cette conjoncture. Il doit prévoir de pouvoir contribuer (modestement) au projet de mise en place d’un observatoire de l’économie locale évoqué par ailleurs. Si ce projet ne voit pas le jour, le FP psi se contentera de l’opinion

« illustrée » de ses partenaires.

L’exercice n’est cependant pas inutile. Il permet de bien identifier les enjeux institutionnels du projet FP psi.

Le dimensionnement des dispositifs de suivi et d’évaluation

Le dispositif constitué de tous les éléments identifiés dans les dernières colonnes des deux derniers tableaux ci-dessus serait relativement coûteux. Il n’aurait de sens que dans le cadre de projet expérimental, qui viserait à mettre au point, à petite échelle, un prototype d’organisation destiné à être reproduit et démultiplié ultérieurement à grande échelle. Dans cette hypothèse, le suivi-évaluation contribue directement à l’expérimentation et à la démonstration de l’efficacité de l’organisation du dispositif de formation testé, préalable à la phase d’extension.

Il participe directement à l’atteinte des objectifs du projet et absorbe logiquement une part non négligeable de ses moyens.

A l’inverse si, sous l’impulsion d’autres partenaires, le projet met plus l’accent immédiatement sur des objectifs quantitatifs et privilégie des critères d’efficience immédiate, les moyens mobilisés par le dispositif de suivi-évaluation seront plus faibles (en proportion). Ses ambitions seront alors plus réduites.

Le « bon » dimensionnement des dispositifs de suivi-évaluation dépend aussi des objectifs et de la « logique » du projet

14

.

En matière de suivi, comme ailleurs, le mieux peut être l’ennemi irréductible du bien

L’usage réel des outils de suivi mis en place par les projets reste parfois éloigné de leurs ambitions initiales. Des bases de données trop ambitieuses avortent en cours de projet, ou bien ne livrent que des données incomplètes, hétérogènes, et difficiles à exploiter. Lorsqu’elles vont au bout de leurs projets statistiques, elles ont souvent absorbé une énergie considérable pour fournir un très grand nombre de chiffres qui restent malheureusement de qualités inégales (fiabilités incertaines, séries trop incomplètes). Au final, un faible pourcentage d’entre eux fait l’objet de synthèse en temps réel et sert réellement à éclairer les décisions des responsables des projets ou à informer leurs partenaires.

Mieux vaut parfois des indicateurs moins nombreux et mieux exploités qui peuvent être renseignés et disponibles « en temps réel » et qui peuvent alors faire l’objet de débats entre chargés de suivi et équipes opérationnelles.

La base de données géante aux multiples indicateurs, capable de répondre à toutes les questions évaluatives et de satisfaire tous les besoins de contrôle, de communication, et d’aide à la réflexion… est bien souvent un leurre

.

14

Les dispositifs de suivi-évaluation feront l’objet d’une des prochaines notes méthodologiques de la collection

« Coopérer Aujourd’hui ».

Gret - Coopérer aujourd’hui n° 47 55