La préconception des dispositifs de suivi et d’évaluation. Gret simplifiés
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
2.2 La préconception des dispositifs de suivi et d’évaluation
Différentes théories, différentes étapes
La conception d’un projet et celle de son dispositif de suivi et d’évaluation vont de paire. Elles sont soumises aux mêmes contraintes et aux mêmes controverses :
Pour les uns, la conception d’un projet, finalisée et détaillée avant son démarrage, doit guider étroitement sa mise en œuvre suivant des plans d’action préétablis.
Pour les autres, des objectifs, des grandes lignes d’actions et de contraintes suffisent à définir un projet, qui doit suivre une démarche itérative définie d’étape en étape. La première de ces étapes doit justement permettre à ses principaux acteurs de choisir leurs itinéraires et leur méthode, et de se fabriquer leurs outils.
La vérité entre ces deux extrêmes est une affaire de nature de projet, de contexte d’intervention et de « contraintes bailleurs », plus que de théorie.
Les Ong sont souvent dépendantes de leurs bailleurs de fonds : elles disposent de moyens limités pour financer la conception de leur projet et le budget de leurs actions manque généralement de souplesse. Elles accompagnent pourtant des processus de changement peu programmables dans des contextes mal prévisibles. Elles doivent donc élaborer assez rapidement leurs documents projets. Ceux-ci doivent être à la fois exhaustifs dans leurs prévisions financières et souples dans leurs modalités de mise en œuvre.
Les dispositifs de suivi-évaluation de leurs projets sont ainsi souvent élaborés en plusieurs
étapes :
>
L’architecture de ces dispositifs (l’identification et le dimensionnement des outils qui vont les constituer
9 et la définition de la connexion entre ces outils et le système de management et de pilotage du projet) se construit lors des dernières phases de la conception des projets.
>
Les outils de suivi sont mis au point par les équipes opérationnelles dans les premiers mois qui suivent le démarrage de l’intervention : ces outils doivent être cohérents avec l’organisation des ces équipes, leur management et leurs modes de reporting.
>
Ces outils doivent pouvoir évoluer au fur et à mesure de la progression du projet.
>
Les cahiers des charges ou les termes de références des études ponctuelles et des évaluations ultérieures sont élaborés au fur et à mesure qu’ils sont mis en œuvre en collaboration avec les instances de pilotage des projets.
Une architecture dessinée assez tôt, pour un dispositif qui doit rester réactif
L’architecture des dispositifs de suivi-évaluation doit être définie lors de la conception initiale des projets, et ce pour deux raisons :
La conception du dispositif de suivi est une chose trop sérieuse pour être laissée aux seuls chefs de projets. Ces derniers ont tendance à concevoir ces dispositifs pour leur seul usage.
Or, l’enjeu d’un dispositif de suivi n’est pas seulement d’éclairer les décisions du chef de projet (celui-ci, sur des projets de petites dimensions, n’a pas toujours besoin de formaliser les informations qu’il récolte par le seul fait de sa proximité au « terrain », et qu’il traite
« intuitivement », grâce à son métier).
9
Cf. ci-dessus page 30.
34 Gret - Coopérer aujourd’hui n° 47
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
Ce dispositif doit aussi permettre à des acteurs moins spontanément informés de débattre du déroulement du projet et d’être associés à certaines décisions (le maître d’ouvrage, les membres de l’instance de pilotage, les intervenants chargés de la supervision des actions, les partenaires). Il sert également à nourrir des évaluations « ex post » dont les conclusions n’ont pas un intérêt direct pour la conduite du projet.
La cohérence est une qualité essentielle des dispositifs de suivi et d’évaluation : l’appréciation de la qualité des projets repose trop souvent sur leurs évaluations externes.
Or celles-ci sont non seulement coûteuses, mais aussi peu efficaces quand elles ne peuvent s’appuyer sur des données fiables et objectives collectées sur la durée du projet.
L’évaluateur se dit parfois que ses réponses interviennent bien tard, et qu’il aurait pu avantageusement y répondre plutôt par des investigations internes moins lourdes que par une
évaluation externe. L’efficacité des dispositifs de suivi et d’évaluation dépend de la complémentarité entre les différents éléments qui les composent. Cette complémentarité implique une conception, au minimum une préconception d’ensemble.
Le dispositif de suivi et d’évaluation sont des outils d’aide à la
décision
La cohérence des dispositifs de suivi et d’évaluation ne se joue pas seulement sur la complémentarité des informations collectées par leurs différents outils de collecte et de traitement des données.
Elle dépend aussi de leur articulation conduite avec le système et le pilotage du projet.
Ces dispositifs doivent rendre accessibles les bonnes informations, aux bonnes personnes, aux bons moments, pour faciliter les bonnes décisions.
Ces dernières peuvent être des décisions opérationnelles « à cycles courts » prises par « le terrain », comme les décisions stratégiques « à cycles longs » arrêtées par les instances de pilotage.
Mais pour la plupart des types de projets, il faut se méfier de concevoir trop à l’avance et trop en détail les différents outils qui vont composer ce dispositif :
Un système de suivi et d’évaluation doit pouvoir évoluer et rester réactif tout au long du déroulement d’un projet.
– Le dispositif de suivi doit ainsi pouvoir accompagner la progression des activités. Il doit d’abord s’intéresser à la qualité de leur mise en œuvre, ensuite à celle de leurs résultats, et enfin à celle de leurs effets.
– Il doit pouvoir répondre aux questions que se posent les différentes parties prenantes de l’action, au fur et à mesure qu’elles progressent et que leur vision du projet évolue.
– Il doit pouvoir s’adapter aux éventuels évènements imprévus qui affectent l’environnement ou la progression du projet.
Certains outils de suivi doivent s’intégrer finement à l’organisation du travail sur le projet.
Or, celle-ci se met généralement en place progressivement dans les premiers mois de l’activité et évolue souvent au fur et à mesure de l’activité.
Gret - Coopérer aujourd’hui n° 47 35
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
Les dispositifs de suivi et d’évaluation pour apprécier « les performances » ou les
« qualités » des projets
Les dispositifs de suivi et d’évaluation servent donc à apprécier les « performances » ou les qualités d’un projet pour contribuer à leur pilotage, en rendre compte à autrui, en tirer ultérieurement les leçons.
Leur conception commence par répondre aux deux questions suivantes :
1. Quelles sont les principales questions évaluatives à poser pour apprécier la qualité de ce projet ?
2. Quelles méthodes et quels types d’outils permettront de répondre à ces questions ?
Elle peut ensuite :
>
Déterminer les différents outils qui composeront le dispositif, les paramétrer et intégrer leurs coûts prévisionnels dans le budget global du projet.
>
Programmer leur mise en œuvre de façon cohérente avec les échéances opérationnelles du projet et celles de son pilotage.
>
Elaborer le cahier des charges des outils de suivi qui seront finalisés ultérieurement par les
équipes projets.
Pour identifier ces questions évaluatives, une des démarches les plus simples consiste à partir des six grands critères et des éléments du tableau logique, à formuler des questions évaluatives très générales, puis à décliner celles-ci en questions de plus en plus précises, en suivant le cheminement proposé par le Tableau 18 ci-dessus (page 32) et schématisé comme suit :
Figure 4 : Le cheminement pour identifier les outils d'un dispositif de S.E.
Partir des
« grands critères »
Et des
éléments du tableau logique
Pour form uler les « grandes questions
évaluatives » génériques
Décliner celles-ci en séries de questions plus précises
Identifier les
« outils » du dispositif de S.E.
qui perm e ttro ns d’y répon dre
36 Gret - Coopérer aujourd’hui n° 47
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
Tableau 19 : Pour faciliter la préconception des dispositifs de S.E. a) Les qualités du projet
Un tableau…
… qui commence par établir le lien entre les éléments du
« tableau logique » et des grandes questions évaluatives »
… et qui finit par identifier les méthodes et les outils nécessaires pour répondre à des questions évaluatives plus détaillées
Les six critères
Les éléments du tableau logique
Les questions évaluatives génériques
Le projet a-t-il conduit les activités prévues ?
L’efficacité
Les activités, les résultats
L’impact
Direct
Les objectifs spécifiques
A-t-il atteint les résultats attendus ?
La qualité de ces résultats vat-elle permettre d’atteindre les objectifs prévus ?
Etc…
Le projet a-t-il atteint les objectifs spécifiques qu’il s’était fixés ?
Quels ont été les autres effets du projet ?
Etc…..
Etc…
Etc.
.
Les questions évaluatives plus détaillées
Les outils à prévoir pour y répondre
L’exemple politiquement incorrect et simpliste du projet maïs de Chihuahua
Mes collègues ardents écologistes ne me pardonneront pas pour cette illustration politiquement incorrecte, ni mes collègues agronomes, que son simplisme effarant énervera… Tant pis, si malgré tout et par bonheur elle éclaire le lecteur…
Un projet de développement agricole en zone soudano-sahélienne prévoit des actions de démonstrations, d’échanges et de formations, qui doivent persuader les paysans d’utiliser plus d’engrais et leur permettre de bien les utiliser. Ce recours à l’engrais et sa maîtrise doivent accroître les rendements, cet accroissement doit contribuer à l’augmentation du revenu des paysans. Ces actions doivent être conduites par les services agricoles de l’État que le projet doit appuyer et doter de moyens supplémentaires.
Le tableau logique de ce projet à l’allure suivante :
Tableau 20 : Le tableau logique du projet Chihuahua
Objectif Global
Objectif
Spécifique
Résultats Activités
Contribuer à l’amélioration du revenu des paysans de la zone de
Chihuahua
Contribuer à l’augmentation des résultats
économiques de la culture du maïs
Les paysans maîtrisent l’utilisation des engrais
Des essais en station et en milieu paysan pour mettre au point des références locales
Des formations
Les paysans convaincus de La mise en place de champ de démonstration chez les paysans l’utilisation de l’engrais y ont plus systématiquement recours L’organisation d’échanged entre paysans
Gret - Coopérer aujourd’hui n° 47 37
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
Une première réflexion rapide sur l’architecture de son système de suivi débouche sur le tableau suivant :
Tableau 21 : La conception du dispositif de S.E. du projet Chihuahua
Les six critères
La cohérence
Externe
Interne
Les éléments du tableau logique
Moyens & Activités /
Contexte & « vision politique »
Moyens / Activités /
Résultats / Objectifs
L’efficience Les moyens / Les résultats
L’efficacité
Les activités /
Les résultats
Les principales questions évaluatives
Outils
La stratégie de l’intensification par l’engrais est-elle adaptée au contexte local ?
Les actions prévues sont-elles adaptées à ce contexte ?
Les moyens prévus sont-ils correctement dimensionnés ? Peuvent-ils suffire à rendre efficaces les services de l’État ?
….
Les moyens ont-ils été utilisés de façon optimum ?
Aurait-on pu atteindre les mêmes résultats de façon plus économe ?
Le projet a-t-il conduit les activités prévues ?
Les résultats des essais sont-ils convaincants ? Ont-ils permis de mettre au point les itinéraires techniques attendus ?
Combien de paysans ont été directement touchés par les actions de formation et d’échanges paysans ?
Qu’en ont-ils retenu et pensé ? Combien d’entre eux ont-ils effectivement modifié leur façon de cultiver le maïs et d’utiliser l’engrais ?
D’autres paysans dans leur voisinage ont-ils également modifié leur façon de cultiver ?
1) Une analyse des systèmes de production agricole de la région
2) Evaluation externe s’appuyant sur des
éléments de diagnostic institutionnel
3) Evaluation externe s’appuyant sur une comptabilité analytique qui permet d’isoler les coûts de certaines actions
4) Le système de suivi du projet
5) Le dispositif de suivi agronomique
6) Des enquêtes externes en milieu paysan
L’impact
direct imprévu indirect
La viabilité
Les objectifs spécifiques
Les objectifs globaux
Les résultats et les objectifs
La marge brute / hectare maïs a-t-elle effectivement augmenté sur les exploitations qui ont modifié leur itinéraire technique ?
Le revenu de ces paysans a-t-il augmenté ?
Que représentent ces évolutions par rapport à l’ensemble de la région ? Quelles sont les catégories de paysans qui ont effectivement profité des changements techniques favorisés par le projet ?
Comment vont évoluer les pratiques culturales des paysans qui ont déjà commencé à adopter les itinéraires techniques proposés par le projet ?
Ces innovations vont-elles se diffuser ? (Si oui à quelles conditions ?)
7) Des suivis d’exploitations agricoles, complétés par des enquêtes « économie familiale »
8) Le lien entre ces suivis d’exploitation et l’analyse des systèmes de production.
9) Des enquêtes externes (Cf. 6) réalisées à différentes périodes du projet
Evaluation externe s’appuyant sur les autres outils 7) et 9)
Même si les questions évaluatives identifiées ne sont pas exhaustives, ce tableau met en évidence que : une évaluation externe, sous la forme d’une mission courte, aurait bien du mal à répondre aux questions qui lui seront posées si elle ne peut pas s’appuyer sur des données issues du suivi et d’enquêtes préalables ; le suivi directement lié aux activités ne suffit pas pour répondre notamment à des questions de pertinence, d’impact, de « reproductibilité » qui impliquent d’aller chercher des informations au-delà des paysans qui ont été en relation directe avec le projet ;
38 Gret - Coopérer aujourd’hui n° 47
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
certaines questions évaluatives impliquent de connaître l’opinion des paysans vis-à-vis des solutions proposées par le projet, et leurs intentions à leur égard. Ces informations ne peuvent pas être directement recueillies par le personnel du projet ; cette rapide identification permet de faire des choix dès la conception du projet, en matière de programmation et de budgets : certaines enquêtes n’ont de sens que si elles sont réalisées assez tôt pour pouvoir être répétées ; d’autres (le suivi agronomique) requerront des moyens internes spécifiques ; d’autres encore (les enquêtes externes) des budgets spécifiques.
On peut à ce stade imaginer différents développements au système de suivi et d’évaluation du projet : il peut rester assez fruste, se limiter (ou presque) au suivi, faire l’impasse sur certaines questions évaluatives, économiser ainsi les fonds du projet entièrement consacrés à
« l’action ». Il peut être plus ambitieux et exigeant, nécessiter alors le recours à des prestations externes et se montrer budgétairement plus gourmand.
Les dimensions du dispositif de suivi-évaluation sont généralement proportionnelles à l’ambition du projet, à vocation locale et sans promesse de lendemain, ou pilote destiné à préparer une extension à une plus vaste échelle.
Un dispositif de suivi et dévaluation sert aussi à identifier et à suivre les éléments du contexte déterminants pour l’avancée du projet
Le dispositif de suivi-évaluation doit également surveiller les éléments du contexte déterminant pour l’avancée ou la réussite du projet. Le tableau logique peut faciliter si nécessaire l’identification de ces éléments. Il permet de visualiser l’enchaînement logique escompté lors de la conception du projet : des activités sont prévues pour atteindre les résultats. Ces résultats attendus doivent concourir à des objectifs intermédiaires ou spécifiques, ces objectifs visés doivent contribuer à des objectifs globaux.
Mais les résultats des activités, et les effets de ces résultats, ne sont pas automatiques.
Ces résultats et ces effets dépendent aussi de conditions externes indépendantes de l’action du projet.
Figure 5 : Les résultats et l’atteinte des objectifs dépendent également de « conditions externes »
Les activités et les résultats ne conduisent pas automatiquement aux objectifs
Les activités
Les résultats
Les objectifs spécifiques
Gret - Coopérer aujourd’hui n° 47
Les objectifs globaux
39
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
Les
activités
Des conditions externes
Les résultats
Des conditions externes
Les objectifs
spécifiques
Des conditions externes
Les objectifs globaux
Si on reprend l’exemple lamentable ci-dessus, l’enchaînement vertueux proposé, des activités aux objectifs, est loin d’être garanti par la seule action des agronomes et des pédagogues du projet.
Il ne suffit pas que les paysans soient convaincus de l’efficacité de l’engrais pour l’utiliser, il faut aussi que l’engrais leur soit toujours accessible localement et que les paysans aient les moyens (la trésorerie) pour l’acheter.
L’effet de l’engrais sur le rendement dépend aussi du climat.
L’intérêt économique de l’intensification de la production par l’engrais dépend aussi de l’évolution des cours locaux de l’engrais et du maïs.
Autrement dit, la réussite de l’action dépend (au moins) de quatre hypothèses :
Les circuits d’approvisionnement en engrais restent fonctionnels,
Les paysans ont (toujours) accès au crédit,
La pluviométrie reste favorable,
Les prix de l’engrais et les cours des céréales ne connaissent pas d’évolution défavorable.
L’étude de faisabilité du projet a du vérifier que ces hypothèses ont de grandes chances de se confirmer dans la réalité.
Figure 6 : Les conditions externes sur le projet « agro »
Des actions de démonstrations en milieu paysans, d’échanges paysans et des formations
Les agriculteurs sont convaincus de l’intérêt de l’engrais et en maîtrisent mieux l’usage
Les agriculteurs utilisent plus d’engrais sur le maïs
Les rendements en maïs augmentent
Les revenus des paysans s’améliorent
Les engrais sont effectivement disponibles
Localement. Et les paysans ont accès à des crédits de campagne
La pluviométrie est suffisante et permet effectivement à la plante de valoriser l’engrais
Les cours locaux du maïs et de l’engrais restent stables
40 Gret - Coopérer aujourd’hui n° 47
Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets
Le dispositif de suivi du projet devra suivre les approvisionnements locaux en engrais, les principaux paramètres climatiques, et les cours des engrais et des céréales pour réagir en fonction à des variations significatives.
Ses agronomes souhaiteront sans doute avoir leur propre station météo. Ils se contenteront des statistiques du Ministère de l’agriculture pour suivre les cours des céréales qu’ils consulteront
également pour connaître l’évolution des prix des engrais au niveau national. Ils mettront en place un système d’enquêtes sommaires sur les principaux transporteurs qui desservent la zone pour suivre les approvisionnements en engrais. Ils demanderont à l’agence locale de la banque agricole les données dont elle dispose sur ses crédits de campagne. Ils incluront des questions sur l’utilisation de l’engrais et le recours au crédit dans l’enquête annuelle qu’ils comptent mettre en place auprès d’un échantillon d’agriculteurs.
Au-delà de cet exemple simpliste on retiendra :
La nécessité de suivre les facteurs externes indépendants de l’action du projet, qui peuvent cependant être déterminants pour la réussite du projet ;
L’intérêt d’une représentation claire de la logique d’intervention d’un projet pour faciliter l’identification de ces facteurs.
Cette démarche peut également être visualisée grâce à un tableau construit à partir de l’exemple ci-dessous (avec autant de lignes et de colonnes que l’on veut… tant que le tableau reste lisible).
Tableau 22 : Pour faciliter la conception des dispositifs de S.E. : b) Les éléments du contexte
D’un étage du tableau logique
à l’autre
De l’objectif intermédiaire à l’objectif final
Les relations de cause à effet
prévues
L’augmentation des rendements va se traduire par une augmentation des revenus des agriculteurs
Les conditions externes déterminantes pour cette
relation causale
Les outils qui permettent de suivre ces
conditions
Le rapport entre le prix d’achat
Les statistiques du Ministère de l’agriculture des engrais et le prix de vente L’enquête sommaire auprès des transporteurs des engrais ne se dégrade pas L’enquête annuelle d’un échantillon d’agriculteurs
Des résultats
« 2 » à l’objectif intermédiaire
En utilisant plus d’engrais, les agriculteurs vont augmenter leurs rendements
La pluviométrie est suffisante
Les données recueillies par la station météo du projet
Des résultats
« 1 » aux résultats « 2 »
Convaincus et formés, les agriculteurs utilisent plus d’engrais
Les démonstrations convainquent les agriculteurs de l’intérêt de l’engrais
Des activités aux résultats « 1 »
Les formations et les échanges paysans permettent aux agriculteurs de maîtriser l’usage de l’engrais
Les engrais adéquats sont disponibles localement
Les agriculteurs ont accès à des crédits de campagne
L’enquête sommaire auprès des transporteurs
L’enquête annuelle d’un échantillon d’agriculteurs
Les données de la banque locale
L’enquête annuelle réalisée auprès d’un
échantillon d’agriculteurs
Les conditions climatiques ne sont pas « particulièrement » défavorables
Les conditions de sécurité permettent effectivement l’organisation des échanges dans de bonnes conditions
Gret - Coopérer aujourd’hui n° 47 41
