La préconception des dispositifs de suivi et d’évaluation. Gret simplifiés

ドキュメント

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

2.2 La préconception des dispositifs de suivi et d’évaluation

Différentes théories, différentes étapes

La conception d’un projet et celle de son dispositif de suivi et d’évaluation vont de paire. Elles sont soumises aux mêmes contraintes et aux mêmes controverses :

Pour les uns, la conception d’un projet, finalisée et détaillée avant son démarrage, doit guider étroitement sa mise en œuvre suivant des plans d’action préétablis.

Pour les autres, des objectifs, des grandes lignes d’actions et de contraintes suffisent à définir un projet, qui doit suivre une démarche itérative définie d’étape en étape. La première de ces étapes doit justement permettre à ses principaux acteurs de choisir leurs itinéraires et leur méthode, et de se fabriquer leurs outils.

La vérité entre ces deux extrêmes est une affaire de nature de projet, de contexte d’intervention et de « contraintes bailleurs », plus que de théorie.

Les Ong sont souvent dépendantes de leurs bailleurs de fonds : elles disposent de moyens limités pour financer la conception de leur projet et le budget de leurs actions manque généralement de souplesse. Elles accompagnent pourtant des processus de changement peu programmables dans des contextes mal prévisibles. Elles doivent donc élaborer assez rapidement leurs documents projets. Ceux-ci doivent être à la fois exhaustifs dans leurs prévisions financières et souples dans leurs modalités de mise en œuvre.

Les dispositifs de suivi-évaluation de leurs projets sont ainsi souvent élaborés en plusieurs

étapes :

L’architecture de ces dispositifs (l’identification et le dimensionnement des outils qui vont les constituer

9 et la définition de la connexion entre ces outils et le système de management et de pilotage du projet) se construit lors des dernières phases de la conception des projets.

Les outils de suivi sont mis au point par les équipes opérationnelles dans les premiers mois qui suivent le démarrage de l’intervention : ces outils doivent être cohérents avec l’organisation des ces équipes, leur management et leurs modes de reporting.

Ces outils doivent pouvoir évoluer au fur et à mesure de la progression du projet.

Les cahiers des charges ou les termes de références des études ponctuelles et des évaluations ultérieures sont élaborés au fur et à mesure qu’ils sont mis en œuvre en collaboration avec les instances de pilotage des projets.

Une architecture dessinée assez tôt, pour un dispositif qui doit rester réactif

L’architecture des dispositifs de suivi-évaluation doit être définie lors de la conception initiale des projets, et ce pour deux raisons :

La conception du dispositif de suivi est une chose trop sérieuse pour être laissée aux seuls chefs de projets. Ces derniers ont tendance à concevoir ces dispositifs pour leur seul usage.

Or, l’enjeu d’un dispositif de suivi n’est pas seulement d’éclairer les décisions du chef de projet (celui-ci, sur des projets de petites dimensions, n’a pas toujours besoin de formaliser les informations qu’il récolte par le seul fait de sa proximité au « terrain », et qu’il traite

« intuitivement », grâce à son métier).

Cf. ci-dessus page 30.

34 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Ce dispositif doit aussi permettre à des acteurs moins spontanément informés de débattre du déroulement du projet et d’être associés à certaines décisions (le maître d’ouvrage, les membres de l’instance de pilotage, les intervenants chargés de la supervision des actions, les partenaires). Il sert également à nourrir des évaluations « ex post » dont les conclusions n’ont pas un intérêt direct pour la conduite du projet.

La cohérence est une qualité essentielle des dispositifs de suivi et d’évaluation : l’appréciation de la qualité des projets repose trop souvent sur leurs évaluations externes.

Or celles-ci sont non seulement coûteuses, mais aussi peu efficaces quand elles ne peuvent s’appuyer sur des données fiables et objectives collectées sur la durée du projet.

L’évaluateur se dit parfois que ses réponses interviennent bien tard, et qu’il aurait pu avantageusement y répondre plutôt par des investigations internes moins lourdes que par une

évaluation externe. L’efficacité des dispositifs de suivi et d’évaluation dépend de la complémentarité entre les différents éléments qui les composent. Cette complémentarité implique une conception, au minimum une préconception d’ensemble.

Le dispositif de suivi et d’évaluation sont des outils d’aide à la

décision

La cohérence des dispositifs de suivi et d’évaluation ne se joue pas seulement sur la complémentarité des informations collectées par leurs différents outils de collecte et de traitement des données.

Elle dépend aussi de leur articulation conduite avec le système et le pilotage du projet.

Ces dispositifs doivent rendre accessibles les bonnes informations, aux bonnes personnes, aux bons moments, pour faciliter les bonnes décisions.

Ces dernières peuvent être des décisions opérationnelles « à cycles courts » prises par « le terrain », comme les décisions stratégiques « à cycles longs » arrêtées par les instances de pilotage.

Mais pour la plupart des types de projets, il faut se méfier de concevoir trop à l’avance et trop en détail les différents outils qui vont composer ce dispositif :

Un système de suivi et d’évaluation doit pouvoir évoluer et rester réactif tout au long du déroulement d’un projet.

– Le dispositif de suivi doit ainsi pouvoir accompagner la progression des activités. Il doit d’abord s’intéresser à la qualité de leur mise en œuvre, ensuite à celle de leurs résultats, et enfin à celle de leurs effets.

– Il doit pouvoir répondre aux questions que se posent les différentes parties prenantes de l’action, au fur et à mesure qu’elles progressent et que leur vision du projet évolue.

– Il doit pouvoir s’adapter aux éventuels évènements imprévus qui affectent l’environnement ou la progression du projet.

Certains outils de suivi doivent s’intégrer finement à l’organisation du travail sur le projet.

Or, celle-ci se met généralement en place progressivement dans les premiers mois de l’activité et évolue souvent au fur et à mesure de l’activité.

Gret - Coopérer aujourd’hui n° 47 35

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Les dispositifs de suivi et d’évaluation pour apprécier « les performances » ou les

« qualités » des projets

Les dispositifs de suivi et d’évaluation servent donc à apprécier les « performances » ou les qualités d’un projet pour contribuer à leur pilotage, en rendre compte à autrui, en tirer ultérieurement les leçons.

Leur conception commence par répondre aux deux questions suivantes :

1. Quelles sont les principales questions évaluatives à poser pour apprécier la qualité de ce projet ?

2. Quelles méthodes et quels types d’outils permettront de répondre à ces questions ?

Elle peut ensuite :

Déterminer les différents outils qui composeront le dispositif, les paramétrer et intégrer leurs coûts prévisionnels dans le budget global du projet.

Programmer leur mise en œuvre de façon cohérente avec les échéances opérationnelles du projet et celles de son pilotage.

Elaborer le cahier des charges des outils de suivi qui seront finalisés ultérieurement par les

équipes projets.

Pour identifier ces questions évaluatives, une des démarches les plus simples consiste à partir des six grands critères et des éléments du tableau logique, à formuler des questions évaluatives très générales, puis à décliner celles-ci en questions de plus en plus précises, en suivant le cheminement proposé par le Tableau 18 ci-dessus (page 32) et schématisé comme suit :

Figure 4 : Le cheminement pour identifier les outils d'un dispositif de S.E.

Partir des

« grands critères »

Et des

éléments du tableau logique

Pour form uler les « grandes questions

évaluatives » génériques

Décliner celles-ci en séries de questions plus précises

Identifier les

« outils » du dispositif de S.E.

qui perm e ttro ns d’y répon dre

36 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Tableau 19 : Pour faciliter la préconception des dispositifs de S.E. a) Les qualités du projet

Un tableau…

… qui commence par établir le lien entre les éléments du

« tableau logique » et des grandes questions évaluatives »

… et qui finit par identifier les méthodes et les outils nécessaires pour répondre à des questions évaluatives plus détaillées

Les six critères

Les éléments du tableau logique

Les questions évaluatives génériques

Le projet a-t-il conduit les activités prévues ?

L’efficacité

Les activités, les résultats

L’impact

Direct

Les objectifs spécifiques

A-t-il atteint les résultats attendus ?

La qualité de ces résultats vat-elle permettre d’atteindre les objectifs prévus ?

Etc…

Le projet a-t-il atteint les objectifs spécifiques qu’il s’était fixés ?

Quels ont été les autres effets du projet ?

Etc…..

Etc…

Etc.

Les questions évaluatives plus détaillées

Les outils à prévoir pour y répondre

L’exemple politiquement incorrect et simpliste du projet maïs de Chihuahua

Mes collègues ardents écologistes ne me pardonneront pas pour cette illustration politiquement incorrecte, ni mes collègues agronomes, que son simplisme effarant énervera… Tant pis, si malgré tout et par bonheur elle éclaire le lecteur…

Un projet de développement agricole en zone soudano-sahélienne prévoit des actions de démonstrations, d’échanges et de formations, qui doivent persuader les paysans d’utiliser plus d’engrais et leur permettre de bien les utiliser. Ce recours à l’engrais et sa maîtrise doivent accroître les rendements, cet accroissement doit contribuer à l’augmentation du revenu des paysans. Ces actions doivent être conduites par les services agricoles de l’État que le projet doit appuyer et doter de moyens supplémentaires.

Le tableau logique de ce projet à l’allure suivante :

Tableau 20 : Le tableau logique du projet Chihuahua

Objectif Global

Objectif

Spécifique

Résultats Activités

Contribuer à l’amélioration du revenu des paysans de la zone de

Chihuahua

Contribuer à l’augmentation des résultats

économiques de la culture du maïs

Les paysans maîtrisent l’utilisation des engrais

Des essais en station et en milieu paysan pour mettre au point des références locales

Des formations

Les paysans convaincus de La mise en place de champ de démonstration chez les paysans l’utilisation de l’engrais y ont plus systématiquement recours L’organisation d’échanged entre paysans

Gret - Coopérer aujourd’hui n° 47 37

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Une première réflexion rapide sur l’architecture de son système de suivi débouche sur le tableau suivant :

Tableau 21 : La conception du dispositif de S.E. du projet Chihuahua

Les six critères

La cohérence

Externe

Interne

Les éléments du tableau logique

Moyens & Activités /

Contexte & « vision politique »

Moyens / Activités /

Résultats / Objectifs

L’efficience Les moyens / Les résultats

L’efficacité

Les activités /

Les résultats

Les principales questions évaluatives

Outils

La stratégie de l’intensification par l’engrais est-elle adaptée au contexte local ?

Les actions prévues sont-elles adaptées à ce contexte ?

Les moyens prévus sont-ils correctement dimensionnés ? Peuvent-ils suffire à rendre efficaces les services de l’État ?

….

Les moyens ont-ils été utilisés de façon optimum ?

Aurait-on pu atteindre les mêmes résultats de façon plus économe ?

Le projet a-t-il conduit les activités prévues ?

Les résultats des essais sont-ils convaincants ? Ont-ils permis de mettre au point les itinéraires techniques attendus ?

Combien de paysans ont été directement touchés par les actions de formation et d’échanges paysans ?

Qu’en ont-ils retenu et pensé ? Combien d’entre eux ont-ils effectivement modifié leur façon de cultiver le maïs et d’utiliser l’engrais ?

D’autres paysans dans leur voisinage ont-ils également modifié leur façon de cultiver ?

1) Une analyse des systèmes de production agricole de la région

2) Evaluation externe s’appuyant sur des

éléments de diagnostic institutionnel

3) Evaluation externe s’appuyant sur une comptabilité analytique qui permet d’isoler les coûts de certaines actions

4) Le système de suivi du projet

5) Le dispositif de suivi agronomique

6) Des enquêtes externes en milieu paysan

L’impact

direct imprévu indirect

La viabilité

Les objectifs spécifiques

Les objectifs globaux

Les résultats et les objectifs

La marge brute / hectare maïs a-t-elle effectivement augmenté sur les exploitations qui ont modifié leur itinéraire technique ?

Le revenu de ces paysans a-t-il augmenté ?

Que représentent ces évolutions par rapport à l’ensemble de la région ? Quelles sont les catégories de paysans qui ont effectivement profité des changements techniques favorisés par le projet ?

Comment vont évoluer les pratiques culturales des paysans qui ont déjà commencé à adopter les itinéraires techniques proposés par le projet ?

Ces innovations vont-elles se diffuser ? (Si oui à quelles conditions ?)

7) Des suivis d’exploitations agricoles, complétés par des enquêtes « économie familiale »

8) Le lien entre ces suivis d’exploitation et l’analyse des systèmes de production.

9) Des enquêtes externes (Cf. 6) réalisées à différentes périodes du projet

Evaluation externe s’appuyant sur les autres outils 7) et 9)

Même si les questions évaluatives identifiées ne sont pas exhaustives, ce tableau met en évidence que : une évaluation externe, sous la forme d’une mission courte, aurait bien du mal à répondre aux questions qui lui seront posées si elle ne peut pas s’appuyer sur des données issues du suivi et d’enquêtes préalables ; le suivi directement lié aux activités ne suffit pas pour répondre notamment à des questions de pertinence, d’impact, de « reproductibilité » qui impliquent d’aller chercher des informations au-delà des paysans qui ont été en relation directe avec le projet ;

38 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

certaines questions évaluatives impliquent de connaître l’opinion des paysans vis-à-vis des solutions proposées par le projet, et leurs intentions à leur égard. Ces informations ne peuvent pas être directement recueillies par le personnel du projet ; cette rapide identification permet de faire des choix dès la conception du projet, en matière de programmation et de budgets : certaines enquêtes n’ont de sens que si elles sont réalisées assez tôt pour pouvoir être répétées ; d’autres (le suivi agronomique) requerront des moyens internes spécifiques ; d’autres encore (les enquêtes externes) des budgets spécifiques.

On peut à ce stade imaginer différents développements au système de suivi et d’évaluation du projet : il peut rester assez fruste, se limiter (ou presque) au suivi, faire l’impasse sur certaines questions évaluatives, économiser ainsi les fonds du projet entièrement consacrés à

« l’action ». Il peut être plus ambitieux et exigeant, nécessiter alors le recours à des prestations externes et se montrer budgétairement plus gourmand.

Les dimensions du dispositif de suivi-évaluation sont généralement proportionnelles à l’ambition du projet, à vocation locale et sans promesse de lendemain, ou pilote destiné à préparer une extension à une plus vaste échelle.

Un dispositif de suivi et dévaluation sert aussi à identifier et à suivre les éléments du contexte déterminants pour l’avancée du projet

Le dispositif de suivi-évaluation doit également surveiller les éléments du contexte déterminant pour l’avancée ou la réussite du projet. Le tableau logique peut faciliter si nécessaire l’identification de ces éléments. Il permet de visualiser l’enchaînement logique escompté lors de la conception du projet : des activités sont prévues pour atteindre les résultats. Ces résultats attendus doivent concourir à des objectifs intermédiaires ou spécifiques, ces objectifs visés doivent contribuer à des objectifs globaux.

Mais les résultats des activités, et les effets de ces résultats, ne sont pas automatiques.

Ces résultats et ces effets dépendent aussi de conditions externes indépendantes de l’action du projet.

Figure 5 : Les résultats et l’atteinte des objectifs dépendent également de « conditions externes »

Les activités et les résultats ne conduisent pas automatiquement aux objectifs

Les activités

Les résultats

Les objectifs spécifiques

Gret - Coopérer aujourd’hui n° 47

Les objectifs globaux

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Les

activités

Des conditions externes

Les résultats

Des conditions externes

Les objectifs

spécifiques

Des conditions externes

Les objectifs globaux

Si on reprend l’exemple lamentable ci-dessus, l’enchaînement vertueux proposé, des activités aux objectifs, est loin d’être garanti par la seule action des agronomes et des pédagogues du projet.

Il ne suffit pas que les paysans soient convaincus de l’efficacité de l’engrais pour l’utiliser, il faut aussi que l’engrais leur soit toujours accessible localement et que les paysans aient les moyens (la trésorerie) pour l’acheter.

L’effet de l’engrais sur le rendement dépend aussi du climat.

L’intérêt économique de l’intensification de la production par l’engrais dépend aussi de l’évolution des cours locaux de l’engrais et du maïs.

Autrement dit, la réussite de l’action dépend (au moins) de quatre hypothèses :

Les circuits d’approvisionnement en engrais restent fonctionnels,

Les paysans ont (toujours) accès au crédit,

La pluviométrie reste favorable,

Les prix de l’engrais et les cours des céréales ne connaissent pas d’évolution défavorable.

L’étude de faisabilité du projet a du vérifier que ces hypothèses ont de grandes chances de se confirmer dans la réalité.

Figure 6 : Les conditions externes sur le projet « agro »

Des actions de démonstrations en milieu paysans, d’échanges paysans et des formations

Les agriculteurs sont convaincus de l’intérêt de l’engrais et en maîtrisent mieux l’usage

Les agriculteurs utilisent plus d’engrais sur le maïs

Les rendements en maïs augmentent

Les revenus des paysans s’améliorent

Les engrais sont effectivement disponibles

Localement. Et les paysans ont accès à des crédits de campagne

La pluviométrie est suffisante et permet effectivement à la plante de valoriser l’engrais

Les cours locaux du maïs et de l’engrais restent stables

40 Gret - Coopérer aujourd’hui n° 47

Les tableaux logiques simplifiés 2 : Des outils pour programmer, suivre, évaluer et présenter ses projets

Le dispositif de suivi du projet devra suivre les approvisionnements locaux en engrais, les principaux paramètres climatiques, et les cours des engrais et des céréales pour réagir en fonction à des variations significatives.

Ses agronomes souhaiteront sans doute avoir leur propre station météo. Ils se contenteront des statistiques du Ministère de l’agriculture pour suivre les cours des céréales qu’ils consulteront

également pour connaître l’évolution des prix des engrais au niveau national. Ils mettront en place un système d’enquêtes sommaires sur les principaux transporteurs qui desservent la zone pour suivre les approvisionnements en engrais. Ils demanderont à l’agence locale de la banque agricole les données dont elle dispose sur ses crédits de campagne. Ils incluront des questions sur l’utilisation de l’engrais et le recours au crédit dans l’enquête annuelle qu’ils comptent mettre en place auprès d’un échantillon d’agriculteurs.

Au-delà de cet exemple simpliste on retiendra :

La nécessité de suivre les facteurs externes indépendants de l’action du projet, qui peuvent cependant être déterminants pour la réussite du projet ;

L’intérêt d’une représentation claire de la logique d’intervention d’un projet pour faciliter l’identification de ces facteurs.

Cette démarche peut également être visualisée grâce à un tableau construit à partir de l’exemple ci-dessous (avec autant de lignes et de colonnes que l’on veut… tant que le tableau reste lisible).

Tableau 22 : Pour faciliter la conception des dispositifs de S.E. : b) Les éléments du contexte

D’un étage du tableau logique

à l’autre

De l’objectif intermédiaire à l’objectif final

Les relations de cause à effet

prévues

L’augmentation des rendements va se traduire par une augmentation des revenus des agriculteurs

Les conditions externes déterminantes pour cette

relation causale

Les outils qui permettent de suivre ces

conditions

Le rapport entre le prix d’achat

Les statistiques du Ministère de l’agriculture des engrais et le prix de vente L’enquête sommaire auprès des transporteurs des engrais ne se dégrade pas L’enquête annuelle d’un échantillon d’agriculteurs

Des résultats

« 2 » à l’objectif intermédiaire

En utilisant plus d’engrais, les agriculteurs vont augmenter leurs rendements

La pluviométrie est suffisante

Les données recueillies par la station météo du projet

Des résultats

« 1 » aux résultats « 2 »

Convaincus et formés, les agriculteurs utilisent plus d’engrais

Les démonstrations convainquent les agriculteurs de l’intérêt de l’engrais

Des activités aux résultats « 1 »

Les formations et les échanges paysans permettent aux agriculteurs de maîtriser l’usage de l’engrais

Les engrais adéquats sont disponibles localement