10-me. The World Bank Filet de sécurité sociale

SUIVI ET ÉVALUATION

VUE D’ENSEMBLE

Le suivi et l’évaluation (S&E) sont des composantes stratégiques de la gestion des programmes de filets de sécurité. L’information produite par le S&E est vitale en termes de rétroaction et permet d’améliorer l’efficacité d’un programme, de rendre le projet imputable devant le public et d’aider le gouvernement à mieux allouer les ressources budgétaires nécessaires. Le suivi et l’évaluation sont différents, mais complémentaires. Le suivi évalue l’exécution du programme face aux résultats attendus par le biais d’un processus continu de collecte et d’analyse des informations. L’évaluation, ou une appréciation objective de l’efficacité du programme, effectuée a recours à des outils spécialisés qui lui permettent de déterminer si un programme a atteint ses objectifs, d’estimer ses résultats concrets ou ses impacts et/ou d’identifier si les bénéfices du programme compensent ses coûts. Les programmes qui sont dotés de bons systèmes d’évaluation ont accès à des rétroactions qui permettent l’amélioration de la productivité du programme, de son efficacité et de son impact. Au cours des dernières années, un nombre croissant de programmes ont été articulés autour de systèmes de S&E basés sur les résultats. Cependant, les exigences en matière d’élaboration et d’opération de bons systèmes de S&E sont souvent mal connues.

APERÇU

Parties prenantes et processus.

La stratégie de S&E est souvent le résultat d’un processus de planification participatif orchestré par une unité de S&E autonome et composée de personnel spécialisé. Au cours de ce processus, et dans une perspective de consensus et d’approbation, il y a prise en compte des apports (indicateurs, arrangements institutionnels, stratégies de collecte des données, etc.) des parties prenantes clés, incluant les utilisateurs finaux. Les compétences en gestions de l’unité de S&E, la présence de systèmes de données nationaux et locaux, l’accessibilité de l’information, la disponibilité de la technologie et l’ampleur des ressources financières sont toutes des questions clés qui permettent de déterminer l’ampleur et la complexité des systèmes de S&E. Le suivi est généralement assuré par le personnel et les évaluations par des entités externes qui peuvent garantir l’impartialité des constants de l’évaluation --par exemple les universitaires, les organisations non gouvernementales (ONG), les groupes de réflexion ou les organisations internationales.

Arrangements de S&E.

Le cadre logique définit les buts, les objectifs et les stratégies d’un programme. Au moment de la planification, la

chaîne de résultats

permet d’identifier les résultats attendus du programme (réalisations), la façon d’atteindre ces résultats (intrants) et les mécanismes qui permettront au personnel de vérifier si les impacts des résultats ont bien été atteints (résultats/impacts finaux du programme). (Voir les exemples de la Jamaïque et de l’Éthiopie ci-dessous).

Questions méthodologiques clés.

Les résultats, les réalisations et les intrants doivent être mesurés et rapportés par le biais d’indicateurs spécifiques qui permettent de suivre les progrès et les résultats. Les mécanismes de collecte des données varient cepen-

VERSION 1

Avec le soutien de Social Safety Net Global Expert Team.

SUIVI ET ÉVALUATION

dant selon le type d’information recherché, le responsable de la collecte des données, la fréquence de la mesure et des comptes rendus sur les indicateurs. Les questions relatives aux sources de données et à l’harmonisation avec le système de gestion de l’information du programme sont déterminantes dans les choix qui sont effectués. En effet, tous les outils de S&E et les approches utilisés doivent être clairement définis et adaptés aux capacités et à l’expertise des acteurs impliqués.

Utilisation de l’information.

Les conclusions tirées du S&E sont essentielles à l’amélioration de l’exécution du programme et de ses résultats. Les informations provenant du S&E peuvent aider à prendre des décisions basées sur la réalité et même préparer une réforme du programme. Dans ce cadre, les résultats du S&E doivent être transmis aux parties prenantes et subséquemment traduits en mesures concrètes pendant l’exécution du programme.

CONSIDÉRATIONS CLÉS

z z informations désagrégées, présentées de façon compréhensible et à partir desquelles des concluions peuvent être des concluions. z z que et d’appuis gestionnaires que d’investissements coûteux en technologies de l’information.

z z gences en matière de rapports différentes, n’ont pas de structure d’appui interne suffisante et ne sont pas liés au plan stratégique du programme.

z z ment d’autorité et d’accès aux paliers de gestion supérieurs. Une unité de

S&E doit également être mise à l’abri des influences politiques. z z le programme est complexe. La tenue de réunion de suivi périodique permet de s’assurer que les buts du programme sont en vue. Les collecteurs de données et les chargés de saisie doivent travailler dans un environnement facilitateur et recevoir suffisamment d’incitatifs à une gestion efficace des données.

SUIVI ET ÉVALUATION

EXEMPLES DE SUIVI ET ÉVALUATION DANS LES PROGRAMMES DE FILET DE SÉCURITÉ

Jamaïque : meilleure pratique en matière d'élaboration d'un cadre de résultats et de mécanismes de suivi

Description

Le Projet de Protection Sociale de la Jamaïque dispose d'un système de S&E complet. Celui-ci décrit les principes et les contenus des composantes, la méthodologie applicable à tous les outils de S&E et leurs complémentarités respectives.

Le système de S&E comprend un MIS amélioré, des évaluations de processus qui permettent d'examiner la qualité des services, d'élaborer des propositions de services types et d'alimenter la préparation interne de visites inopinées. Le système prévoit également une évaluation d'impact qui apprécie les effets des changements apportés au programme, incluant l'introduction d'allocations accrues, d'allocations différentes pour l'éducation secondaire, et d'allocations plus importantes pour les garçons, une évaluation de l'exactitude du ciblage et une capacité d'audit interne renforcée.

Les audits annuels indépendants menés par l'auditeur général fournissent par ailleurs des informations utiles sur les progrès dans l'exécution du programme.

Éthiopie: Outils de S&E évolutifs dans un contexte de faible capacité

Description

L’Éthiopie est un exemple probant des besoins constants de simplification et d’adaptation et des difficultés d’opération d’un système de S&E dans un pays à faible revenu. Son Programme de Filets Productifs de Sécurité (PSNP) possède un bon système de S&E, qui permet de suivre les progrès accomplis en matière d’intrants, d’activités et de réalisations. Ses données facilitent l’imputabilité et la prise de mesures correctrices aux goulots d’étranglement identifiés. Le système est simple et prend en considération la faible capacité des unités de première ligne du programme.

Cependant, l’exécution du plan de suivi a rencontré plusieurs obstacles logistiques, puisqu’au cours de la première année, seulement 40 des 232 districts avaient transmis (souvent en retard) leurs rapports --et que les autres n’avaient produit aucun rapport. Les principales pierres d’achoppement comprenaient le manque de personnel local, le manque de qualifications, le roulement du personnel et la faiblesse des services publics dans certains districts (par exemple, 20 pour cent n’avaient pas accès à l’électricité).

Plusieurs systèmes additionnels ont permis qu’un minimum de données soit généré. Premièrement, afin de pouvoir

évaluer le nombre de bénéficiaires et l’état des versements, le programme a instauré un système de réponse d’urgence par échantillonnage qui permettait de collecter par téléphone deux fois par semaine les informations en provenance d’environ 80 districts. Deuxièmement, des équipes de réponse rapide comprenant 4 à 6 personnes ont été chargées d’effectuer des visites inopinées (quatre fois par an au palier fédéral et huit fois par an au palier régional). Troisièmement, le Bureau de Coordination de la Sécurité Alimentaire a institué un système d’audit itinérant responsable de l’examen de la conformité aux règles financières, de décaissement et de paiement et d’entendre les griefs et appels. Ce système devait également faciliter la transmission en temps voulu des informations relatives au respect des normes et non seulement au moment d’un audit annuel. Finalement, la majorité des 80 projets de travaux publics du PSNP ont

été revus deux fois par an afin d’examiner la qualité de la planification et de l’exécution. Entretemps, le programme a simplifié son système de S&E, notamment en diminuant de moitié lu manuel de S&E et en allouant des ressources supplémentaires à la formation du personnel impliqué dans les activités de S&E.

La simplification du système de S&E et l’élaboration d’un système de réponse d’urgence moins ambitieux se sont avérées d’excellentes réponses à la faiblesse des capacités. Même si le système de suivi formel commence à s’améliorer et à fournir des données plus fiables sur les activités, les outils de suivi complémentaires ont été conservés, notamment en raison du fait qu’ils permettent l’obtention d’une information en profondeur et souvent de meilleure qualité sur la performance générale du programme.

MONITORING & EVALUATION

Brésil: Exemple de feuilles de spécifications sur les indicateurs dans les programmes de transferts monétaires conditionnels

Description

Plusieurs programmes utilisent un modèle de présentation des spécifications sur un indicateur similaire à celui du programme Bolsa Familia du Brésil. La feuille précise comment les données seront collectées, analysées et saisies et décrit la formule de calcul de l’indicateur, la valeur (ou seuil) attendue, la source de l’information nécessaire à la saisie informatique de l’indicateur, la fréquence de calcul, le niveau de désagrégation et les principaux utilisateurs et utilisations de l’indicateur.

Mexique : Évaluation d'impact et prise de décision basée sur la réalité

Description

Les changements de gouvernement peuvent menacer sérieusement la survie des programmes sociaux. Pour contrer ce risque, le programme de transfert monétaire conditionnel PROGRESA du Mexique a investi dans une évaluation d'impact crédible et une stratégie de diffusion transparente. Afin de garantir la crédibilité des résultats, PROGRESA a opté pour une évaluation randomisée menée par un évaluateur externe. Plusieurs rapports d'évaluation en ont découlé. L'évaluation d'impact a notamment démontré que le programme était rentable, qu'il sélectionnait ses bénéficiaires de façon adéquate et qu'il avait un impact positif sur l'éducation, la santé, la nutrition et les choix alimentaires. Les résultats de l'évaluation, y compris les données d'enquête recueillies, ont été diffusés par internet dans le domaine public et largement retransmis. Des efforts spécifiques ont été faits afin que le congrès dispose d'une information complète sur les objectifs du programme, sa méthodologie et ses résultats. On a pris soin de s'assurer que PROGRESA n'était associé à aucun parti politique.

En 2000, alors que l’administration de Zedillo était remplacée par le gouvernement Fox, ce dernier était en mesure de prendre une décision éclairée sur la continuation du programme. En effet grâce aux preuves de son succès, le programme a été prolongé et étendu des zones rurales aux zones urbaines. Seul son nom initial n’a pas survécu au changement de gouvernement puisque le programme est maintenant connu sous le nom d’Oportunidades. Ensuite, le programme a acquis une telle crédibilité qu’au moment des élections de 2006, l’appui de tous les candidats importants lui a permis de survivre à un nouveau cycle électoral

AMPLEUR ET DISTINCTIONS

Les systèmes de S&E sont la marque d’une bonne gestion de programme. La nouvelle vague de programmes basés sur les résultats

--tels que les programmes de transferts monétaires conditionnels en Amérique Latine et les programmes d’aide à l’emploi en Éthiopie et en Argentine -- a élaboré et utilisé des systèmes de S&E intégrés qui ont généré des preuves solides que les programmes étaient bien implantés et atteignaient les résultats escomptés. Ces programmes ont prouvé que les bons systèmes de suivi aident à la tenue d’évaluations crédibles et que le suivi comme l’évaluation permettent l’obtention de rétro-informations permettant l’amélioration de la productivité, de l’efficacité et des impacts. Cependant, même si l’intégration du suivi et de l’évaluation est primordiale, il reste important de les distinguer.

Le suivi du programme

est un outil de gestion essentiel qui permet aux gestionnaires de superviser régulièrement l’exécution du programme, ou de déceler les irrégularités et difficultés qui demandent la prise rapide des mesures d’amélioration de l’exécution nécessaires l’atteinte des objectifs. Le suivi est un processus continu de revue de l’exécution du programme (intrants, activités, réalisations) et des résultats (produits et buts). Un bon système de suivi est complet et très utilisé. Les systèmes de suivi efficaces ont plus besoin d’orientation stratégique et d’appui institutionnel que d’investissements coûteux dans les technologies de l’information. Ils demandent des compétences adéquates, un intérêt gestionnaire et des financements ; ils sont longs à élaborer et à développer.

L’évaluation du programme

fait référence à l’analyse externe de son efficacité par le biais de méthodes spécialisées qui permettent de voir si le programme a rencontré ses objectifs, d’estimer ses résultats nets ou impacts et /ou d’évaluer si les bénéfices du programme compensent ses coûts. Les évaluations permettent d’identifier les facteurs qui empêchent ou favorisent l’atteinte des résultats visés et par

MONITORING & EVALUATION

conséquent de déterminer si l’exécution et les résultats sont conformes à la planification. Les types d’évaluation les plus utilisés dans les programmes de filet de sécurité concernent l’exactitude du ciblage, le respect des processus et l’évaluation des impacts. La valeur ajoutée des évaluations de programme est importante, mais jusqu’à tout récemment, les évaluations de programmes de filets de sécurité ont été plutôt rares dans les pays en voie de développement. Au cours des 10 dernières années cependant, les

évaluations de la justesse du ciblage et les évaluations d’impact ont été plus fréquentes dans les programmes de transferts monétaires conditionnels, ceci malgré leur rareté dans d’autres types de programmes.

L’évaluation de la précision du ciblage

permet de voir si les pauvres bénéficient des avantages du programme. Ce type d’évaluation est relativement peu couteux et peut être mené assez fréquemment, mais il reste beaucoup moins précis qu’une évaluation d’impact lorsqu’il s’agit de mesurer les impacts sur la réduction de la pauvreté. L’évaluation du ciblage quantifie la couverture et identifie les erreurs d’inclusion, ce qui permet de voir pourquoi les bénéfices du programme, prouvés ou non, ont ou n’ont pas eu d’impact sur les pauvres. Lorsque l’évaluation d’impact n’est pas possible ou suffisante, une évaluation du ciblage peut la compléter.

L’évaluation de processus

examine et explique certains des processus et activités du programme. Elle peut être employée pendant toute la durée d’un programme, du démarrage à l’obtention de la vitesse de croisière et lorsque les activités sont modifiées et demandent des ajustements. Au démarrage, l’évaluation de processus permet de suivre la mise en œuvre initiale, de résoudre sans délai les goulots d’étranglement et de répertorier les bonnes pratiques pour une utilisation future. Après la stabilisation et la maturation du programme, l’évaluation de processus permet une rétroaction permanente auprès des gestionnaires. Contrairement à une évaluation d’impact, l’évaluation de processus ne peut pas déterminer la causalité avec une marge d’erreur connue. Elle ne peut qu’identifier les causes plausibles du fonctionnement ou non-fonctionnements d’un programme. Ses observations sont sous-jacentes à plusieurs des améliorations apportées à l’efficacité et à l’efficience des programmes de filet social.

L’évaluation d’impact

estime l’effet causal du programme sur les résultats qu’il cherche à influencer -- c’est-à-dire qu’il mesure les changements dans le bien-être des participants qui peuvent être attribués aux éléments spécifiques du programme. Les impacts sont déterminés en comparant les résultats chez les participants au programme avec la situation des non-participants. Armés des preuves relatives aux facteurs qui expliquent les résultats, les décideurs peuvent opter pour une expansion, une modification ou l’élimination d’un programme donné. Les techniques spécifiques utilisées (randomisation expérimentale, quasi expérimentale ou non expérimentale) dans l’estimation des impacts varient en fonction du contexte, mais l’exercice conceptuel de base reste le même.

L’analyse du rapport coût-bénéfice

compare la valeur des impacts nets des résultats finaux, exprimée en termes monétaires, avec les coûts additionnels associés à l’exécution du programme, également exprimés en termes monétaires.

L’analyse du rapport coût-efficacité

estime les coûts monétaires nécessaires à l’obtention d’un changement dans les résultats finaux, exprimés en termes monétaires quantitatifs -- par exemple, le coût de la réduction d’un seul point de l’écart de pauvreté. Ce type d’analyse est utilisé en remplacement d’une analyse du rapport coût-bénéfice lorsque les résultats ne peuvent pas bien être évalués en termes monétaires.

SUIVI ET ÉVALUATION

SOURCES DE DONNÉES DE S&E

z z régulièrement des données administratives, particulièrement sur les intrants, les processus et les réalisations. Les différents ministères des

Ressources humaines assurent la gestion des informations concernant le personnel du programme et la comptabilité alors que les ministères des Finances suivent les flux financiers, incluant les coûts administratifs et la valeur des bénéfices du programme. D’autres systèmes suivent l’information relative aux différentes activités du programme, telles que l’éligibilité, le réenregistrement, les paiements et la vérification de la conformité aux règles du programme (par le personnel et les clients). z z sonnes appartenant à un groupe cible particulier, sélectionné avec soin sur la base d’un échantillon. Il peut s’agir par exemple d’enquêtes de mesure de la qualité de vie des ménages, d’enquêtes démographiques et sanitaires, ou encore de questionnaires sur les indicateurs de bien-

être essentiel. Les enquêtes de ménage fournissent avec une précision reconnue des estimés représentatifs d’une population en particulier, et ceci, à des coûts relativement moins élevés que ceux d’un recensement de la population, et des données sur de nombreuses caractéristiques des bénéficiaires. z z outils relativement simples sont utilisés pour la collecte périodique des opinions des participants. Les enquêtes restent une importante source d’information sur la qualité des services, les résultats, les contraintes dans l’accès aux services publics et la capacité de réponse des fonctionnaires du gouvernement. z z aperçu des activités et de la performance d’un programme. Les outils les plus courants sont les interviews d’informateurs clés, l’observation directe et les discussions en groupe de travail ou communautaires. Les informations qualitatives sont collectées par le biais d’entrevues individuelles intensives et souvent répétitives ; elles vont typiquement plus en profondeur que les questionnaires précodés et explorent la vision et les réactions des individus face au programme. z z différentes dimensions de la fourniture de services. Elles collectent notamment des données sur les intrants, les réalisations, la qualité, le prix et la supervision. Ces enquêtes sont comparativement plus coûteuses et demandent plus de temps que certaines des autres alternatives.

z z ment du programme ou de rapporter une irrégularité. Ce sont des outils importants de suivi des aspects clés de l’exécution au niveau local.

Les plaintes peuvent révéler un mauvais ciblage, des délais de paiement et des fraudes. Parmi ces mécanismes, il faut noter les assemblées, les cartes de rapports individuels/ tableaux de bord communautaires et la rétroaction directe par le biais d’une assistance téléphonique, de l’ombudsman, de messages texte ou de l’internet. z z déterminer si le programme est mis en œuvre tel que prévu.

SUIVI ET ÉVALUATION

CHAÎNE DE RÉSULTATS

Le cadre logique

permet de clarifier les objectifs d’un projet, d’un programme ou d’une politique. Il identifie les liens causals attendus (la logique du programme) par le biais d’une chaîne de résultats constituée d’intrants, d’activités, de réalisations, de résultats et d’impacts (résultats finaux). L’examen des liens de cause à effet facilite l’identification des

indicateurs

de performance applicables à chacun des liens de la chaîne, ainsi que les risques qui menacent l’atteinte des objectifs. Le cadre logique permet également d’encourager les partenaires à clarifier leurs objectifs, identifier leurs activités, revoir les progrès et prendre des mesures correctrices.

Chaîne de résultats: Exemples d’indicateurs pour travailler sur

Les intrants, réalisations et résultats attendus du cadre logique sont

les travaux publics.

formulés et documentés sur la base d’indicateurs spécifiques qui permettent de suivre les progrès et les résultats. Les indicateurs efficaces seront SMART: spécifiques, mesurables, attribuables, réalistes et ciblés (targeted)

Le tableau suivant présente de façon schématique les processus clés d’une chaîne de résultats et des exemples d’indicateurs de programme de travaux publics. Voir également l’exemple de la Jamaïque ci-dessus.

Liens clés d'une chaîne de résultat

Intrants

Activités

Réalisations

Résultats

Impacts

Définition Exemples d'indicateurs pour travaux publics

Ressources utilisées pour la conduite des activités principales du projet/programme

Actions prises pour convertir les intrants en réalisations

La fourniture de la nourriture et des services à la population cible (côté de l'offre)

Effets intermédiaires résultant directement des réalisations du projet qui peuvent s'avérer nécessaires à l'atteinte des impacts recherchés (côté de la demande)

Changements plus significatifs dans la situation des bénéficiaires et qui reflètent les objectifs premiers du projet.

•

Dépenses budgétaires en salaires, outils intermédiaires et administration

•

Nombre d’employés du programme par niveau

Activités liées à l'exécution et au projet, incluant la mise sur pied du ciblage, les paiements, le MIS et les arrangements sur le site des travaux

•

Nombre de projets par type, par région et par mois

•

Kilomètres de route réalisés

•

Nombre de jours de travail par bénéficiaire

•

Salaires payés / nourriture distribuée aux travailleurs

•

Amélioration marquée de la consommation alimentaire du ménage

• pourcentage des bénéficiaires du programme déclarant un accès constant à la nourriture au cours des 12 derniers mois

•

Pourcentage des ménages se déclarant satisfaits des biens communautaires mis en place.

x millions de ménages atteignent la sécurité alimentaire dans les 3 à

5 ans.

D’un point de vue gestionnaire, les systèmes de suivi qui enregistrent uniquement les informations sur les intrants, les réalisations et les résultats sont utilisés bien en dessous de leur potentiel. La même information peut servir à l’élaboration d’indicateurs de suivi de la performance --indicateurs qui mesurent le rapport coût-efficacité ou l’efficience d’un sous-ensemble des activités du programme. Ces indicateurs de performance clé sont identifiés par diverses étiquettes, telles que l’efficience, l’efficacité ou les indicateurs de production.

SUIVI ET ÉVALUATION

LES RESSOURCES

Grosh, Margaret, Carlo del Ninno, Emil Tesliuc, and Azedine Ouerghi. 2008. For Protection & Promotion: The Design and Implementation of Effective

Safety Nets. Washington, DC: World Bank.

Khandker, Shahidur R., Gayatri B. Koolwal, and Hussain A. Samad. 2010. Handbook on Impact Evaluation: Quantitative Methods and Practices. Washington, DC: World Bank.

Macedonia Conditional Cash Transfer Project (CCTP). 2009. “Terms of Reference for the Project Preparation Monitoring & Evaluation of the CCTP.”

Macedonia.

Rawlings, Laura. 2010. “Monitoring and Evaluation: The Foundations for Results.” Safety Nets Core Course, World Bank, Washington, DC.

Rawlings, Laura, and M. Honorati. 2010. “Results Readiness in Social Protection and Labor Operations.” Social Protection and Labor, Human Development Network, World Bank, Washington, DC.

—. 2010. “Technical Guidance Notes for Social Safety Nets Task Teams. Results Readiness in Social Protection and Labor Operations.” Social

Protection and Labor, Human Development Network, World Bank, Washington, DC.

Steta, Maria Concepción. 2010. Evaluando Impacto de los Programas de Desarrollo: De Promesas a Evidencia. Taller Nacional Sobre Evaluación de Im-

pacto. San Salvador, El Salvador: World Bank.

Para acceder a los enlaces de recursos y demás publicaciones, vaya a worldbank.org/safetynets/ publications. Para los estudios de caso y red de seguridad “how to” , por favor visite worldbank.org/safetynets/howto.