Evaluation database

Evaluation report

2011 Guinea: Rapport d'évaluation du programme protection de l'UNICEF Guinée 2007-2011



Author: Play Therapy Africa

Executive summary

“With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System". Within this system, an external independent company reviews and rates all evaluation reports. Please ensure that you check the quality of this evaluation report, whether it is “Outstanding”, “Good”, “Almost Satisfactory” or “Unsatisfactory” before using it. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report.”

Introduction

Ce rapport a pour objectif de rendre compte de l’évaluation indépendante du Programme Protection de l’enfant mis en œuvre entre 2007 et 2011 par le Gouvernement de la Guinée Conakry, la société civile, les ONG et le Bureau pays UNICEF, grâce aux ressources financières, humaines et logistiques offertes par la communauté des donateurs a travers l’UNICEF. L’évaluation a été entreprise sur la demande de l’UNICEF et facilitée par le Comité National composé de l’UNICEF, du Gouvernement et de la Société Civile.

Cette évaluation du programme protection de l’enfant est un exercice qui se passe à la fin du cycle de programmation afin de préparer le prochain cycle quinquennal.

L’évaluation a été conduite par une organisation externe indépendante (PTAfrica1) conformément aux recommandations faites en février 2010 par l’équipe d’auditeurs qui s’est penchée sur la gouvernance à l’UNICEF, ses programmes et ses opérations en Guinée entre 2008 et 2009. Il s’agissait pour les auditeurs de déterminer a chaque niveau de ces trois dimensions, l’adéquation des pratiques et l’effectivité dans la gestion des risques d’une part, et d’autre part, l’identification des risques majeurs pouvant entraver l’atteinte des résultats du programme. L’analyse des auditeurs a porté sur les différentes composantes du programme protection de l’enfant, les avances financières faites aux partenaires, la mise en œuvre des objectifs programmatiques et les rapports périodiques d’activité. Bien que le secteur de la protection de l’enfant ait atteint un certain nombre de résultats significatifs, les progrès (avancées) documentés ne permettaient pas, selon les auditeurs, d’atteindre les objectifs stratégiques du programme. Alors que les problèmes de l’enfance maltraitée, des femmes abusées et exploitées, devaient être connues et par conséquent devaient servir de base à la révision des politiques sociales, au renforcement du cadre légal de protection de l’enfance et à l’élaboration des plans d’action concertés et coordonnés, pour les cinq (5) années du plan de coopération UNICEF – Gouvernement 2007 – 2011.

Cette recommandation s’inscrit dans le cadre d’une amélioration de l’approche stratégique utilisée par le secteur protection de l’enfant sur comment amener les différents acteurs à revoir leurs stratégies d’intervention pour atteindre, à la période indiquée, les résultats attendus du programme de coopération 2007-2011 entre l’UNICEF et le Gouvernement Guinéen.

Dans cette démarche, l’UNICEF et ses partenaires ont pris l’initiative de financer et faciliter une évaluation dudit programme, centrée sur les avancées faites par l’UNICEF et ses partenaires impliqués dans la mise en œuvre du programme de coopération. Il s’agit notamment des partenaires gouvernementaux, des ONG impliquées dans la mise en œuvre, et des communautés de base y compris les organisations de jeunes et de femmes.

Objectifs de l’Etude

L’objectif général de la démarche est celui de faire le point sur les progrès réalisés et les changements sociaux visibles par rapport à la situation des enfants et des femmes en Guinée Conakry. L’étude fait ainsi une évaluation de la pertinence, l’efficience, l’efficacité, la durabilité et l’impact des interventions de l’UNICEF dans le domaine de la protection des enfants dans les zones de concentration du programme de 2007 à 2011.

L’étude se focalise sur les forces et les faiblesses du partenariat stratégique entre UNICEF et ses partenaires de mise en œuvre, la pertinence des approches, l’effectivité et la qualité de la mise en exécution des activités. L’étude met aussi l’accent sur la capacité des acteurs à mettre en œuvre des projets viables, durables, et l’impact de leurs actions sur les enfants qui sont en derniers ressorts les vrais bénéficiaires des interventions. Pour finir, l’étude présente des pistes de réflexion programmatique sur la base des écarts identifiés et des défis à relever pour l’atteinte des résultats du programme de coopération.

Cette évaluation renseignera le management et les intervenants dans le domaine et servira de base de départ à l’élaboration d’une nouvelle stratégie d’intervention avec une cartographie des intervenants capables sur toute l’étendue de la Guinée pour que les enfants soient mieux suivis et aient un meilleur accès aux services de qualité de prévention et de réponse dans tous les domaines de la protection. Le focus de l’évaluation est aussi celui de faire une analyse du positionnement stratégique actuel de l’UNICEF dans le cadre de la protection de l’enfant. Est-ce que cette stratégie est à maintenir pour le prochain cycle de programmation, et sinon, quels changements sont nécessaires pour actualiser le rôle de l’UNICEF en termes d’avantages comparatifs ?

Méthodologie

Cette évaluation met l’accent sur le cycle de la programmation générale de l'UNICEF, mais appliqué au secteur de la protection de l’enfant. Dans ce cycle, la mise en œuvre des programmes n'est qu'un élément d'une série d'étapes qui pourront améliorer l'efficacité du programme de protection (voir Figure 1). Le modèle du « cycle de programmation » illustre divers facteurs à prendre en considération lors de l'élaboration d'un programme de protection (et donc des facteurs qui seront prit en considération lors d’une évaluation).

Une évaluation efficace ne devrait pas être considérée comme un “événement” lorsqu’elle intervient à la fin d’un programme, mais un processus constant qui aide les décideurs à mieux comprendre le programme : quel est son impact sur les bénéficiaires, les agences partenaires et la communauté ? Comment il est influencé ou impacté par les facteurs internes et externes ? La simple réflexion sur les outils d'évaluation à utiliser est une autre manière de collecte et d’analyse des données qui pourraient être importantes pour la prise de décision tout au long de la vie d'un projet.

Les méthodes d'évaluation utilisées entendent moins prouver que le programme de protection a bien ou mal fonctionné, que de mesurer le chemin parcouru par le programme vers l’atteinte de ses objectifs. L’intervention est évaluée dans la perspective de montrer comment l'expérience pourrait aider dans la planification des stratégies futures. Par conséquent, cette évaluation ne devrait pas être uniquement considérée comme une mesure de responsabilisation imposée au programme, mais plutôt comme un outil de gestion et d'apprentissage pour l'UNICEF, le programme et les praticiens sur le terrain qui peuvent bénéficier de l'expérience des autres programmes et projets. L'identification des lacunes ne devrait, par conséquent, pas être considérée comme la preuve de l'échec du programme, mais plutôt comme une occasion d'apprendre et d'améliorer sa programmation.

Description des méthodes de collecte de données et d’analyse des procédures

L’évaluation utilise des méthodes structurées et cohérentes de collecte et d’analyse de l’information relative au programme. Les étapes suivantes ont été entreprises pour atteindre les objectifs de l’évaluation :

Mise en place d’une équipe d’évaluation. Une équipe d’évaluation a été mise en place par PTA, mettant ensemble trois professionnels internationaux avec des profils de protection de l’enfant, de genre, de gestion et de justice juvénile. Un assistant local a été également identifié mais a abandonné au cours de l’évaluation en raison d’engagements personnels. L’étude a été menée de mai à septembre 2011. Des missions internationales ont été organisées en mi-juin et juillet. Une revue littéraire a été conduite au début de la consultation. Jusqu’ici, la majorité des études, documents, rapports et évaluations étaient collectés pendant la première visite de terrain et consultés en profondeur entre la quatrième et la seconde visite. Avant la visite initiale, l’équipe proposée par l’UNICEF détenait des éléments à revoir, s’essayait de fixer des objectifs mesurables, et s’informait sur le contexte de l’évaluation.

Considérant que la planification et l’exécution d’une évaluation est un effort collectif, le processus a impliqué les chefs du programme, le personnel, les partenaires, les bénéficiaires et même les institutions et organisations qui n’avaient pas directement reçu un appui technique et/ou financier de la part du programme protection de l’UNICEF.

Mise en place du Comité de Pilotage. Un Comité de Pilotage avec des représentants du gouvernement, de l’UNICEF, de la société civile, des experts régionaux et de personnes ressources a aussi été mis en place et consulté a différents niveaux du processus de l’évaluation. Les personnes des institutions de la société civile sélectionnées pour le Comité de Pilotage n'ont pas reçu directement d’appui technique ni financier de l’UNICEF. Le Comité a eu la tache de revoir si nécessaire la pertinence des outils méthodiques présentés, exprimé des idées et opinions sur comment mieux choisir les personnes, faciliter les réunions des informateurs et des personnes ressources, donner leurs commentaires sur les premières versions du travail. Le Comité a aussi un rôle clé dans la fourniture des informations sur les documents collectés lors des visites de terrain.

Le processus participatif. Mais le but de cette analyse n’a pas seulement été celui de réaliser un document scientifique de référence et d’actualité, il est aussi celui d’entamer - avec des partenaires - un processus participatif de partage d’objectifs et de visions pour l’avenir de la protection de la femme et de l’enfant en Guinée. De ce fait, le résultat attendu ainsi que son processus de réalisation ont eu la même importance. Si le processus participatif de réalisation de l’étude a été bien conduit, et si l’investigation scientifique et l’analyse réalisée sur la base des données disponibles ont été de qualité, l’étude deviendra de ces faits un outil important de définition des stratégies futures, de dialogue sur les priorités, et de formulation de politiques nationales et régionales en Guinée. En outre, l’actualisation de la situation de protection des enfants sur la base d’une expérience accumulée de situations d’urgence dans le pays devra permettre une meilleure connaissance de cette situation et son exploitation à des fins de plaidoyer pour l’adoption et le financement de politiques sociales ciblant les intérêts des enfants et une meilleure allocation de ressources en faveur des groupes vulnérables.

L’évaluation créa ainsi un processus participatif, des perspectives à valeurs multiples et impliqua une représentation de personnes et des institutions intéressées par le programme. L’analyse a impliqué l’ensemble des parties prenantes : les communautés de base (leaders d’opinion, populations, autorités traditionnelles…), les enfants et les femmes à travers des enquêtes qualitatives (Focus Group), les partenaires gouvernementaux, la société civile (ONG et OSC), les prestataires de services, les agences du Système des Nations Unies.

La recherche participative proposée a visé à consulter le nombre le plus ample possible des parties prenantes. L'usage de méthodes qualitatives a permis à la fois de développer le sujet d'étude et d’interpréter les informations obtenues en assurant une large base consultative et participative. Les méthodes qualitatives utilisées ont permis de gagner en profondeur dans l'analyse du système de protection, tout en donnant les caractéristiques quantitatives de base nécessaires pour mieux saisir le contexte du sujet d’étude et les interventions en cours. Pour cela, diverses techniques basées sur l'administration de questions ouvertes et l'exploration du langage, ont été proposées : les entretiens avec les personnes ressources (entretiens libres ou semi-directifs), les groupes de discussion, les visites et enquêtes de terrain, et la participation de groupes cibles (femmes et enfants en particulier).

Comme expliqué à chaque intervenant, le but de ces informations approfondies n’est pas de critiquer ce qui existe, mais de travailler ensemble avec les partenaires nationaux pour mettre en lumière les faiblesses et forces des interventions et démontrer où un appui pourrait apporter un surplus de profondeur et de qualité sur les indicateurs nationaux de protection de l’enfant.

Evaluation du contexte. Il a été important de dresser le contour du contexte dans lequel le programme a été mis en œuvre. La République de Guinée a été confrontée les cinq dernières années à un nombre important de défis pour son développement, plus particulièrement au niveau des tensions politiques qui ont conduit à la situation de crise à différents réprises. Même lors de la seconde visite de terrain, un coup d’état manqué contre le nouveau président élu démocratiquement a démontré la fragilité du pays, de ses institutions et de ses lois. La présente évaluation garde donc bien claire à l’esprit comment le contexte sociopolitique a évolué pendant les dernières cinq années et comment ceci a pu avoir un impact direct sur la capacité de l’UNICEF et de ses partenaires à répondre au mandat institutionnel de l’organisation, ses priorités, et ses politiques d’intervention pour le bien être des enfants en Guinée.

En fait, la nature très instable du contexte sociopolitique est l’une des variables principales pour comprendre la magnitude de l’impact du programme du pays dans le secteur protection, ainsi que la qualité du travail accompli. Toutes observations et évaluations accomplies au cours de cette analyse sont faites à la lumière de plusieurs changements inattendus du contexte extérieur. L’équipe a donc adopté une approche réaliste en essayant de vérifier ce que le programme protection de l’UNICEF a accompli par rapport des engagements pris sur papier au début du programme de coopération 2007-2011, mais aussi en essayant de vérifier ce qui était effectivement faisable lors des crises multiples.

Un plan d’évaluation a été développé et adopté pour commentaires. Un plan d’évaluation est une feuille de route ; le plan et les méthodes qui ont été utilisés pour conduire l’évaluation et analyser les conclusions, étaient développés et présentés au personnel de la section protection de l’UNICEF et au Comité de Pilotage. Des commentaires et des feedback ont été faits et les changements nécessaires introduits pour finaliser le plan.

Les différentes méthodes qui ont été utilisées pour collecter les données pour l’évaluation comprennent :

  • Collecte et analyse de toutes les études pertinentes 2007-2011 (analyse des données secondaires).
  • Collecte et analyse de toutes les informations pertinentes auprès des informateurs clés (en incluant enfants, femmes et communautés dans les zones sélectionnées) et personnes ressources (analyse des données primaires).
  • Entretiens avec les personnes ressources (entretiens libres ou semi-directifs), les groupes de discussion, les tables rondes, et la participation de groupes cibles (femmes et enfants en particulier).
  • La mise en place du Comité de Pilotage et sa consultation régulière (UNICEF, Gouvernement, Société Civile). Cela a inclus aussi les professionnels clés du gouvernement, des ONG, etc.

Du fait que c’est une évaluation du plan d’action quinquennal du programme protection (CPAP 2007 – 2011) et que chaque plan d‘action annuel du programme comprenaient de multiples activités et partenaires, l’équipe a sélectionné un échantillon de partenaires et d’activités de chaque plan de travail pour être évalués tout au long de la période des 5 années. Des rapports de mise en œuvre de la part des partenaires du gouvernement et de la société civile ont été compilés et prélevés des archives de l’UNICEF. Un total de 186 documents ont été revus, a travers les rapports annuels, les rapports périodiques, les documents de politique, les communications officielles, les études publiées, les recherches et évaluations non publiées. A cause de la période de l’évaluation (mi 2011), les documents concernant cette dernière année de la mise en œuvre du CPAP ont été sous représentés dans l’échantillon considéé. Mais, au contraire des autres années du programme, la majorité des activités de l’année 2011 sont en cours d’exécution lors de la période d’évaluation, c’est pourquoi elles étaient mieux considérées par l’équipe d’évaluation lors des visites de terrain pour observation directe des résultats.

Visites de terrain. Juste après la finalisation du plan d’évaluation, les informations ont été rassemblées en utilisant les procédures et les outils développés pour la collecte des données.

L’équipe d’évaluation était consciente et a pris en considération l’importance des questions éthiques et culturelles, étant entendu que le programme fournit des services et organisent des formations au niveau communautaire. C’est ainsi que l’équipe s’est attelée a assurer la pertinente de l’évaluation et son respect aux profils culturels et individuels des bénéficiaires. Les participants ont été informés qu’ils prennent part à une évaluation et ont été assurés que la confidentialité de leurs propos sera maintenue.

Le premier tour de la collecte de données a été conduit en avril – mai 2011, et la seconde mission en juillet 2011. Lors des deux missions, des représentants de l’UNICEF et des différents partenaires, aussi bien gouvernemental que non-gouvernemental, ont été consultés et interviewés. (Voir l’Annexe 1 pour la liste des personnes consultés et interviewées).

Analyse des conclusions. L’information collectée a été alors analysée afin de valider ce qui a été rapporté comme réalisations et identifier les zones qui pourraient avoir besoin de changements. Ce processus a été mené autant que possible a trois niveaux : revue des objectifs du programme, par rapport aux priorités et aux besoins nationaux ; revue des rapports d’étapes du programme, eu égard a ses objectifs ; et en dernier lieu revue des rapports d’étapes du programme, en comparaison avec ce qui pourrait être observé sur le terrain. Ceci génère la cascade des questions possibles suivante:

  • Est-ce que les objectifs stratégiques déclarés du programme protection de l’UNICEF/Gouvernement sont conformes aux besoins globaux du pays et aux politiques sectorielles en général ? Sont-ils en cohérence avec l’agenda global de l’UNICEF en matière de protection de l’enfant ?
  • Est-ce que la mise en œuvre et les rapports sur les résultats atteints sont conformes aux objectifs stratégiques ?
  • Est-ce que les résultats / actions observables sur le terrain sont conformes aux rapports de mise en œuvre ?

L’appui constant du personnel de l’UNICEF et ses partenaires de mise en œuvre a aidé de façon significative à contextualiser et interpréter les données. L’ouverture d’esprit et la disponibilité dont ils ont fait preuve à fournir, à tout moment, des informations additionnelles sur papier n’étaient pas suffisant pour permettre une compréhension juste du programme.

Pour rappel, nous dirons que cette évaluation ne mettait pas l’accent sur les normes de performance cadre, ni sur le calcul du pourcentage des bénéficiaires qui ont démontré des changements ou adopté des comportements, particulièrement après qu’une intervention ait été accomplie. Ceci demandait une évaluation extensive du programme à travers une série de paramètres. Cette évaluation s’interroge plutôt de savoir s’il y a eu de changements significatifs en matière de connaissances, d’attitudes, et/ou de comportements chez la population cible du programme en général, et si les caractéristiques particulières du programme sont plus ou moins susceptibles de promouvoir des changements de comportements.

Rédaction du rapport. Comme dernière étape, le présent rapport a été préparé pour présenter les conclusions les plus significatives et suggérer une feuille de route pour la programmation future de la protection de l’enfant.

1 Voir www.ptafrica.org pour plus d’information



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

New enhanced search