We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2011 Togo: Évaluation de l’impact du projet « Appui à la création d’un environnement ami des enfants à travers la participation communautaire dans les régionsdes Savanes, de Kara et de la Maritime »Financement du gouvernement du Japon



Author: Mr TANKOANO Mathieu, Dr SAWADOGO François, Mr VALEA Dieudonné

Executive summary

 

“With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System". Within this system, an external independent company reviews and rates all evaluation reports. Please ensure that you check the quality of this evaluation report, whether it is “Outstanding”, “Good”, “Almost Satisfactory” or “Unsatisfactory” before using it. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report.”

Background:
Le Togo a connu 15 années d’instabilité socio-politique et économique. Pendant cette période, les indicateurs de développement ont stagné voire baissé. Actuellement, 62% des Togolais vivent en dessous du seuil de pauvreté et 79% de la population rurale vit dans l’extrême pauvreté. En plus de cela, l’augmentation des prix des denrées alimentaires et de l’essence ont ralenti les quelques progrès enregistrés et affecté les couches de la population les plus pauvres et les plus vulnérables.


En octobre 2007, des élections législatives se sont déroulées dans le pays. En septembre 2008, une Table Ronde qui s’est tenue à Bruxelles réunissant la communauté des bailleurs de fonds et le Gouvernement Togolais a marqué la reprise de l’aide internationale dans le pays.

Dans ce contexte, le Gouvernement du Japon a signé un Accord de Partenariat avec l’UNICEF s’inscrivant dans le cadre du Programme de Coopération Togo-UNICEF et allouant un montant de 4,374,638 USD pour améliorer l’accès des enfants Togolais aux services essentiels de santé, d’éducation et d’eau, hygiène et assainissement en vue de leur développement harmonieux.

Le partenariat a ciblé trois (3) régions en se basant sur la pauvreté chronique des communautés et l’accès difficile des enfants aux services sociaux de base à cause de l’éloignement, du manque de personnel et de l'état de délabrement des infrastructures de santé, d'éducation, d’eau et d’assainissement. De plus, chaque année, ces régions, subissent des aléas climatiques qui entrainent tant une désertification que des inondations récurrentes et un niveau élevé d'insécurité alimentaire.

• Maritimes (les préfectures de Lacs, Vo, Afagnan)
• Kara (Kara les préfectures de la Kéran, Dankpen et Assoli)
• Savanes (les préfectures de Kpenjal, Tandjaoure, Oti)

Purpose/Objective:
i) mesurer les effets directs et l'impact des actions du projet japonais pour atteindre les résultats du programme en matière d'Education d’Eau, Hygiène et Assainissement et de la Santé des enfants (filles & garçons) dans les localités retenues;
ii) mesurer les effets directs et l'impact des résultats ci-dessous et évaluer la mesure dans laquelle le programme les a atteints;
iii) vérifier l’adéquation du projet par rapport aux politiques de l’Etat et aux besoins des populations bénéficiaires dans le domaine de l’éducation, la santé et l’eau et l’assainissement.
iv) répertorier les changements à apporter pour permettre au programme de contribuer de façon optimale aux priorités de l’UNDAF et du DSRP.

L’évaluation portera sur les points essentiels suivants :
- la pertinence du projet
- l’efficacité des activités mises en œuvre
- l’efficience des actions mises en œuvre
- les impacts du projet
- la durabilité des actions

L'évaluation sera concentrée sur les trois interventions
• Education Primaire
• Santé
• Eau, Hygiène et Assainissement


Methodology:

2.2 Méthodologie de l’évaluation

La démarche méthodologique adoptée pour l’évaluation du projet s’appuie à la fois sur une évaluation basée sur le cadre logique du projet et sur une démarche qualitative. Ces deux démarches permettent d’apprécier la performance du projet par rapport à l’atteinte des objectifs visés et des résultats attendus, son efficience, ses effets et sa durabilité.
L’évaluation s’est articulée autour de trois phases essentielles : i) le cadrage méthodologique et la conception des outils de collecte de données ; ii) la collecte des données quantitatives et qualitatives à travers une recherche documentaire, une enquête de terrain et des visites de sites ; iii) le traitement et l’analyse des données primaires et secondaires et la rédaction du rapport.

2.2.1 Collecte des données

Plusieurs méthodes et outils d’évaluation ont été utilisés pour collecter les données nécessaires à cette évaluation. Des guides d’entretiens semi-directifs sur les opinions et les représentations des parties prenantes des thèmes couverts par l’étude on été élaborés.
Ainsi, après les analyses documentaires, des enquêtes d’opinion à travers des entretiens individuels et des focus groups, des visites de terrains, ont permis de recueillir des données primaires pour l’analyse des différents aspects de ce projet. La collecte des données a eu ainsi pour objectif de recueillir le point de vue des parties prenantes sur:
• la mise en œuvre du projet
• les résultats obtenus au regard des objectifs visés dans les différentes composantes du projet
• les effets et impacts du projet sur le renforcement de l’offre d’éducation et sur la santé de la mère et de l’enfant, par la création d’un environnement favorable aux enfants à l’école et à la dispensation de soins de PTME/VIH et de nutrition dans les formations sanitaires sites du projet
• les acquis, les bonnes pratiques, les défis et les solutions à envisager pour réussir le pari de l’EPT en 2020.

Les entretiens (individuels et focus group) ont visé les autorités centrales, les autorités régionales (Education, santé, plan) les responsables d’USP, les directeurs d’écoles, les élèves, les responsables des ONG Aide et Action et CREPA, et les responsables de programmes au niveau de l’UNICEF.
Pour apprécier les opinions des populations bénéficiaires sur la mise en œuvre du projet et les changements intervenus, une enquête par questionnaire semi structuré auprès d’un échantillon représentatif de parents dans 22 villages des régions cibles, a été réalisée.

2.2.2 Echantillon observé et données collectées

 Echantillonnage des sites
Un échantillonnage représentatif, prenant en compte les caractéristiques des différentes régions, préfectures et entités scolaires et sanitaires (EPP et USP) concernée par le programme a été constitué sur la base des TDR revus. La nature et l’importance des ouvrages réalisés dans les sites ont été également prises en compte (construction, réhabilitation, existence d’ouvrages d’eau et d’assainissement).

Le tableau ci-dessous, présente la liste des sites retenus dans l’échantillon, le type et le nombre de coll
Ainsi, l’échantillon a concerné dix-sept (17) écoles et dix-sept (17) USP, soit trente-quatre (34) des sites concernés par le projet.

 Entretiens individuels
Les entretiens individuels aux niveaux central et régional ont concerné dans les trois régions tous les Directeur régionaux impliqués dans le projet « Appui à la création d’un environnement ami des enfants dans les régions des Savanes, de la Kara et de la Maritime». Ainsi, dans chacune des régions, des directeurs et responsables des ministères de la Planification, du Développement et de l’Aménagement du Territoire, de l’Education nationale et de la Santé ont été interviewés.
Au niveau préfectoral, des responsables dans les inspections de l’éducation préscolaire et primaire et dans les districts sanitaires ont également été rencontrés. La visite dans ces directions avait pour but de collecter des données statistiques.
L’administration tant régionale que préfectorale s’est fortement mobilisée pour faciliter la collecte des données sur le terrain.

 Focus group élèves
Les focus group ont été réalisés dans 16 des EPP visitées. Ils ont concerné au total 192 élèves des différents cours (CP au CM) dont 79 filles. Le tableau n°3 ci-dessous indique la répartition des élèves interviewés selon le sexe et par région.

 Enquête ménage
L’enquête ménage a concerné 440 personnes dont 31% de femmes sur l’ensemble des trois régions.
Une technique de sondage aléatoire systématique a été employée afin de prendre en compte les caractéristiques des populations cibles. Le graphique ci-après montre que 68% des parents enquêtés sont des chefs de ménage homme et 29% des chefs de ménage femmes.

 Visites des ouvrages
Des visites de terrain ont permis d’apprécier l’existence et la qualité des ouvrages qui devraient être réalisés. Des prises de vue et des films ont permis d’illustrer les différentes infrastructures.

2.2.3 Traitement et analyse des données

Les logiciels Access, Excel, SPSS ont été utilisés pour la saisie, le traitement et l’analyse des données. Il a été procédé à une analyse à la fois quantitative et qualitative selon les données recueillies et suivant les critères habituels d’évaluation des projets : pertinence, efficacité, efficience, effet/impact, durabilité. Cette analyse a été consolidée par des données secondaires issues des annuaires statistiques de la santé et de l’éducation, du document du projet et des différents rapports d’activités des structures de mise en œuvre. Par ailleurs, diverses revues documentaires nationales et internationales ont été utilisées.


Findings and Conclusions:
L’analyse a porté sur la pertinence du projet, son efficacité, son efficience, ses effets et sa durabilité. Elle a permis d’apprécier la performance du projet, de tirer les leçons apprises de sa mise en œuvre et de faire des recommandations.

De l’appréciation de la pertinence, il résulte que le projet est en adéquation avec les politiques nationales en matière d’éducation, de santé, d’approvisionnement en eau potable, d’hygiène et d’assainissement. Les objectifs poursuivis par le projet cadrent parfaitement avec la Politique nationale d’éducation (EPT) et la mise en œuvre du Plan national de développement sanitaire (PNDS) 2009-2013. En plus il s’inscrit en droite ligne des orientations contenues dans le document de Stratégie de réduction de la pauvreté (DSRP). La stratégie du projet bâtie autour de l’intégration d’interventions relevant de plusieurs secteurs, de l’implication des institutions de l’Etat et des ONG partenaires et de la participation des communautés bénéficiaires organisées au sein des comités de santé des élèves, des comités de parents d’élèves et des comités de gestion des formations sanitaires s’est révélée pertinente eu égard aux résultats atteints. Les activités identifiées sont aussi en parfaite cohérence avec les besoins des communautés qui ont été impliquées dans la mise en œuvre.

L’efficacité du projet a été jugée également très bonne au regard de la performance du projet par rapport aux résultats attendus et des objectifs fixés. En effet, le taux d’exécution des activités par rapport aux prévisions est très satisfaisant sur l’ensemble des volets du projet : la totalité des activités relatives à la construction de 18 modules de 3 classes et la réhabilitation de 42 bâtiments scolaires, l’équipement des salles de classes, la dotation en kits scolaires, a été réalisé. Au niveau du volet sanitaire, toutes les structures programmées pour être réhabilitées et équipées l’ont été ; elles ont toutes intégré des services de nutrition et 98% d’entre elles mettent en œuvre des services de prévention de la transmission mère-enfant du VIH, contribuant ainsi à accroître la disponibilité des services de nutrition et de lutte contre le VIH. Dans le volet approvisionnement en eau, hygiène et assainissement, la réalisation des ouvrages a connu des taux très satisfaisants au-delà des prévisions tant au niveau des points d’eau potable que des ouvrages d’assainissement.

L’efficience a été appréciée sur la base des coûts de réalisation par rapport aux coûts prévisionnels. Dans l’ensemble des volets du projet, l’efficience a été jugée satisfaisante du fait des écarts relativement faibles entre l’exécution et la prévision budgétaires. Mieux, dans le volet construction des modules de classes, des économies réalisées de l’ordre de 4% ont permis de compenser le déficit au niveau des réhabilitations.

L a durée relativement courte du projet ne permet pas de mesurer l’impact ; aussi l’évaluation a-t-elle porté sur les effets du projet. Les analyses montrent une amélioration de l’accès à l’école et des conditions d’encadrement pédagogique et d’apprentissage. Ainsi, on enregistre entre 2008 et 2010, un accroissement du nombre d’élèves et notamment celui des filles qui a augmenté de 5% dans l’ensemble des trois régions et très fortement dans la Kara (22%). L’amélioration des conditions matérielles d’apprentissage s’est traduite par des ratios élèves/table-banc de 2,6 en 2010 contre 4 en 2008, du ratio élèves/salles en dur de 68 contre 94. Les ratios élèves/enseignants, élèves/manuel de lecture, élèves/manuel de calcul sont passés de 2008 à 2010 respectivement de 49,5 à 47,8, de 2 à 1 puis de 3 à 1,4. Le taux d’abandon reste cependant élevé en particulier en classes de CP1 (14%) et de CM1 (7%). Il s’expliquerait par les difficultés d’alimentation des élèves, des mariages précoces et des grossesses non désirées chez les filles.
Au niveau sanitaire, un accroissement du taux de fréquentation des structures réhabilitées a été noté. Le taux moyen de fréquentation dans les trois régions passe respectivement de 25% en 2008 à 36% en 2010 pour les Savanes, de 27% à 44% pour la Kara, et de 23% à 24% pour la Maritime. Les 58 sites PTME mis en place dans les trois régions ont permis en 2010 à 87,04% des femmes enceintes reçues en CPN de faire le test de dépistage du VIH et à 90,46% des femmes enceintes séropositives de bénéficier d’un traitement ARV. La prise en charge de la malnutrition a concerné plus de 15 mille femmes enceintes et allaitantes malnutries et plus de 20 mille enfants malnutris de 2009 et 2010.

Au niveau de l’AEPHA, le projet a permis le développement de bonnes pratiques. Dans toutes les écoles, les latrines sont utilisées en respectant la séparation des blocs de filles et ceux des garçons. Les dispositifs de lavage des mains sont également utilisés avec une diffusion de la pratique de lavage des mains à la maison par les élèves interviewés.
Par contre, si à l’école tous les élèves boivent l’eau des points d’eau potable et utilisent des latrines, il n’en est pas de même dans leur famille, en raison de l’absence de points d’eau potable et de latrines dans certaines familles.

La pérennité des effets du projet a été appréciée du point de vue social, financier et technique en ressortant les facteurs capables de garantir leur durabilité. Du point de vue social, le renforcement des capacités des acteurs communautaires (CPE, Comité de santé scolaire, COGES) constitue une mesure importante nécessaire à l’appropriation des actions et à la pérennisation des effets. Il permet d’assurer la durabilité de ces effets à travers une bonne gestion des infrastructures et la sensibilisation continue des cibles pour l’adoption de comportements et pratiques favorables à l’accès des enfants à l’école, à l’hygiène et à la santé.
Du point de vue financier, l’intérêt porté par l’Etat et les différents bailleurs de fonds au financement des secteurs sociaux, augure une bonne perspective de mobilisation continue des financements pour les activités relatives à l’amélioration de l’accès à l’éducation et la promotion de la santé des groupes spécifiques. Du point de vue institutionnel, la stratégie intégrée de mise en œuvre basée sur un partenariat UNICEF-ONG partenaires-structures techniques de l’Etat-populations bénéficiaires s’est révélée pertinente et efficace notamment au niveau régional. Elle traduit la disponibilité de ressources managériales capables d’assurer à long terme la durabilité. Enfin, du point de vue technique, l’utilisation d’une expertise nationale à travers le Ministère de la santé, les ONG internationales implantées au Togo, le transfert des compétences effectuées vers les animateurs locaux, les enseignants, les agents de santé et organisations à base communautaire, contribue à asseoir à terme, une durabilité des différents effets observés.

Recommendations:
Il faut signaler cependant que si les conditions d’une durabilité des effets du projet existent, elle dépendent fortement de la capacité des communautés et des institutions étatiques à maintenir les acquis et à perpétuer les actions sur le long terme. C’est pourquoi l’UNICEF doit consolider les acquis en poursuivant le renforcement des capacités des acteurs, l’amélioration des capacités d’accueil des élèves et des conditions matérielles d’enseignement mais aussi prendre en compte les facteurs limitant ressortis lors de l’évaluation. Il s’agit particulièrement de mettre en place des cantines scolaires, de développer la santé scolaire, d’améliorer les conditions de travail des enseignants et de faire la promotion de latrines familiales.


Lessons Learned (Optional):
- les objectifs poursuivis par le projet cadrent parfaitement avec les politiques en matière d’éducation, de santé et d’approvisionnent en eau et d’assainissement notamment du PSE, du PNDS et de la PNAHT;
- la stratégie de mise en œuvre est basée sur les principes suivants : (i) l’intervention est axée sur des zones pauvres; (ii) la promotion de l’équité de genre; (iii) le partenariat public – privé - société civile, (iv) la mobilisation sociale, la participation des acteurs communautaires, (v) la capitalisation des expériences, (vi) la communication entre les parties prenantes ; (vii) l'intersectorialité;
- les actions identifiées de façon participative sont en parfaite cohérence avec les besoins des communautés ;
- le projet s’inscrit parfaitement dans les ambitions et les priorités du Togo en vue de l’éducation pour tous et plus particulièrement en ce qui concerne l’accroissement de l’accès et l’amélioration de la qualité de l’école ;
- les choix stratégiques pris pour sa mise en œuvre par l’UNICEF et le Gouvernement du Togo en l’occurrence de confier la maîtrise d’œuvre à des ONG est dans l’ensemble jugé pertinent. Certains responsables estiment que les structures centrales des Ministères auraient pu être plus impliquées dans le pilotage et le suivi du projet



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

New enhanced search