We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2017 Madagascar: Evaluation de la promotion des PFE - SFCG



Author: Cabinet RADSE

Executive summary

With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System (GEROS)". Within this system, an external independent company reviews and rates all evaluation reports. The quality rating scale for evaluation reports is as follows: “Highly Satisfactory”, “Satisfactory”, “Fair” or “Unsatisfactory”. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report, and the executive feedback summary labelled as ‘Part 3’.

Background:

L’UNICEF et l’UNFPA à Madagascar a appuyé les partenaires nationales à mener en 2013 une consultation sur les pratiques socioculturelles et des acteurs d’influence liées à la survie, au développement, à l’éducation et à la protection de l’enfant. L’étude a été menée dans trois régions : Anosy, Analanjirofo, et Atsimo-Andrefana. Les résultats du consultation a permis à identifier des bonnes pratiques, attitudes et connaissances à promouvoir pour la protection des droits de l’enfant ainsi que des barrières qui freinent ces changements dans chacune de ces régions. A la base de cette étude, le Gouvernement de Madagascar s’est engagé, comme minimum, à promouvoir les pratiques spécifiques communément appelées Pratiques Familiales Essentielles (PFE).

Sur base des résultats et recommandations de l’étude, l’UNICEF et l’UNFPA ont établi un accord de partenariat avec l’ONG internationale Search For Common Ground (SFCG) pour améliorer la connaissance, l’attitude et les pratiques  sur les 14 pratiques familiales clefs parmi les parents et tuteurs des enfants dans leurs communautés dans les régions d’Anosy, Analanjirofo et Atsimo Andrefana. Pour un budget d’Ariary 1 273 196 000 ie 540 406 $ (UNICEF : Ariary 970 453 363 ie $ 411 907), cette intervention a été mise en œuvre d’Août 2014 jusqu’à Mars 2016.

Purpose/Objective:

Au terme du projet en fin Mars 2016, l’UNICEF Madagascar, l’UNFPA et le SFCG souhaitent effectuer une évaluation finale à la fois formative et sommative de l’intervention. Cette évaluation permettra à l’UNICEF d’apprécier la contribution du projet dans les objectifs de son programme pays et d’améliorer les composantes PFE dudit programme en fournissant une bonne compréhension des facteurs de succès, des risques et des limites. Conformément aux termes de référence, l’évaluation a été organisée, après l’aval du Comité de pilotage, autour de critères de pertinence et cohérence, d’efficience, d’efficacité, de durabilité et d’autres aspects transversaux.

Pour SFCG particulièrement, les résultats de l’évaluation seront utilisés pour améliorer les interventions médiatiques et de mobilisation communautaire dans tous les projets mis en œuvre par SFCG à Madagascar. Par ailleurs, les résultats de cette évaluation externe serviront aussi de base d’apprentissage pour l’organisation plus large, à travers le département ILT (Institutional Learning Team) et les résultats seront partagés sur le site-web de DM&E For Peace.

Methodology:

La méthodologie suivie se base sur les critères et questions d’évaluation, conformément aux TDR. Une collaboration étroite avec le comité de suivi de l’évaluation et une consultation des parties prenantes (SFCG, UNICEF – C4D, MCRI central) dans la phase d’inception a permis de clarifier les besoins et dresser une compréhension commune de l’intervention. Durant cette évaluation, il a été proposé d’utiliser une méthode mixte combinant les forces de la méthode quantitative – permettant des extrapolations et des comparaisons statistiques– avec la capacité de la méthode qualitative à comprendre en profondeur les facteurs de succès et les limites de l’approche adoptée par le projet.

La partie quantitative concerne l’analyse de la performance du projet relative aux parents/tuteurs, cibles des activités media et mobilisation communautaire. La grille d’analyse adoptée par rapport à ce groupe de cible est l’approche HICDARM qui constitue une échelle de mesure par rapport aux changements de comportement. Pour avoir une précision acceptable des indicateurs (erreur de 5%, puissance de 80%), un échantillon de 1,025 parents/tuteurs a été nécessaire. Suivant demande du comité de suivi de l’évaluation, une stratification suivant l’intégration des canaux de communication utilises a été adopté (ZAM – ZAMAC). Pour le volet qualitative, la revue documentaire et l’Entretien  Individuel Approfondi (EIA) des informateurs clés ont été adoptés . Suivant un guide couvrant les thematiques à aborder specifiques aux informateurs clés, les EIA ont servi d’analyser en profondeur les questions de pertinence, de durabilité, les facteurs de succès et d’échecs … Six catégories d’informateurs clés ont été ciblés :

  • Responsables radio
  • Membres des reseaux communautaires
  • Responsables SFCG au niveau central – regional – communal
  • Autorites locales (CTD)
  • Services décentralisés sectoriels et transversaux (secteurs cibles des PFE)
  • Specifiquement le MCRI au niveau central et regional

Findings and Conclusions:

Par rapport à la pertinence, le projet a pris en compte les besoins de ces cibles, d’une part ceux de ses partenaires de mise en œuvre, notamment le MCRI dans son rôle de leadership que les secteurs en facilitant leur relation avec les média et la communauté. Par ailleurs, le projet s’intègre dans la mise en œuvre du Plan National de Développement et des Plans Sectoriels qui en découle, mais aussi des documents de référence du Système des Nations Unies à Madagascar (UNDAF et CPAP). 

Les résultats du Projet en termes de Coordination restent mitigés avec des résultats intéressants pour l’élaboration de plan de communication et la mobilisation des parties prenantes ; et des résultats moins satisfaisants dans les activités de suivi. Dans la mise en œuvre des plans de communication, les réalisations dépassent généralement les valeurs cibles du projet aussi bien pour les activités médiatiques que pour les communications communautaires. Enfin, dans le mécanisme de planification et de mise en œuvre, il est à noter le faible capacité du MCRI dans le leadership et la coordination des activités.

En termes d’efficience, le projet a permis aux acteurs du secteur à réaliser des activités de communication à moindre coût. Par ailleurs, les acteurs du secteur de la communication ont pu gagner en contenu et en professionnalisme grâce à des renforcements de capacité et le partage des expériences de SFCG.

Par rapport aux valeurs ajoutées, les effets du projet sont importants dans la mesure où, en général, plus de 90% de ceux qui ont entendu parler d’une PFE l’adopte entièrement. En général, outre dans le secteur de la santé et la nutrition, le couplage entre les activités médiatiques et communautaires a impacté plus au niveau des effets. Toutefois, ceux qui ont entendu les PFE par le biais du projet sont très disparates entre les secteurs. Par ailleurs, le dynamisme du secteur a contribué beaucoup dans l’atteinte des effets voulus au niveau des effets

Recommendations:

Sur les aspects stratégiques, institutionnels et organisationnels :

  1. Maintenir l’approche intégrée adoptée dans le cadre du projet actuel (…)
  2. (…) la durée de mise en œuvre des autres projets C4D devrait être plus importante (…)
  3. Dans un premier temps, continuer la collaboration avec une Organisation Internationale dans la mise en œuvre du projet tout en garantissant que ce dernier assure un transfert de compétence (…) ;
  4. Intégrer dans le cadre de la collaboration de l’UNICEF/UNFPA avec les secteurs la mise en place et/ou l’implication active dans la plateforme régionale de Communication, un espace de concertation, d’élaboration et de suivi du plan média avec une gestion axée sur les résultats ;

    Sur l’aspect programmatique :
  5. Débuter un projet par une étude de base (baseline) pour permettre de réaliser une évaluation d’impacts ;
  6. Maintenir la stratégie d’encerclement en combinant la communication médiatique et l’animation communautaire (…) ; Renforcer les activités de communication dans les trois niveaux de la C4D (individuel, interpersonnel et communauté) par l’intégration des activités aux deux niveaux supra (organisationnel et politique/environnement cadre) (…);

    Sur l’aspect renforcement des capacités :
  7. Délivrer des formations en techniques de communication sociale et mobilisation communautaire aux responsables en charge de la communication des secteurs au niveau des régions et/ou des districts (…)
  8. (…) organiser périodiquement des séances de recyclage aux agents communautaires (…), doter des matériels plus professionnels et plus performants que possible les stations de radio

Lessons Learned:

Cette évaluation a été menée avec beaucoup de défis dont quelques bonnes pratiques méritent d’être partages :

Sur la gestion des évaluations :
 Pour l’indisponibilité de bons évaluateurs qui répondent à l’offre, la republication reste une option mais le recours aux facilitations du Bureau Régional est à explorer (rooster). Une autre option a été adopté : la collaboration avec l’Association nationale en Evaluation pour identifier un bon évaluateur pour renforcer l’équipe initiale ;
 Le timing de la mission d’évaluation doit être révisé à la hausse en fonction de la capacité du prestataire (dans le contrat pour éviter les amendements) ;
 La supervision des premières semaines de la collecte des données par le comité de suivi de l’évaluation doit être impérative quel que soit le niveau d’assurance du prestataire.

Sur les thématiques C4D en particulier :
 Les indicateurs relatifs au C4D doit être standardisé, pour les évaluations se référer aux derniers mise à jour sur l’intranet UNICEF;
 L’utilisation de l’échelle HICDARM est une bonne pratique mais prévoir a l’avance dans le système de suivi et dans la méthodologie comment le mettre en pratique ;
 L’approche qualitative avant ou après le quantitative est plus efficace par rapport à avoir les deux dans une même descente, le point clé est la méthode de triangulation et l’exploitation des données qualitatives ;
 Le système de suivi doit capter les autres produits de communication faites par les autres partenaires, autrement on ne peut pas appréhender l’attribution ou la contribution de C4D (défis relatifs à l’échantillonnage).


 



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Year:
2017

Country:
Madagascar

Region:
ESAR

Type:
Evaluation

Theme:
Early Childhood Development

Language:
French

Partners:
SFCG - UNFPA

Sequence #:
2017/001

New enhanced search