We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2015 Madagascar: Evaluation du Programme d'Appui d'Urgence à l'Éducation Nationale Malgache (AUENM)



Author: Gaëlle Hubert en collaboration avec Marina Ramaroson, Aimée Razafimaminirina et Haingo Herizo RATSIMIAHY

Executive summary

With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System". Within this system, an external independent company reviews and rates all evaluation reports. Please ensure that you check the quality of this evaluation report, whether it is “Outstanding, Best Practice”, “Highly Satisfactory”, “Mostly Satisfactory” or “Unsatisfactory” before using it. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report.

Background:

Le Plan Éducation Pour Tous (EPT) a été élaboré dans le cadre du Plan d’action du Madagascar (MAP) et couvre la période 2007-2011. La crise politique de 2009 n’a pas permis d’établir un nouveau Plan et la constitution d'un plan intérimaire de l’éducation n’a pu être achevé qu’à la fin du premier semestre 2013. Hors, les aides du Fast Track Initiative (FTI), qui devaient contribuer au fonctionnement du système scolaire primaire national à hauteur d’US $22, sont strictement conditionnées à l’existence d’un Plan EPT en vigueur. Dans ce contexte, un gap de financement équivalent à cette somme était donc à prévoir entre la fin du financement du FTI actuel (31.12.12) et le possible renouvellement des fonds (prévision de l’été 2013 sous condition d’achèvement du nouveau plan), impactant ainsi fortement le secteur de l’éducation à Madagascar.
La disparition de plus d’un tiers du budget alloué aux appuis basiques de l’éducation primaire en 2013 devait profondément déstabiliser un système déjà fragile. De la même façon, il était fort probable que le non-paiement de 2 mois d’indemnités des enseignants FRAM conduise à de nouvelles grèves dans le milieu éducatif, que l’absence de kits scolaires impacte lourdement les inscriptions et que la fermeture des cantines entraine de fortes hausses de l’absentéisme et de la malnutrition.
A l’annonce de l’important gap financier généré par l’absence du FTI en 2013, les principaux bailleurs de fonds du secteur de l’éducation et le MEN ont initié des discussions afin de développer une stratégie d’atténuation de ces risques.
Le programme « Appui d’Urgence à l’Education Nationale Malgache », s’inscrit donc entièrement dans cette logique de réponse coordonnée au gap FTI.

Purpose/Objective:

L’objectif global du projet est de contribuer à maintenir fonctionnel le système d’éducation primaire à Madagascar pendant l’année 2013. L’objectif spécifique du projet est de combler des lacunes de financement crées par le retrait du FTI et de maintenir l'accès à l'éducation en évitant que le déficit ne se répercute sur les revenus des ménages les plus vulnérables.
Les résultats escomptés et principales activités du programme sont tous basés sur les activités du programme FTI de 2012, ce projet cherchant à maintenir la dynamique et le niveau de soutien de cet appui au secteur éducation. Trois types d’appui ont été mis en œuvre dans le cadre de ce programme, à savoir le paiement des subventions des maîtres FRAM (2 bimestres 2013/2014), la distribution de Kits scolaires, les cantines scolaires sur l’année 2013-2014. Ils se traduisent chacun en un résultat, à savoir :
R1. 45.585 maîtres FRAM subventionnés continuent d’exercer leurs fonctions en recevant l’intégralité de leurs indemnités pendant l’année scolaire 2012/2013 dans les délais prévus (21,653 avec les fonds du projet AUENM)  ;
R2. Les 3 800 000 élèves du primaire public peuvent suivre leurs cours dotés d’un kit d’étudiant pendant l’année scolaire 2013/14  ;
R3. 219 000 élèves et enseignants issus de zones vulnérables à l’insécurité alimentaire continuent à fréquenter les établissements primaires dotés de cantines scolaires .

Methodology:

L’approche proposée de l’équipe d’experts est une évaluation participative et multi-site. Le dispositif méthodologique présente les caractéristiques suivantes :
•Un processus participatif : l’implication des différentes parties prenantes ainsi que des bénéficiaires est un élément clef de la démarche.
•Le BIEF s’est assuré la collaboration d’un cabinet d’expertise local, ACTIS, pour mener l’enquête à l’intérieur du pays et appuyer l’évaluation dans ses éléments d’analyse.
•Tout au long du processus, les évaluateurs ont suivi les normes et standards de l’UNEG, notamment sur le plan éthique.
•Une combinaison de méthode i) quantitative, au pouvoir explicatif et ii) qualitative, au pouvoir comprehensive.

Les méthode suivantes ont été utilisées :
-Revue documentaire : une analyse complète des documents nationaux et internationaux a été effectuée sur la base de sources primaires et secondaires d’information. En parallèle, les consultants ont élaboré les outils de collecte des données selon les différentes questions d’évaluation.
-Entretiens avec les acteurs institutionnels, afin d’éclairer la mise en œuvre de celui-ci sur le plan institutionnel.
-La collecte des données de terrain a été menée auprès des bénéficiaires et des intervenants pour la mise en œuvre des trois activités afin de connaitre les résultats des actions qui ont été menées et de comprendre les dynamiques effectives qui ont permis d’atteindre ces résultats.
La méthode d’échantillonnage utilisée est une méthode par échantillon stratifié, à plusieurs degrés.  La population à sonder a d’abord été divisée en groupes – ou strates – et à l’intérieur de chaque strate, un échantillon a été constitué. Plusieurs niveaux ont été pris en compte : régions > CISCO > ZAP > écoles > (directeur +) enseignants.

Findings and Conclusions:

Dans l’ensemble, le programme se révèle donc très pertinent et performant, avec des taux de réalisation élevés – qui plus est, dans un contexte de crise. Si on ne peut démontrer, dans le cadre de cette évaluation, de clairs liens de cause à effet entre les activités entreprises et les impacts recherchés au niveau des indicateurs, il ne fait aucun doute que la perpétuation du paiement des maîtres FRAM, la distribution des kits scolaires et la distribution de vivres dans le cadre des cantines scolaires a permis d’assurer une certaine continuité dans l’offre de services éducatifs.
Le programme révèle aussi les apports de nouvelles méthodes intéressantes pour le paiement des maîtres FRAM (Mobile Money) et pour le suivi des activités réalisées (SMS Monitoring). Dans le cadre d’une mise à l’échelle, ces méthodes nécessitent toutefois des améliorations, notamment sur le point : du réseau des télécommunications, de la disponibilité des points d’accès, et du suivi/contrôles de la qualité des informations transmises, via SMS notamment.
De façon transversale aux trois activités, on retrouve aussi le rôle central joué par les ATRs, en termes d’appui aux structures nationales déconcentrées. Au titre des indicateurs les plus significatifs de l’effet de l’appui ATR de l’UNICEF en termes de renforcement des capacités  , on mentionnera : i) 2123 personnes ayant réalisé des missions grâce à la présence des ATRs ; ii) en mars 2015, 21 régions sur 22 sont capables de réaliser la fiche technique incluant les principaux indicateurs en matière d’éducation avec les données désagrégées et fiables ; iii) 116 nouvelles initiatives et partenariats mis en œuvre dans les 22 régions ; iv) 206 formations organisées pour les cadres en renforcement de capacités .
On pointe toutefois les difficultés dans l’échange d’information entre niveaux décentralisés et le peu de suivi accordé par ces structures administratives aux activités.

Recommendations:

1.Le paiement de la subvention des maîtres FRAM
Renforcer le système de suivi : i) dans le cas du système classique, après réception de leur subvention, les prestataires (par exemple des institutions de micro finance, etc.) sont sollicités à partager aux DREN et CISCO le bordereau émargé par les ENF ; ii) dans le cas du système Mobile Money, l’opérateur (Orange en l’occurrence) et ses partenaires (UNICEF) sont sollicités à partager systématiquement les données de suivi des paiements auprès des DREN et CISCO.
2.La distribution des kits scolaires
•Prévoir un budget dans chaque CISCO et/ou ZAP pour l’acheminement des kits, particulièrement dans les zones enclavées, afin d’éviter que ce coût, même s’il est inférieur à l’achat de fournitures scolaires, ne se répercute sur les parents d’élèves et les enseignants.
•Prioriser les zones enclavées pour anticiper les difficultés de transport (notamment l’acheminement par bateau) ; livrer le kit pendant la période sèche surtout pour les zones enclavées afin de minimiser les problèmes de transport.
•Des axes plus précis pourraient être donnés sur la distribution des reliquats de kits scolaires, i.e. qu’entend-on par élève méritant ? élève défavorisé ? Ces axes ne seraient pas nécessairement obligatoires, mais pourraient à tout le moins indiquer des orientations.
3.L’activité des cantines scolaires
oImpliquer davantage les structures déconcentrées du MEN dans le suivi. Le budget relatif à ces missions conjointes pourrait être défalqué des aides budgétaires classiques dont la programmation échappe au MEN.

Lessons Learned:

Dans l’ensemble, le programme se révèle donc très pertinent et performant, avec des taux de réalisation élevés – qui plus est, dans un contexte de crise. Si on ne peut démontrer, dans le cadre de cette évaluation, de clairs liens de cause à effet entre les activités entreprises et les impacts recherchés au niveau des indicateurs, il ne fait aucun doute que la perpétuation du paiement des maîtres FRAM, la distribution des kits scolaires et la distribution de vivres dans le cadre des cantines scolaires a permis d’assurer une certaine continuité dans l’offre de services éducatifs.
Le programme révèle aussi les apports de nouvelles méthodes intéressantes pour le paiement des maîtres FRAM (Mobile Money) et pour le suivi des activités réalisées (SMS Monitoring). Dans le cadre d’une mise à l’échelle, ces méthodes nécessitent toutefois des améliorations, notamment sur le point : du réseau des télécommunications, de la disponibilité des points d’accès, et du suivi/contrôles de la qualité des informations transmises, via SMS notamment.
Avec la présence des ATRs, l’efficacité et l’impact des projets menés s’en trouvent renforcés. Ce constat global ne fait aucun doute en ce qui concerne le projet AUENM. Pour trois activités, les analyses montrent combien le rôle des ATRs est pertinent et a été décisif dans le cadre de leur réalisation, et de leur suivi en particulier. Pour la perpétuation de leurs activités, on mettra en évidence le fait que les missions des ATR ne sont efficaces que lorsqu’elles sont véritablement intégrées au fonctionnement des structures qu’ils appuient – en l’occurrence ici les DRENs.



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Year:
2015

Country:
Madagascar

Region:
ESARO

Theme:
Education

Type:
Evaluation

Partners:
Union Europeenne , PAM Programme Alimentaire Mondiale

Institution:
BIEF en collaboration avec ACTIS

Language:
French

New enhanced search