We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2017 Mali: Evaluation du projet sur la promotion d'EAH dans les structures de soin au Mali



Executive summary

 With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System (GEROS)". Within this system, an external independent company reviews and rates all evaluation reports. The quality rating scale for evaluation reports is as follows: “Highly Satisfactory”, “Satisfactory”, “Fair” or “Unsatisfactory”. You will find the link to the quality rating below, labelled as ‘Part 2 ’ of the report, and the executive feedback summary labelled as ‘Part 3 ’.

Background:

Ce projet s’inscrit dans la période post-Ebola, qui a durement touché l’Afrique de l’Ouest à partir de septembre 2014. Cette crise a démontré les faiblesses du système sanitaire des pays de cette région. Suite à ce premier constat, UNICEF et l’Organisation Mondiale de la Santé (OMS) ont publié conjointement un rapport sur la situation des services EAH dans les structures de soins dans les pays à faible et moyen revenus. D’après ce rapport, le Mali était dans la situation la plus précaire, avec l’absence de stratégie nationale en la matière et un taux d’accès à l’eau des structures de soins n’atteignant que 20%.
Le manque de services EAH adéquat comporte de nombreux risques pour les patients et le personnel de santé, celui-ci s’explique par un manque de moyens mais aussi un manque de coordination du sous-secteur.

  • Depuis 2012, suite au conflit qu’a connu le Mali, le Ministère en charge de la Santé, par le biais de la Division Hygiène Publique et Salubrité (DHPS) et avec l’appui du bureau pays de l’OMS, a lancé une série d’évaluations rapides des conditions EAH dans 139 structures de santé de quatre régions du pays.
    Il est ressorti de ces évaluations les constats  suivants :
  • une insuffisance de la qualité de l’eau qui touche 61 % des structures de santé ;
  • une insuffisance dans le stockage de l’eau de consommation dans 50 % des structures;
  • une insuffisance de tri des déchets médicaux et qui touche 75% des structures ;
  • un manque dans 53% des structures de contenants appropriés pour la gestion des déchets;
  • une insuffisance dans 69% d’entretien et désinfection (murs, sols, planchers, matériels);
  • une insuffisance dans la pratique de désinfection des mains dans 68% des structures.    

    Face à ces constats, et du fait de son implication dans le secteur EAH au Mali depuis 2012 et dans le sous-secteur de l’EAH dans les structures de santé au niveau mondial, l’UNICEF a voulu s’impliquer pour contribuer à réduire les faiblesses du sous-secteur au Mali.

Purpose/Objective:

Les objectifs généraux de cette évaluation sont :   

  • fournir des éléments en vue de la justification des actions menées, avec des informations destinées au public et aux partenaires et ainsi promouvoir la transparence et la redevabilité de l’UNICEF Mali dans le cadre de ce projet ;
  • améliorer les projets des années futures grâce à la prise en compte des enseignements tirés du passé ;
    Selon les TDR, l’objectif de l’évaluation est de « déterminer, par une méthode d’évaluation bien définie, la pertinence des résultats et l’impact du projet réalisé dans les 263 structures de soins ».
    Cette évaluation a été commissionnée par la section WASH de l’UNICEF Mali, en conformité avec la convention signée entre l’UNICEF Mali et l’Union Européenne.
    Elle intervient dans les deux derniers mois de mise en œuvre du projet pour documenter ce qui a été fait et tirer des enseignements pour de potentiels futurs projets. Selon les résultats de cette évaluation, elle pourrait aussi servir d’outil de plaidoyer dans la recherche de nouveaux financements.

Methodology:

Conformément aux termes de références, la méthodologie de l’étude a suivi les principes et les critères d’évaluation retenus par l’OCDE , à savoir : la pertinence, l’efficience, l’efficacité, l’impact et la durabilité. Le critère pertinence a été toutefois scindé en deux, afin de distinguer la pertinence de l’intervention en termes de réponse aux besoins et alignement, et la pertinence de la conception du projet (calendrier, activités, budget). En plus des 5 critères standards de l’OCDE, ont été pris en compte également les 2 critères additionnels qui sont prévus dans le cadre des évaluations de toute intervention financée par l’Union Européenne : La complémentarité et la valeur ajoutée. Enfin, nous avons pris en compte les critères transversaux qui sont importants pour l’UNICEF: l’équité/inclusion et le respect de l’environnement.

  • Les questions évaluatives sont basées sur la proposition en annexe des termes de références. Certaines ont été amendées pour plus de clarté, d’autres ont été ajoutées pour couvrir les critères d’évaluation supplémentaires. La version finale de la matrice évaluative a été proposée à l’équipe UNICEF WASH dans la note de cadrage, celle-ci a été validée.
    Cette évaluation s’appuie sur une méthodologie quantitative et qualitative non-expérimentale. La méthodologie a prévu 3 phases :
  • - une 1ère phase de revue bibliographique et préparation de la matrice évaluative et des outils d’enquête (guides d’entretien, questionnaires, grilles d’observation)
  • - une 2ème phase de collecte de données à travers les entretiens qualitatifs avec les personnes-ressource et les visites terrain au niveau des centres de santé.
  • - une 3ème phase d’analyse des données et de rédaction du rapport. Les données qualitatives récoltées à Bamako ont été synthétisées par les évaluatrices internationales, les données qualitatives récoltées dans les régions et districts sanitaires ont été synthétisées par l’évaluateur national.

Findings and Conclusions:

Les activités du résultat 1 étaient pertinentes et  alignées avec les aspirations nationales en la matière parce qu’elles répondaient au manque de coordination et de textes régulant le sous-secteur. La durabilité du résultat n’est pas assurée car les textes n’ont pas force de loi.
Si l’OMS est l’acteur principal du secteur au niveau upstream, l’UNICEF a comme valeur ajoutée d’être aussi impliquée sur le terrain.
La composante soft est pertinente car elle répond au besoin concernant le tri des déchets et l’environnement des CS mais aussi le lavage des mains.
Le manque de guides et d’outils pour le volet « soft » a été pénalisant pour les ONG et pour l’harmonisation de l’approche sur tout le territoire d’intervention.
La relation coûts-résultats n’a pas été maximisée du fait du passage des ONG internationales plutôt que locales, les premières ayant des coûts généraux bien plus élevés.
L’impact a permis d’améliorer les pratiques d’hygiène dans les CS et les communautés et d’améliorer la salubrité des CS et de leurs alentours.
Le suivi par les ONG a été trop court pour favoriser la pérennité de ces bons résultats.
L’apport d’infrastructures dans les centres de santé répondait à un réel besoin et était aligné avec le paquet minimum EAH. Le budget unitaire prévu par CS pour le paquet EAH a été tout à fait sous-estimé.
La composante hard, dans les plans types des infrastructures, a pâti d’erreurs de conception.
La composante infrastructure a connu d’importants retards et il n’est pas sûr que tout soit construit avant le terme du projet. Les infrastructures sont généralement conformes au design mais présentent des défauts.
La durabilité des infrastructures est incertaine, notamment celle de l’incinérateur, notamment du fait de l’insuffisance de compétences locales pour leur entretien.
Les infrastructures bénéficient équitablement aux personnes de la communauté. L’incinérateur comporte des risques environnementaux.

Recommendations:

UNICEF
Poursuivre les interventions d’EHA dans les centres de soin au Mali
Continuer à concevoir des projets incluant les composantes upstream, soft et hard en les articulant de manière à en maximiser la valeur ajoutée.
Assurer un suivi plus rapproché des activités sur le terrain
Eviter d’attribuer des lots trop conséquents/nombreux à une même entreprise.
Etre plus exigent /sélectif sur les compétences du bureau de contrôle
Elaborer et disséminer des manuels et outils (gestion des ouvrages, intermédiation sociale)
Poursuivre le plaidoyer pour la reconnaissance légale du paquet minimum EAH et des textes régulant le secteur.
Gouvernement
Bien s’approprier le projet et s’impliquer dans sa mise en œuvre pour favoriser l’alignement avec les normes et standards nationaux et la pérennité des acquis.
Renforcer la collaboration entre les structures techniques (DRS, DRH, DRACPN) et la FENASCOM ainsi qu’entre leurs structures déconcentrées
Union Européenne
Accorder un avenant de temps pour la finition des travaux.
Si le temps et le budget sont limités, s’assurer avant la signature que les objectifs sont réalistes.
Assurer un suivi trimestriel des activités sur le terrain.
Prévoir que l’évaluation finale du projet ait lieu après la fin du projet
ONG
Ne pas dépasser 5 à 6 sites par animateur.
Avant la signature du PCA, proposer d’inclure le suivi des activités plusieurs mois après la fin des activités proprement dites.
Favoriser la communication entre les différents acteurs impliqués dans le projet
Entreprises
Utiliser une approche progressive : commencer par terminer les infrastructures dans un nombre très réduit de CS sous la supervision d’un ingénieur pour identifier les points de difficulté et pouvoir résoudre les problèmes avant de passer à l’échelle. Bien vérifier le design des infrastructures, les devis et leur cohérence avant de signer un contrat.
Ne pas hésiter à informer l’UNICEF de difficultés avant qu’il ne soit trop tard.

Lessons Learned:

Le Mali a besoin de projets pour améliorer les conditions EAH dans les centres de santé car les besoins restent très importants.
Le budget doit être calculé précisément en fonction des infrastructures à construire : 9954 USD ne sont vraiment pas suffisants pour installer un paquet EAH complet dans un centre de santé.
Un an et demi n’est pas suffisant pour mettre en œuvre un projet qui mobilise de nombreux acteurs et qui prévoie un changement de comportement, de pratiques et un renforcement de capacités au niveau local.
Effectuer un premier projet sur un périmètre aussi vaste comporte des risques importants, notamment sur un délai aussi court puisqu’il n’y a pas le temps pour identifier les risques, prendre des mesures et capitaliser les bonnes pratiques avant le passage à l’échelle.
Le concours de centre de santé propre est une bonne innovation, qui a déjà été répliquée par d’autres acteurs du secteur, mais qui demande maintenant une harmonisation des critères de notation au niveau national pour permettre la comparaison.
L’implication des organisations féminines sur le terrain a été un facteur favorisant pour de nombreux aspects au niveau des CS et des communautés.
La formation sur la gestion des déchets a été très importante, de telles formations assorties d’une supervision formative sont nécessaires. Il serait souhaitable de l’inclue dans le cursus formatif des personnels de santé.
Un guide d’intermédiation sociale assorti d’indicateurs de suivi serait bénéfique pour l’harmonisation des approches au niveau du projet ou bien même au niveau national ainsi que pour l’amélioration de la disponibilité des données.
Les composantes upstream-hard-soft sont complémentaires et apportent une valeur ajoutée, à condition qu’elles soient bien articulées
La coordination au niveau national avec tous les acteurs du secteur a porté ses fruits pour améliorer la complémentarité des projets. Il serait intéressant qu’une telle coordination ait aussi lieu au niveau régional.



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Year:
2017

Country/Office:
Mali

Region:
WCAR

Type:
Evaluation

Theme:
WASH - Hygiene promotion; sanitation systems

Institution:
Hydroconseil

Language:
French

Sequence #:
2017/001

New enhanced search