Aptitudes à la vie quotidienne

Suivi, évaluation et analyse

Modèles d’indicateurs de surveillance et d’évaluation des programmes d’éducation sanitaire fondée sur l’acquisition de compétences


L’« évaluation des processus » documente ce qui a été accompli et avec qui. Cette démarche vous permettra de savoir quels services ont été fournis, à qui, quand, et à quel niveau de qualité. L’« évaluation des résultats » sert à déterminer si ce qui a été accompli a fait une différence. Elle vise à repérer les changements qui se sont produits et à démontrer que les changements identifiés sont bien le résultat de l’intervention, et non d’autres facteurs accessoires.

Les indicateurs de processus et les indicateurs de résultats interviennent à part égale dans une évaluation rigoureuse et doivent être envisagés à différents niveaux (i.e. pour les participants, les animateurs ou les enseignants, et pour l’ensemble du programme).

Suivi immédiat

Au niveau du programme :

  • Le programme a-t-il été exécuté comme prévu ? (Processus) 
  • Les connaissances, les attitudes et les aptitudes des participants ont-elles évolué comme prévu ? (Résultat)

Pour les animateurs / enseignants :

  • La méthode d’enseignement a-t-elle été améliorée ? Si oui, comment ?  (Processus)
  • La confiance et la satisfaction de l’enseignant ont-elles évolué comme prévu ?  (Processus)
  • Les connaissances, les attitudes et les aptitudes des enseignants ont-elles évolué comme prévu ? (Résultat)

Pour les participants :

  • Le public cible a-t-il participé activement à la conception, à l’exécution et à l’évaluation du programme ?  (Processus)
  • Le public cible était-il satisfait ?  (Processus)
  • Les résultats de l’apprentissage se sont-ils améliorés grâce au programme ?  (Résultat)

Suivi à moyen et long terme

Au niveau du programme :

  • Le programme a-t-il été exécuté comme prévu ?  (Processus)
  • Le comportement des participants a-t-il évolué comme prévu ?  (Résultat)

pour les animateurs / enseignants :

  • La méthode d’enseignement a-t-elle été améliorée ? Si oui, comment ?  (Processus)
  • La confiance et la satisfaction de l’enseignant ont-elles évolué comme prévu ? (Processus)
  • Les connaissances, les attitudes et les aptitudes des enseignants ont-elles évolué comme prévu ? (Résultat)
  • Les enseignants étaient-ils efficaces ?  (Résultat ; évalué en fonction des résultats et de la satisfaction des participants)

Pour les participants :

  • Le public cible a-t-il participé activement à la conception, à l’exécution et à l’évaluation du programme ? (Processus)
  • Le public cible était-il satisfait ? (Processus)
  • Les comportements à risques ont-ils évolué comme prévu ?  (Résultat)
  • Les attitudes et les valeurs ont-elles changé comme prévu ?  (Résultat)
  • Les résultats de santé ont-ils évolué comme prévu ?  (Résultat)

Indicateurs de processus au niveau du programme

Les indicateurs de processus au niveau du programme portent essentiellement sur des questions telles que :

  • « Le programme a-t-il atteint le public visé ? »
  • « Le programme était-il acceptable pour les participants ? »
  • « Le programme a-t-il été exécuté de la manière prévue ? »

En plus des indicateurs de processus sur l’acceptabilité du programme ou la satisfaction des participants, il faut aussi déterminer si le programme a atteint le public auquel il était destiné, si ses éléments ont été exécutés, et si oui, s’ils ont été exécutés de la manière prévue. La couverture et la qualité du programme sont deux champs d’investigation des processus d’évaluation au niveau du programme. Certaines idées utiles pour établir des normes de qualité sont données ci-dessous.

Couverture : le public cible est-il atteint ? Qui n’est pas atteint ?

Le programme est-il offert dans tous les lieux prévus ?  (i.e. dans toutes les écoles ?)

  • % d’écoles offrant des programmes, conventionnels et non conventionnels

Le programme atteint-il le public d’animateurs/enseignants auquel il est destiné ?

  • % de tous les enseignants/animateurs formés

Le programme atteint-il le public d’enfants et de jeunes auquel il est destiné ?

  • % de filles/garçons (ruraux/urbains ; groupes ethniques, autres...)

    Qualité : les animateurs/enseignants exécutent-ils le programme en respectant les normes de qualité ?

    Normes de qualité suggérées

    • L’un des objectifs du programme est-il de changer les comportements ?
    • Une place égale est-elle accordée aux connaissances, aux attitudes & aux aptitudes ?
    • Les méthodes d’enseignement & d’apprentissage basées sur la participation occupent-elles une place centrale ?
    • Le programme répond-il aux besoins des participants ? (pertinent)
    • Tient-il compte des spécificités propres à chaque sexe ?
    • Des politiques sont-elles en place pour soutenir le programme ? (préparation des enseignants, soutien consistant en cours d’emploi)
    • Des services de soutien complémentaires sont-ils disponibles au public /aux participants ?
    • Les bénéficiaires ont-ils été consultés ? Sont-ils impliqués ?
    • Les animateurs/enseignants sont-ils formés à cette fin ?
    • Les animateurs/enseignants sont-ils soutenus dans la phase de mise en oeuvre ?
    • Le programme dure-t-il suffisamment longtemps pour atteindre les objectifs visés ?
    • Des matériels pédagogiques pertinents sont-ils utilisés ? (exacts, tenant compte des sexospécificités, adapté à l’âge des participants, accessibles, utilisant un langage adéquat, durables...)
    • Le programme s’appuie-t-il sur des informations et des méthodes pertinentes, exactes et d’actualité ?
    • L’évaluation de l’impact du programme et des processus est-elle en place ?

    Indicateurs de résultats

    Les indicateurs de résultats portent essentiellement sur des questions telles que :

    • « Comment le public ou le problème ont-ils évolué à l’issue du programme ? »
    • « Dans quelle mesure les objectifs ont-ils été atteints ? »
    • « Dans quelle mesure l’objectif final a-t-il été atteint ? »

    L’évaluation des résultats s’effectue à plusieurs niveaux. Le résultat immédiat d’une leçon /session ou d’une série de leçons/sessions, à savoir, ce qu’ont appris les participants, est très différent des résultats globaux d’un programme, par exemple, la façon dont le comportement des participants a changé pendant une période donnée (attribuable probablement à de nombreuses stratégies autres que dans le domaine de l’éducation) ou l’amélioration de leur situation à long terme. Le niveau auquel s’effectue l’évaluation, ainsi que ses modalités, dépendront de l’objectif visé.

    Exemples d’indicateurs à trois niveaux de l’évaluation des résultats
     
    NIVEAU 1.  Niveau de la session ou de la classe

    Résultats immédiats : connaissances, attitudes et aptitudes. Analyse réalisée par l’animateur /enseignant une fois que les activités pédagogiques ont pris fin ou très peu de temps après.

    Connaissances

    a.  Transmission & non transmission

    • Les participants sont-ils certains d’avoir appris à réduire les risques de contracter le VIH/SIDA et des IST ?
    • Comment (comportements/attitudes/ connaissances ou manque de connaissances) se transmettent le VIH/SIDA et les IST ?
    • Comment NE se transmettent PAS le VIH/SIDA et les IST ?
    • Les participants savent-ils utiliser un préservatif ?
    • Comment la justice sociale/les droits sociaux, les inégalités entre les sexes, la culture, les normes, la discrimination ... influent-ils sur les risques de contracter le VIH/SIDA et des IST et impactent-ils les personnes affectées /infectées par le VIH/SIDA, par ex., les orphelins, l’emploi.

    b.  Différentes sortes de recherches - prévalence, impact du VIH, etc.

    • Quelle est la prévalence du VIH/SIDA et des IST ? Où ? Qui ? Quels sont les risques auxquels je suis personnellement exposé(e) ?
    • Quels sont les symptômes du VIH/SIDA et des IST ?

    c.  Soins & soutien

    • Quels sont les soins & le soutien disponibles ?

    d.  Santé en matière de reproduction, santé en général

    • Qu’est-ce qui fait (comportements, attitudes, connaissances) que l’on reste en bonne santé ?
    • Quelles sont les conséquences de divers comportements à risque / grossesse précoce / autre ...?

    Attitudes

    Le terme  « attitudes » englobe ici une vaste série de notions, y compris : les intentions, les croyances, les sentiments envers soi (confiance) et les autres (discrimination), les valeurs, les pensées, les principes sociaux, religieux et culturels, la morale et l’éthique.

    • Les participants « projettent-ils » d’utiliser un préservatif s’ils ont des rapports sexuels ?
    • Les participants projettent-ils « d’attendre » avant d’avoir leurs premiers rapports sexuels : plus âgés ? Mariage ?
    • Les participants se sentent-ils « connectés » aux jeunes de leur âge, à leur famille, à l’école ?
    • Que pensent les participants des personnes affectées/infectées par le VIH/SIDA ?
    • Les participants sont-ils certains de savoir limiter leurs risques de contracter le VIH/SIDA et les IST ?

    Aptitudes

    Le terme « aptitudes » se réfère ici à des compétences nécessaires dans la vie courante : des compétences psychosociales et interpersonnelles qui peuvent trouver leur application dans la prévention du SIDA et d’autres problèmes liés. Ces aptitudes sont importantes parce qu’elles peuvent faciliter et encourager des changements de comportement lorsqu’elles sont renforcées par d’autres mécanismes.

    • Les participants peuvent-ils mettre ces aptitudes en pratique dans des situations hypothétiques ou des ateliers sur le risque du VIH/SIDA et des IST et la discrimination ? (par ex., phrases non terminées, scénarios, examens objectifs, narrations, classements, jeux de rôle, etc.)
    • Les participants sont-ils sûrs de pouvoir appliquer ces aptitudes à des situations réelles ? (par ex., pour : communiquer au mieux avec leurs pairs, leurs enseignants, leurs parents et d’autres ; refuser des rapports sexuels non désirés ; résister à la pression de consommer de la drogue ; refuser les rapports sexuels non protégés ; insister/négocier pour se protéger pendant les rapports sexuels ; identifier leur niveau de risque personnel ; prendre position sur des problèmes de droits humains, comme la lutte contre la discrimination ; identifier les conséquences de leurs décisions et actions ; peser le pour et le contre de décisions pouvant entraîner une grossesse précoce ou d’autres situations à risque ; illustrer l’usage correct des préservatifs dans une situation hypothétique ; rechercher de l’aide auprès d’une personne de confiance ; identifier et utiliser les services de santé)

    NIVEAU 2. Niveau du comportement

    Résultats sur le comportement à court terme. Analysés peu de temps après l’intervention. On suppose que les résultats obtenus au Niveau 1 aboutiront à des résultats positifs à ce niveau.

    Comportement

    • Un préservatif a-t-il été utilisé lors des derniers rapports sexuels ?
    • Le nombre de partenaires sexuels a-t-il diminué ?
    • L’âge des premiers rapports sexuel augmente-t-il ? (Le partenaire présente-t-il peu de risques ? Quel âge ? Hommes plus âgés ?) 
    • La consommation de drogues injectables diminue-t-elle ?
    • Les consommateurs de drogues injectables sont-ils plus nombreux à utiliser des seringues propres ?
    • Les consommateurs de drogues injectables sont-ils moins nombreux à partager des seringues ? 
    • Les participants (et autres) affectés par le VIH/SIDA sont-ils traités aussi bien que les autres ? 
    • Les participants recherchent-ils de l’aide en cas de problème de santé ? (adulte de confiance, professionnel)

    NIVEAU 3.  Niveau de la santé sociale et de l’épidémiologie

    Résultats sanitaires et sociaux à long terme.

    Résultats sanitaires et sociaux

    • Les IST sont-elles en régression (La durée moyenne d’une IST diminue-t-elle ? Les services de santé sont-ils utilisés davantage ou plus tôt) ?
    • L’âge de la première grossesse augmente-t-il ?
    • L’âge du premier mariage augmente-t-il ?
    • Le VIH recule-t-il ?
    • Les personnes affectées par le VIH/SIDA sont-elles en meilleure santé ? Vivent-elles plus longtemps (qu’auparavant) ?
    • La toxicomanie régresse-t-elle ? 
    • La santé mentale s’améliore-t-elle ? par ex., l’estime de soi, l’assurance, les perspectives, l’interdépendance/sens de la communauté ? 
    • Les enfants affectés par le VIH/SIDA sont-ils plus nombreux à rester à l’école ?
    Documents et liens

    Assessment Strategies for Skills-based Health Education with a focus on HIV prevention and related issues. UNICEF, 2003.
    [Word]

    Assessing Learning Achievement. UNICEF, 2003.
    [Word]

    Toolkit for Assessing and Promoting Equity in the Classroom. EIC Project.
    [PDF]

    Handbook for Evaluating HIV Education; US Centers for Disease Control.
    Ce Manuel des CDC contient des plans d’évaluation et les outils de mesure nécessaires pour recueillir des données sur les composantes de base des programmes : développement de politiques, conception du programme, formation des enseignants et résultats des participants.

    Base de données d’indicateurs d’enquête sur le VIH/SIDA
    Cette base de données est administrée par un comité consultatif technique qui comprend des représentants de l’USAID, de l’UNICEF, des CDC, de l’ONUSIDA, de l’OMS, de l’US Census Bureau, de Family Health International, de MEASURE Evaluation, du Synergy Projet, et de MEASURE DHS+

    Learning to Live: Monitoring and evaluating HIV/AIDS programmes for young people
    Cet ouvrage donne des conseils pratiques sur la conception, le suivi et l’évaluation de programmes de prévention du SIDA chez les jeunes en s’appuyant sur l’expérience de projets menés dans le monde entier. Il met l’accent sur ce que l’on a appris récemment en travaillant avec des jeunes dans les domaines de l’éducation pour les pairs, de l’éducation à l’école, de la prestation de services dans les cliniques pour les enfants particulièrement vulnérables, et en travaillant avec des enfants touchés par le VIH/SIDA.Le texte complet peut être obtenu auprès de Save the Children RU.

    Measures and Indicators for Evaluating Life Skills-Based Education Programmes. Texte préliminaire - UNICEF, 2002
    [Word]

    Monitoring and Evaluation in UNAIDS
    Principaux indicateurs de surveillance de la Déclaration d’engagement sur le VIH/SIDA de la Session extraordinaire de l’Assemblée générale des Nations Unies consacrée au VIH/SIDA.

    Monitoring and Evaluating Adolescent Reproductive Health Programs. Family Health International.
    YouthNet fait des recherches rigoureuses et assure le suivi et l’évaluation de ses programmes et interventions en faveur de la santé des adolescents..



     

     

    Recherche