We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2016 Argentina: Evaluation of the GEMA Programme School Management for Learning Improvement



Author: Pablo López Ochoa, Elena Rodríguez San Julián, Pablo López Ochoa y Mª Jesús Izquierdo Carballo

Executive summary

With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System (GEROS)". Within this system, an external independent company reviews and rates all evaluation reports. The quality rating scale for evaluation reports is as follows: “Highly Satisfactory”, “Satisfactory”, “Fair” or “Unsatisfactory”. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report, and the executive feedback summary labelled as 'Part 3'.

Background:

El objetivo general del programa GEMA es fortalecer las prácticas de conducción y gestión de los directores de las escuelas, con focalización en los aprendizajes de los alumnos, atendiendo a la diversidad de sus contextos culturales.

El ciclo de intervención está compuesto por tres etapas:

  • La primera de Apropiación de los contenidos de la propuesta GEMA por parte de los directores participantes;
  • La segunda, de Aplicación acompañada en sus escuelas, con el asesoramiento y seguimiento del equipo; y
  • La tercera de Consolidación de prácticas, consulta y actualización, en la que simbólicamente pasan a formar parte de la Comunidad GEMA.

La estrategia:

  • Encuentros presenciales de capacitación con contenidos teórico-prácticos;
  • Actividades a distancia a través de una plataforma virtual (GEMA VIRTUAL) que permite la comunicación permanente con los directores participantes, y ampliar, fortalecer y actualizar contenidos;
  • Reuniones de Seguimiento y Apoyo para la aplicación de la propuesta en las escuelas.
  • La Aplicación de un sistema de Alerta Temprana y Seguimiento (GEMA Alerta) de los alumnos que permite que los directivos introduzcan en sus prácticas el empleo de información básica en tiempo real, sobre la situación de los alumnos en las escuelas, según sus niveles de desempeño, y algunos de sus condicionantes clave (inasistencia, sobreedad, pertenencia a grupos minoritarios) para que los directores puedan intervenir a tiempo y evitar situaciones de riesgo escolar.

La implementación de GEMA está cargo de un responsable por jurisdicción/provincia. se desarrollo un sistema (GEMA Gestión) para acompañar la implementación, y asentar la información de seguimiento y evaluación para contar con reportes automáticos.
GEMA se desarrolló e implementó desde 2012 a la fecha en tres provincias de Argentina: Salta, Jujuy y Chaco. Inicialmente se aplicó en escuelas de nivel primario y durante 2014, se adaptó a escuelas de nivel secundario, alcanzando a 225,000 estudiantes

Purpose/Objective:

Proporcionar una evaluación externa independiente y objetiva del programa GEMA que brinde, tanto a la oficina de UNICEF Argentina, como a otros actores relevantes, insumos para orientar la planificación programática futura, determinando también la medida en el que el  programa ha contribuido a alcanzar los resultados previstos, y sus posibilidad de transferencia a otros contextos y territorios.

Objetivos específicos y Criterios de Evaluación

  • Determinar si el conjunto de actuaciones del programa se han alineado con las políticas y estrategias provinciales, han respondido adecuadamente a las necesidades del sector y la población objetivo, han sido pertinentes y se han basado en diagnósticos adecuados. (PERTINENCIA)
  • Determinar si el diseño del proyecto, las modalidades de ejecución y los procesos de implementación puestos en práctica fueron los más adecuados para la consecución de resultados deseados y el fortalecimiento de las capacidades provinciales. (EFICIENCIA)
  • Determinar si las diferentes acciones han obtenido resultados de desarrollo  previstos para la población objetivo, relevantes y sostenibles en el tiempo. (EFICACIA y SOSTENIBILIDAD)
  • Determinar la existencia de (o la contribución a) impactos de desarrollo sostenibles en el tiempo, atribuibles a las acciones del programa. (IMPACTO)
  • Identificar y documentar las lecciones aprendidas y recomendaciones de cara al próximo Programa de Cooperación 2016-2020, y a las posibilidades de transferencia del programa a otros contextos y territorios. (LECCIONES APRENDIDAS, POTENCIAL DE ESCALA Y RECOMENDACIONES).
  • La evaluación externa deberá valorar el grado de avance en el cumplimiento de los objetivos planteados por el programa así como identificar aquellos cuellos de botella y factores facilitadores para un efectivo logro de los mismos. El foco se colocará en los resultados alcanzados,  los procesos y las estructuras que permitirán explicar y pronosticar esos resultados.

Methodology:

La evaluación se ha enfocado desde los criterios prescritos pero con atención a la Teoría del Cambio, de cara a formular, desarrollar y contrastar las hipótesis en el análisis causal del alcance de outputs y outcomes y su interrelación sistémica.
La estrategia metodológica ha buscado la triangulación entre técnicas y actores/perspectivas. En concreto se ha trabajado desde el análisis documental (documentos explicativos del programa, informes anuales, materiales de formación, informes de eficiencia interna y datos estadísticos oficiales), técnicas cualitativas (entrevistas y grupos de discusión con  diferentes interlocutores) y técnicas cuantitativas (encuesta on-line y análisis de datos estadísticos oficiales en un modelo de análisis contrafactual).
Se han realizado un total de 5 estudios de caso (2 en Jujuy y 3 en Salta) tomando como referencia escuelas  según el hábitat, resultados de eficiencia interna, provincia y tipo de participación en el programa. Se ha contado con la participación de un total de 110 personas.
En lo que respecta a la encuesta on-line, se consiguió una muestra final de 162 escuelas, de las que el 68% son escuelas participantes y el 32% no participantes. El análisis contrafactual, de diferencia de diferencias, se ha podido realizar completamente en la provincia de Salta (que es donde se han conseguido los datos pre y post de todas las escuelas). En Jujuy se analizan los datos pre-post de las escuelas participantes (sin comparación con las no incluidas).

Findings and Conclusions:

  1. (Pertinencia) Es una iniciativa pertinente, se articula con otras iniciativas de política educativa. Sin embargo no se ha seguido un criterio claro en la selección de las escuelas participantes.
  2. (Eficacia) La propuesta GEMA está en desarrollo: los procesos están sin concluir y se han puesto en marcha algunas de las tácticas previstas. Los actores involucrados perciben una alta mejora en las prácticas educativas y en los resultados de los NNA.
  3. III. (Eficiencia) Algunos de los procedimientos de implementación no están resueltos. El apoyo y el asesoramiento a las escuelas son esenciales para mantener el proyecto y las plataformas están infrautilizadas.
  4. (Eficiencia y. Tracción) Existen necesidades respecto al uso de recursos del programa. El rol de la supervisión es fundamental; se han planteado problemas presupuestarios para la gestión administrativa y existen carencias en los apoyos psicopedagógicos.
  5. (Tracción) El nivel de satisfacción de los directivos de las escuelas es muy alto. Aunque algunas de las propuestas GEMA se consideran fáciles de incorporar existen serios problemas para el manejo tecnológico y la conectividad, dificultades con los sistemas de información y el involucramiento de docentes y familias.
  6. (Escala) Las autoridades apoyan la propuesta, aumentando los recursos de apoyo y seguimiento directos. GEMA ha demostrado capacidad para aumentar su cobertura. Una universalización a corto-medio plazo no es viable sólo con capacitación directa, siendo necesaria la.
  7. (Sostenibilidad) Hay apoyo y capacidad institucional para la ampliación del programa y no es necesaria una especial dotación de recursos específicos más allá de los propios del sistema educativo
  8. (Impacto) El impacto del programa no se puede determinar completamente. Se observan mejoras en los indicadores de eficiencia interna, algo superiores a los de escuelas no participantes en: tasa de abandono, repitencia y promoción efectiva.

Recommendations:

  1. El Programa debe establecer pautas y plazos para que se pongan en práctica todos los elementos de la  propuesta completando todo el ciclo de refuerzo del rol directivo.
  2. Las autoridades deben reforzar el asesoramiento y el apoyo técnico para la implementación de las propuestas del programa y el acompañamiento a las escuelas, estableciendo GEMA como parte de las tareas explícitas de la supervisión.
  3. Las autoridades  deben reforzar e institucionalizar la capacitación para el rol directivo dentro de la política educativa: garantizar progresivamente la capacitación para el rol directivo entre los y las aspirantes a la dirección de escuelas y avanzar en el establecimiento de criterios de selección de las y los directivos que tengan en cuenta la formación específica para el rol.
  4. Las autoridades deberían explicitar con medidas concretas la continuidad del programa como parte de la política educativa, para favorecer el involucramiento de los diferentes actores: planificar la universalización, definir y organizar procesos de multiplicación, capacitar para el uso de tecnologías de la comunicación en las escuelas y facilitar apoyos psicopedagógicos.
  5. UNICEF debería mantener su apoyo al programa en las provincias en que se está desarrollando, tanto para la consolidación de equipos de formadores como para el ajuste del funcionamiento de las plataformas y sistemas de información
  6. El Programa y las autoridades deben reforzar y motivar el desarrollo completo de los sistemas de información, asegurando las dinámicas que faciliten su uso y cumplimentación adecuados, además de establecer un control de calidad de los datos recogidos y revisar las duplicidades entre los sistemas de registro del programa y los oficiales.
  7. Las autoridades y el Programa deben establecer claramente criterios anuales de participación y realizar un diagnóstico de las escuelas seleccionadas, teniendo en cuenta los elementos contextuales y de equidad.

Lessons Learned:

  • El desarrollo de GEMA muestra la importancia de la implicación de todos los agentes educativos en el desarrollo de una propuesta de carácter estructural, como es el caso. Independientemente de quiénes sean las y los beneficiarios directos, el ecosistema escolar concita muchos actores y factores que se ven afectados, y que pueden facilitar o ralentizar la consecución de los objetivos previstos. Por ello es altamente valioso considerar y articular su participación desde el primer momento.
  • Las iniciativas coherentes y pertinentes de apoyo al medio escolar suscitan un alto nivel de interés, motivación y satisfacción para los actores implicados que hay que aprovechar. Además el interés y motivación es tanto mayor cuanto más alta es la cobertura institucional.
  • Cualquier programa que incluya dinámicas educativas innovadoras debe construir un sistema de apoyo, seguimiento y refuerzo continuos, que garanticen la consolidación de la propuesta en el tiempo.
  • La utilidad del manejo tecnológico en el ámbito educativo es inmensa. Especialmente en iniciativas y/o programas que, como GEMA, se refuerzan muy claramente con la comunicación y que tienen un potencial mucho mayor de desarrollo mediante el uso adecuado de herramientas TIC. Si este manejo es deficiente o inadecuado parece conveniente acompasar la implementación del programa con formación específica para el uso de TIC.


Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Year:
2016

Country:
Argentina

Region:
LACR

Theme:
Education - Capacity Building; Child Friendly Schools

Type:
Evaluation

Partners:
Provincial Governments and OSC

Language:
Spanish

Sequence #:
2016/003

New enhanced search