We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2016 Colombia: Auto-evaluación de la implementación del modelo de Educación en el Riesgo de Minas en situaciones de emergencia de DAICMA-UNICEF (2014-2015)



Author: UNICEF. DAICMA

Executive summary

With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System (GEROS)". Within this system, an external independent company reviews and rates all evaluation reports. The quality rating scale for evaluation reports is as follows: “Highly Satisfactory”, “Satisfactory”, “Fair” or “Unsatisfactory”. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report, and the executive feedback summary labelled as ‘Part 3’.

Background:

La Dirección para la Acción Integral contra Minas Antipersonal – DAICMA-, que es una dependencia de la Presidencia de la República de Colombia, ha venido trabajando, desde el año 2013, en el diseño de un modelo operativo para realizar Educación en Riesgo de Minas en situaciones de emergencia (ERM-E) con financiación de la Unión Europea y el apoyo técnico de UNICEF.  En Junio de 2014, se consolidó un esquema que permitió al DAICMA realizar una convocatoria para la implementación de un proyecto que aplicara el modelo a manera de prueba piloto. Dicho proyecto tenía como finalidad “Desarrollar y validar una metodología de intervención y monitoreo de ERM-E”, trabajando con 30 comunidades en situación de emergencia por MAP/MUSE/AEI. El resultado de la convocatoria fue la asignación del proyecto a la ONG, Campaña Colombiana Contra Minas –CCCM-.
Adicionalmente, UNICEF estableció en 2015 un convenio de cooperación con la Corporación Paz y Democracia –CPD-, para implementar la estrategia de ERM-E, bajo el mismo modelo operativo mencionado arriba, con una cobertura geográfica distinta. 
En este contexto, se abrió una ventana de oportunidad para evaluar la implementación de un mismo modelo en contextos distintos.  Lo anterior, para determinar, por una parte, si el modelo cumplía y mantenía, independiente de las coberturas geográficas y las poblaciones participantes, criterios de calidad bajo un enfoque de acción humanitaria.  Por la otra, identificar ajustes de tipo técnico o metodológico para su eventual consolidación como una política nacional en la Educación en el Riesgo de MAP/MUSE/AEI.

Purpose/Objective:

La presente auto-evaluación examina el Modelo de ERM-E a través del análisis de los proyectos piloto y de réplica que se desarrollaron para implementarlo en distintas zonas geográficas del país. 
El objetivo fundamental es analizar el proyecto de ERM-E bajo los criterios de adecuación, eficacia, conectividad y coordinación.  A modo de ver de las estas instituciones, y de los propios operadores del modelo (CCCM y CPD), estos criterios son los que finalmente miden la calidad de la ERM en situaciones humanitarias, en lugar de aquellos que usualmente se aplican para intervenciones de desarrollo.  Con la medición de logro o cumplimiento en torno a estos criterios, es que el DAICMA y los demás actores del sector de la AICMA podrán adelantar un proceso de mejoramiento continuo de la calidad de la estrategia de ERM en Colombia.

Methodology:

Teniendo en cuenta que la CCCM y la CPD han sido aliados estratégicos de UNICEF por más de diez años en el desarrollo de la AICMA. , y que sus equipos humanos han trabajado de la mano del Fondo y del DAICMA en el diseño de propuestas y mejoras metodológicas a la ERM, se consideró la conveniencia de realizar un proceso interno de autoevaluación en lugar de una evaluación externa independiente. 
Para el caso específico de esta auto-evaluación, se decidió priorizar cuatro criterios de evaluación que incluyeran, desde el inicio, las variables del Modelo de ERM-E sobre las cuales se quería tener una valoración más detallada .
Los criterios seleccionados fueron: Adecuación, Eficacia, Conectividad y Coordinación.
El ejercicio de autoevaluación se desarrolló en fases. En la primera, el equipo de la CCCM realizó reuniones de autoevaluación, unas con los equipos de terreno, y otras con participantes y actores locales.  Dichas reuniones se desarrollaban de acuerdo con una guía facilitada por el coordinador de la auto-evaluación (ver anexo 1).  En un segundo momento, la CCCM entregó a UNICEF los resultados de la autoevaluación junto con las evidencias y medios de verificación de sus apreciaciones.  Ellas fueron revisadas para luego pasar a una tercera etapa de auto-evaluación en la que se organizó taller general, en la ciudad de Bogotá, con los equipos técnicos y personal de terreno de la CCCM, CPD, así como personal del DAICMA y UNICEF (ver anexo 2 y anexo 8).  Este taller se propuso validar hallazgos, revisar conclusiones y ajustar recomendaciones, frente a cada uno de los criterios de evaluación seleccionados.  En este taller, también se contó con la participación de puntos focales institucionales de dos municipios en los que se había implementado el modelo.

Findings and Conclusions:

  • En adecuación: El modelo de ERM-E sí es altamente adaptable a las necesidades locales.  Las comunidades se apropian del tema y se facilita la rendición de cuentas antes los actores involucrados. Hay, sin embargo, dificultades para recoger información oportuna y suficiente para evaluar las necesidades y capacidades locales.  Lo anterior, tanto por la cantidad de información que se solicita como por las limitaciones que existen en terreno para conseguirla.
  • En eficacia: Las actividades del modelo de ERM sí conducen al logro de los resultados esperado propuestos.  No obstante, las actividades que se contemplan en el modelo no se pueden interpretar como pasos que deban desarrollarse de forma lineal, a lo largo del tiempo.  Dependiendo del contexto, las actividades de inicio, desarrollo o cierre del proyecto pueden cambiar, así como los responsables de llevarlas a cabo.
  • En conectividad: El modelo de ERM-E incluye una fase de recuperación temprana que busca mejorar la capacidad de los gobiernos locales y de las propias comunidades (por ejemplo, con la asignación de un Enlace Territorial y voluntarios comunitarios que realizan actividades de ERM) para que asuman responsabilidades en acción contra minas.  El modelo también aboga por la inclusión de la ERM en los planes de prevención y contingencia del municipio. Esto último, sin embargo, no se está logrando; al parecer, por una baja sensibilización y compromiso de las autoridades locales frente a la problemática de las Minas Antipersonal.
  • En coordinación: El modelo de ERM-E sí busca la coordinación de actores, ya sea con gestión de información o sincronizando la realización de actividades conjuntas. Hay aportes locales, especialmente en la organización de los talleres de ERM y la asignación de los Enlaces Territoriales por parte de las alcaldías municipales.

Recommendations:

  1. UNICEF-DAICMA deben mejorar los mecanismos e instrumentos para la recolección de información necesaria en la evaluación de necesidades y capacidades que se lleva a cabo en la fase de preparación de la respuesta. El modelo ERM–E debe garantizar que la recolección y análisis de la información local sea permanente a lo largo de todo el ciclo de la emergencia.  Esta gestión de la información debe contar con la participación activa de autoridades nacionales y locales, y de las propias comunidades, de forma que ellas puedan tomar decisiones que contribuyan a una mejor gestión del riesgo.
  2. UNICEF debe proponer una estrategia de gestión territorial para la ERM-E que se apoye en los instrumentos de planeación disponibles en el nivel local y se adecúe a las capacidades y necesidades institucionales.  Esta estrategia debe contemplar acciones concretas de formación y acompañamiento a los coordinadores territoriales del proyecto, de manera que estos actores puedan incidir de forma más efectiva en planes, programas y proyectos relevantes a la ERM-E.
  3. UNICEF debe acompañar a los socios implementadores del modelo de ERM-E en el desarrollo de una estrategia operativa que permita ejecutar el modelo por componentes (incluso, de manera simultánea) en lugar de etapas sucesivas.  De esa manera, se podrá avanzar en el logro de productos y efectos de manera más eficiente y efectiva.
  4. UNICEF debe desarrollar una estrategia específica de fortalecimiento de capacidades entre los socios implementadores, para que ellos definan logros pertinentes a cada contexto, en el tema de coordinación de actores para el logro de los resultados en ERM-E.  Esto incluye, por ejemplo, la capacidad para diseñar estrategias de comunicación diferenciadas a cada tipo de audiencia que se identifique en el territorio (e.g. funcionarios de la alcaldía, rectores y autoridades académicas, entre otros .)

 

If interested in a copy of the Annexes, please contact the Evaluation Office at evalhelp@unicef.org



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Year:
2016

Country:
Colombia

Region:
LACR

Type:
Evaluation

Theme:
Child Protection - Landmines

Partners:
Campaña Colombiana Contra Minas (CCCM) y Corporación Paz y Democracia (CPD)

Language:
Spanish

Sequence #:
2016/007

 

New enhanced search