Evaluation database

Evaluation report

2008 Colombia: Evaluación del Proyecto “La Educación en Riesgo de Minas protege su vida”



Author: Ana Luz Rodrigues Puentes y Juan Fernando Pacheco Duarte

Executive summary

Background:
El proyecto “Educación en el Riesgo de Minas (ERM) y Asistencia a Víctimas en los departamentos de Cauca, Chocó, Nariño y la región de La Mojana /Sur de Bolívar”, se desarrolla en Departamentos de Cauca, Nariño, Chocó y región de la Mojana (Sur de Bolívar y Sucre) y realiza acciones de capacitación y de formación de orden preventivo para disminuir accidentes y proteger la vida y la integridad de poblaciones vulnerables ubicadas en localidades contaminadas por Minas Antipersonal (MAP) y Munición sin Explotar (MUSE) donde ha habido o siguen sucediendo conflictos y enfrentamientos armados.
Según las estadísticas oficiales de la Vicepresidencia de la República, desde 1990 hasta el primero de agosto de 2008, son 7.128 víctimas (muertes y lesionados); y en términos territoriales el 46% de los municipios del país, han reportado al menos una víctima. Del total de víctimas, el 34% son civiles y el 28% son menores de edad.
El departamento de Bolívar está en el primer lugar entre los cinco departamentos escogidos, con 521 víctimas y en el tercero en el orden nacional, después de Antioquia y de Meta. Menor incidencia se observa en el departamento de Chocó con 62 víctimas. En el total de los cinco departamentos escogidos por el proyecto, se encuentra el 18.50% de las víctimas registradas en el orden nacional.
Los eventos que ocasionan víctimas ocurren invariablemente en lugares donde las comunidades son más vulnerables, viven en pobreza extrema, en situación de aislamiento y marginalidad y soportan directamente los efectos de conflictos y enfrentamientos armados. En escenarios de esta naturaleza, la intervención con procesos de educación en riesgo de minas, significa prevenir la ocurrencia de tragedias humanas y ofrecer protección a la población civil.
UNICEF tiene desde 2001, el mandato de liderar como punto focal de las Naciones Unidas las actividades relacionadas con la educación para el riesgo de minas. En virtud de esta misión, UNICEF tiene funciones de cabildeo, de apoyo y de asesoría técnica para autoridades públicas comprometidas con estos temas y para organizaciones no gubernamentales, como es el caso de la Campaña Colombiana contra las Minas, con el objetivo de optimizar el cumplimiento de su misión en el país.
En tal dirección, el proyecto busca contribuir mediante sus acciones directas con comunidades vulnerables ubicadas en zonas de riesgo y con las instituciones públicas y privadas de los mismos espacios territoriales, al cumplimiento de misiones y metas tanto nacionales como internacionales.

Purpose/Objective:
El objetivo general de esta evaluación es identificar la información que podría servir de guía para fortalecer el proyecto, mediante el análisis crítico de las actividades realizadas y los resultados alcanzados, de tal manera que permita rediseñar las actividades. Como propósito secundario se tiene la contribución al fortalecimiento de metodologías y procedimientos utilizados a nivel comunitario hacia procesos estructurados creados a nivel nacional por la entidad reguladora (PAICMA) que orienten a otros actores de la AICMA en el país.

De acuerdo con los resultados obtenidos, se considerarán los ajustes al proyecto, incluyendo los cambios sugeridos por la evaluación y se presentarán a los donantes y beneficiarios los resultados alcanzados.

1.3. Objetivos específicos de la evaluación.
• Determinar la pertinencia, la eficiencia, la eficacia, la sostenibilidad e identificar posibles factores de impacto del proyecto, mediante el análisis de la lógica de intervención y los resultados alcanzados durante la primera fase .
• Sugerir un conjunto de indicadores útiles para monitorear el alcance de las actividades realizadas y determinar el logro de resultados, durante a segunda fase del proyecto
• Reconocer buenas prácticas y lecciones aprendidas en la planeación y ejecución del proyecto.

Methodology:
Metodología de la evaluación.

La evaluación fue desarrollada por medio de los siguientes pasos:
• Alistamiento
En un primer momento, se llevaron a cabo reuniones para establecer acuerdos y precisiones entre UNICEF y los consultores, sobre metodología, tiempos de ejecución y resultados esperados. Igualmente, se tuvo la oportunidad de realizar acercamientos con los coordinadores departamentales, con quienes se elaboraron y concertaron las agendas para los viajes a las cuatro regiones seleccionadas para la realización del proyecto.

• Documentación
En este paso se revisaron diversos tipos de documentos, tales como los siguientes:
- Formulación del proyecto en su fase 1 y fase 2, así como cuatro informes del proyecto, tres de la fase 1 y uno de la fase 2
- Materiales usados en el proyecto durante la fase 1 y/o la fase 2, como son: Cartilla Manual de Apoyo a la Comunidad, el Juego Didáctico Escalera de la Prevención, Mapa Didáctico, Rotafolio y Concéntrese.
- Documentos relacionados con ERM, como el conjunto de Guías de Mejores Prácticas del IMAS y Manual del Facilitador Comunitario, publicados por UNICEF y la Vicepresidencia de la República.
- Estadísticas del Programa Presidencial para la Acción Integral Contra Minas Antipersonal.
- Políticas y estrategias de orden internacional y nacional relacionadas con el tema.

• Elaboración de herramientas para el acopio de la Información primaria
Siguiendo las pautas contenidas en los términos de referencia y los documentos de UNICEF, se elaboraron y se ajustaron, con los aportes de la dirección de programa de ERM de esta misma entidad, un conjunto de cinco formatos para entrevistas formales con puntos alrededor de los siguientes aspectos: las fases del proyecto, los mensajes, la población, el manejo de los recursos, el entorno y la coordinación, la valoración de los resultados y las sugerencias y recomendaciones para las siguientes agrupaciones: a. Organizaciones que trabajan el mismo tema en todos los órdenes territoriales; b. Miembros de la CCCM; c. Coordinadores departamentales y municipales; d. Facilitadores; e. Personas de comunidades locales.

• Trabajo de campo: visitas a departamentos, municipios y localidades para captación de información y ejercicios de observación directa.
Se visitaron todas las regiones del proyecto y por muestreo no aleatorio se llegó hasta los espacios municipales y veredales. Durante todas las visitas de campo, los consultores fueron acompañados por una persona del equipo de Acción contra Minas de UNICEF, y por la organización ejecutora se contó con la presencia del coordinador departamental y los respectivos coordinadores municipales, lo mismo que los facilitadores veredales. En todo momento se recibió el apoyo, las gestiones y la información necesaria y suficiente para desarrollar esta labor con eficiencia. Los dos consultores recogieron directamente la información en forma escrita, con entrevistas semiestructuradas, teniendo como guías las preguntas preparadas en los citados formatos. Adicionalmente se hicieron registros fotográficos. En algunas ocasiones, las entrevistas se hicieron en presencia del acompañante de la CCCM y de UNICEF; en otras ocasiones, hubo la presencia solamente del entrevistador-consultor. Algunas de las entrevistas se realizaron de manera grupal y otras de forma individual.
Las entrevistas casi siempre se llevaron a cabo en espacios abiertos, después de crear ambiente de confianza y apertura, donde se iniciaron las conversaciones explicando el propósito de la visita y los objetivos del programa. La mayor parte de las entrevistas grupales se llevaron a cabo con personas de las comunidades. En algunos casos también se hicieron entrevistas de manera menos formal, sin seguir el formato pero atendiendo a las preguntas centrales preparadas y recogiendo información expresada de manera más espontánea por las personas participantes.
En cuanto a la selección de las personas entrevistadas, se hizo de manera concertada con los coordinadores departamentales y municipales, en todos los casos de personas vinculadas con entidades u organizaciones afines; pero también, se llevó a cabo de forma aleatoria con personas de la comunidad.
Especialmente con jóvenes y niños se realizaron talleres con dramatizados cortos encaminados a reflejar los comportamientos frente a las MAP y MUSE, antes de la capacitación dada por el proyecto y después de la misma.

• Etapa de ordenamiento y análisis de la información y elaboración del dos informes
Una vez acopiada la información, se procedió a su respectivo ordenamiento, agrupación y asociación para iniciar la etapa de análisis y valoración de los resultados. Como resultado se produjo un primer informe de avance, entregado el 2 de octubre de 2008, el cual fue retroalimentado por UNICEF. Dicho informe ha servido de sustento para la elaboración del presente informe final.

• Realización de actividades de evaluación
La evaluación se llevó a cabo según el cronograma previsto inicialmente en los términos de referencia de la evaluación.

Findings and Conclusions:
Los resultados de la evaluación permitieron obtener seis conclusiones que se sustentan a partir de los principales hallazgos obtenidos, tal como se describen a continuación:
1. Este proyecto tiene un nivel de pertinencia excelente ya que los servicios que se prestan responden adecuadamente a las necesidades locales en donde se está implementando; su planeación tuvo en cuenta la realidad local y sus problemáticas en cuanto a MAP y MUSE; se trabajó con un equipo que conoce el contexto y las conductas de riesgo de la comunidad frente a MAP y MUSE; se diseñaron mensajes de prevención adecuados a la realidad de las comunidades; y finalmente, el proyecto se corresponde con las políticas de sus socios.
2. Para el momento de la evaluación, este proyecto presenta un nivel de eficacia satisfactorio. No llega a ser de nivel excelente porque no se han realizado todas las actividades planeadas ni se han alcanzado todos los resultados previstos en el tiempo estipulado. Contribuye también a disminuir la eficacia, unos deficientes documentos de formulación del proyecto. Aunque el proyecto presenta herramientas internas para el monitoreo de las actividades y estás funcionan de manera adecuada, existe un bajo nivel de calidad en los informes para los financiadores que dificulta comprender adecuadamente el nivel de avance de su ejecución en cada una de sus actividades. El proyecto cuenta con un equipo de trabajo en campo que ha recibido una buena capacitación en lo referido a los temas de Educación en Riesgo de Minas, pero hay un desnivel entre ellos en cuanto a las competencias integrales necesarias para sus funciones. De otra parte, se evidencia un buen resultado con las actividades de capacitación a la comunidad, ya que esta percibe de manera clara los mensajes de prevención y tienen un alto nivel de recordación frente a estos. La mayor parte de la población focalizada recibió la capacitación tal como se había previsto en el proyecto, sin que se presentaran exclusiones o discriminaciones.
3. Teniendo claro que en esta evaluación la eficiencia no incluyó la variable costo y se refiere especialmente a la valoración del manejo del recurso tiempo en relación con la realización de las actividades del proyecto, se considera que el momento de la evaluación el proyecto presenta un nivel de eficiencia satisfactorio, ya que existe un clara planificación de los recursos y un sistema de monitoreo de los mismos, con una ejecución que ha utilizado algunos recursos locales (no monetarios). Sin embargo, no hay una total claridad por parte de los integrantes de los equipos de trabajo en terreno, sobre todas sus funciones en la ejecución de las actividades del proyecto.
4. Se concluye también que si bien el proyecto tiene claridad en las estrategias de sostenibilidad, estas no se han implementado adecuadamente por lo que se puede afirmar que el nivel de sostenibilidad del proyecto hasta el momento de esta evaluación es pobre, pero que pudo hacer sido aumentado en la ejecución del proyecto en los meses comprendidos entre octubre de 2009 y el final de la ejecución de la segunda fase, prevista para diciembre de 2009, los cuales no estaban incluidos en el horizonte de esta evaluación. Favorece la perspectiva de sostenibilidad en cuanto a la posible implementación de una tercera fase, las adecuadas capacidades gerenciales y técnicas de la entidad ejecutora. Sobre la continuidad de los beneficios generados, es un factor positivo la existencia a nivel local de otras organizaciones que podrían llegar a realizar acciones de ERM, siempre y cuando se preparen y acompañen adecuadamente, y el fomento a la participación comunitaria que se ha llevado a cabo con la estrategia del proyecto. Además, se considera de alta importancia la inclusión del tema de ERM en los planes de desarrollo de algunos departamentos y municipios.
5. Aunque se requiere de un horizonte temporal de mayor plazo para realizar una evaluación de impacto, se puede afirmar que el proyecto ha generado cambios de comportamiento en la comunidad y ha permitido que esta sea más cuidadosa en el manejo de riesgos frente a MAP y MUSE. Las dificultades sobre la formulación del proyecto y la elaboración de los informes, hacen difícil identificar las llamadas brechas de atribución como impactos directos producidos por el proyecto, de aquellas de contribución donde otros actores están haciendo aportes a los mismos propósitos.
6. Desde el enfoque de Acción sin Daño, se establece que este criterio se ha manejado con un nivel muy bueno, ya que se han previstos mecanismos de protección para la comunidad y el equipo de trabajo. La etapa de transición entre la fase 1 y la fase 2 no evidencia efectos negativos directos ni para el proyecto ni para la comunidad, más allá de expectativas e incertidumbres que se resolvieron de manera favorable. Adicionalmente, el proyecto no ha creado tensiones o rivalidades entre la población beneficiada y la población no incluida.

Recommendations:
Entre las recomendaciones más importantes para los socios del proyecto, están las siguientes:
1. Es importante prever el planteamiento de horizontes de tiempo más amplios para proyectos de esta naturaleza. La incertidumbre entre la continuidad de las fases pueden perjudicar los resultados del proyecto por varias razones, entre las cuales se identifica la posible desmotivación de los equipos de trabajo y la limitación que significan las planeaciones de corto plazo.
2. Teniendo en cuenta que este ejercicio de evaluación no tiene alcance en las revisiones contables y presupuestales, esta consultoría sugiere llevar a cabo un proceso de auditoría externa que pueda identificar de manera precisa los aspectos a fortalecer en estos campos y contribuya a delimitaciones más precisas en los manejos contables y presupuestales.
3. Es necesario fortalecer la formación del equipo de trabajo en temas que le permitan manejar de forma más adecuada los aspectos orientados a la sostenibilidad del proyecto, tales como: i. Mecanismos para la formulación de planes de desarrollo municipal y sus planes de inversión anual; ii. Estructura y funcionamiento de las administraciones territoriales; iii. Estructura de los proyectos educativos institucionales y su metodología de formulación; iv. Mecanismos de cabildeo frente a instituciones públicas.
4. De cara a la sostenibilidad de los beneficios generados por el proyecto, se sugiere llevar a cabo la identificación y priorización de organizaciones que por su misión se conviertan en capacitadores y vigías de la ERM, lo cual sería del caso fortalecer los vínculos y compromisos. De igual manera podría hacerse con emisoras y radio locales.

Lessons Learned (Optional):
Se entiende por lecciones aprendidas el conjunto de conocimientos aprehendidos de manera suficiente, aunados a la creación de actitudes coherentes con lo aprendido. Se trata de una actividad tanto cognitiva como actitudinal y requiere de suficiente tiempo para la interiorización y la sólida asimilación por parte de los sujetos. Por las razones anteriores, se propone más bien plantear un conjunto de ideas que sugieren aprendizajes en proceso de asimilación, generados por la reflexión que surge en torno a la evaluación del proyecto.
a) La realización de proyectos de esta naturaleza es posible a partir de reconocer y promover las capacidades locales y regionales. Se crean de esta forma condiciones para la sostenibilidad posterior. Esto puede significar mayor dedicación de tiempo y de recursos económicos; pero en compensación, se ofrece un estímulo importante para el progreso de la región y puede ser un medio eficaz para la protección y la seguridad de los equipos humanos comprometidos con el proyecto.
b) Aunque la metodología en general está estandarizada a nivel internacional y nacional, la adaptación de instrumentos pedagógicos, según las circunstancias y las diferentes culturas, siempre es necesaria para alcanzar éxito en el proyecto.
c) El posicionamiento adecuado del proyecto se relaciona muy estrechamente con la capacidad de mantener independencia política y un alto nivel de capacidad técnica por parte de directivos y de personal operativo.
d) Tan importante es preparar la entrada del proyecto en las regiones, como prever la salida en condiciones de asegurar el fortalecimiento de capacidades locales y la oportuna conexión con todos los involucrados.
e) Para garantizar la transparencia del proyecto es preciso prever mecanismos que incluyan: formulación e informes de proyecto con lineamientos técnicos y criterios claros y coherentes, instrumentos eficientes de orden cualitativo y cuantitativo para realizar rendición de cuentas y gestión del conocimiento de forma provechosa para mejorar de manera constante la ejecución.
f) Se comprueba que la sumatoria de las partes no es igual a la totalidad del proyecto. Es preciso entre todos encontrar y construir lo que aporta el valor agregado y trasciende la adición de las partes, lo cual se realiza mediante la constante reflexión sobre la acción y la apropiada gestión del conocimiento.
g) Construir un proyecto sobre la marcha es riesgoso, y conlleva el reto de aplicar actitudes y criterios de flexibilidad, de tolerancia, de apertura y de manejo adecuado de tensiones. Se ponen a prueba y se fortalecen las cualidades humanas que nos habitan.
h) Una buena parte del éxito del modelo pedagógico para la adecuada asimilación de los mensajes, radica en la posibilidad de refuerzo de los mensajes por los más diversos medios como son: las visitas domiciliarias en mejor clima de confianza entre las personas y el facilitador, para que se expresen preguntas e inquietudes con mayor tranquilidad; la utilización de más imágenes que textos, los medios de comunicación debidamente monitoreados y las expresiones lúdicas propias de las diferentes culturas.



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

New enhanced search