Evaluation database

Evaluation report

2009 Colombia: Educación en el Riesgo de Minas (ERM) y Asistencia a Víctimas en los departamentos de Cauca, Chocó, Nariño y la región de La Mojana /Sur de Bolívar



Author: Ana Luz Rodrigues Puentes; Juan Fernando Pacheco Duarte

Executive summary

 

“With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System". Within this system, an external independent company reviews and rates all evaluation reports. Please ensure that you check the quality of this evaluation report, whether it is “Outstanding”, “Good”, “Almost Satisfactory” or “Unsatisfactory” before using it. You will find the link to the quality rating below, labelled as ‘Part 2’ of the report.”

Background

El proyecto evaluado se titula “Educación en el Riesgo de Minas (ERM) y Asistencia a Víctimas en los departamentos de Cauca, Chocó, Nariño y la región de La Mojana /Sur de Bolívar”. El ejecutor del proyecto es la Campaña Colombiana Contra las Minas (CCCM), con el apoyo de la UNICEF y la financiación de la Agencia Española de Cooperación Internacional para el Desarrollo (AECID). El proyecto inició en el 2007 y para el momento de la evaluación se encontraba en ejecución su segunda fase. La primera fase se implementó desde abril de 2007 hasta febrero de 2008, con una prolongación hasta marzo de 2008, y la segunda fase abarcó desde abril hasta diciembre de 2008. El presupuesto para las dos fases fue de $1.555.960.000 pesos colombianos.

El objetivo general para la primera fase se estableció como el desarrollar e implementar en 17 municipios priorizados de los departamentos de Cauca, Chocó, Nariño y la región de La Mojana y el Sur de Bolívar, estrategias con base comunitaria en educación para la reducción y prevención de accidentes por minas antipersonal (MAP) y munición sin explotar (MUSE), así como de acompañamiento y asesoría a los sobrevivientes de accidentes por MAP y MUSE. Para la segunda fase el objetivo general fue definido en términos de construir capacidad local en 17 municipios y 59 veredas para gestionar, implementar y evaluar procesos de prevención y atención en acción integral contra minas.

Esta evaluación ha sido encargada por la UNICEF y cubre un período que va desde el 23 de abril de 2007 hasta el 30 de septiembre de 2008. Su objetivo general es identificar la información que podría servir de guía para fortalecer el proyecto, mediante el análisis crítico de las actividades realizadas y los resultados alcanzados, de tal manera que permita rediseñar las actividades. Como propósito secundario se tiene la contribución al fortalecimiento de metodologías y procedimientos utilizados a nivel comunitario hacia procesos estructurados creados a nivel nacional por la entidad reguladora, el Programa Presidencial de Acción Integral contra las Minas Antipersonal (PAICMA), procesos que orienten a otros actores de la Acción Integral contra Minas Antipersonal (AICMA) en el país.

La consultoría se ha acogido a los criterios técnicos de evaluación estándar del Comité de Asistencia para el Desarrollo de la Organización para la Cooperación y el Desarrollo Económico (OCDE/CAD): Pertinencia, eficacia, eficiencia, sostenibilidad e impacto. Se advierte que esta evaluación presenta limitaciones para evaluar los efectos de largo plazo generados por el proyecto, para lo cual se requiere un horizonte temporal de mayor plazo. En forma complementaria, se han apropiado criterios de orden universal, los cuales se constituyen en códigos éticos para la evaluación: i. Inclusión y participación de todos los involucrados, de manera diferenciada según el rol de cada quien; ii. Respeto y protección de las fuentes; iii. Abordaje desde una perspectiva de derechos; iv. Veracidad y objetividad de la información; y v. Observación desde el enfoque de Acción sin Daño.

La evaluación tomó cuatro meses de trabajo y su desarrollo comprendió las siguientes etapas: i. Alistamiento, en la cual se establecieron acuerdos y precisiones entre UNICEF y los consultores sobre metodología, tiempos de ejecución y resultados esperados. ii. Documentación, en la cual se revisó información secundaria del proyecto; iii. Elaboración de herramientas para el acopio de la información primaria, que correspondió principalmente al diseño de formatos de entrevista; iv. Trabajo de campo, durante el cual se realizaron visitas a departamentos, municipios y localidades para recolección de información y ejercicios de observación directa; y v. Ordenamiento y análisis de la información y elaboración de informes.

Durante la evaluación se visitaron cuatro departamentos, ocho municipios y nueve veredas, seleccionadas por muestreo no aleatorio dentro de todas las localidades en las cuales el proyecto desarrolla sus actividades. Se realizaron 108 entrevistas en las que participaron 364 personas.
Los resultados obtenidos con la evaluación permitieron valorar los cinco criterios técnicos y el de Acción sin Daño, bajo una escala de cuatro niveles, que de menor a mayor logro son: Pobre, Satisfactorio, Muy Bueno y Excelente.

Conclusion

Los resultados de la evaluación permitieron obtener seis conclusiones que se sustentan a partir de los principales hallazgos obtenidos, tal como se describen a continuación:
1. Este proyecto tiene un nivel de pertinencia excelente ya que los servicios que se prestan responden adecuadamente a las necesidades locales en donde se está implementando; su planeación tuvo en cuenta la realidad local y sus problemáticas en cuanto a MAP y MUSE; se trabajó con un equipo que conoce el contexto y las conductas de riesgo de la comunidad frente a MAP y MUSE; se diseñaron mensajes de prevención adecuados a la realidad de las comunidades; y finalmente, el proyecto se corresponde con las políticas de sus socios.

2. Para el momento de la evaluación, este proyecto presenta un nivel de eficacia satisfactorio. No llega a ser de nivel excelente porque no se han realizado todas las actividades planeadas ni se han alcanzado todos los resultados previstos en el tiempo estipulado. Contribuye también a disminuir la eficacia, unos deficientes documentos de formulación del proyecto. Aunque el proyecto presenta herramientas internas para el monitoreo de las actividades y estás funcionan de manera adecuada, existe un bajo nivel de calidad en los informes para los financiadores que dificulta comprender adecuadamente el nivel de avance de su ejecución en cada una de sus actividades. El proyecto cuenta con un equipo de trabajo en campo que ha recibido una buena capacitación en lo referido a los temas de Educación en Riesgo de Minas, pero hay un desnivel entre ellos en cuanto a las competencias integrales necesarias para sus funciones. De otra parte, se evidencia un buen resultado con las actividades de capacitación a la comunidad, ya que esta percibe de manera clara los mensajes de prevención y tienen un alto nivel de recordación frente a estos. La mayor parte de la población focalizada recibió la capacitación tal como se había previsto en el proyecto, sin que se presentaran exclusiones o discriminaciones.

3. Teniendo claro que en esta evaluación la eficiencia no incluyó la variable costo y se refiere especialmente a la valoración del manejo del recurso tiempo en relación con la realización de las actividades del proyecto, se considera que el momento de la evaluación el proyecto presenta un nivel de eficiencia satisfactorio, ya que existe un clara planificación de los recursos y un sistema de monitoreo de los mismos, con una ejecución que ha utilizado algunos recursos locales (no monetarios). Sin embargo, no hay una total claridad por parte de los integrantes de los equipos de trabajo en terreno, sobre todas sus funciones en la ejecución de las actividades del proyecto.

4. Se concluye también que si bien el proyecto tiene claridad en las estrategias de sostenibilidad, estas no se han implementado adecuadamente por lo que se puede afirmar que el nivel de sostenibilidad del proyecto hasta el momento de esta evaluación es pobre, pero que pudo hacer sido aumentado en la ejecución del proyecto en los meses comprendidos entre octubre de 2009 y el final de la ejecución de la segunda fase, prevista para diciembre de 2009, los cuales no estaban incluidos en el horizonte de esta evaluación. Favorece la perspectiva de sostenibilidad en cuanto a la posible implementación de una tercera fase, las adecuadas capacidades gerenciales y técnicas de la entidad ejecutora. Sobre la continuidad de los beneficios generados, es un factor positivo la existencia a nivel local de otras organizaciones que podrían llegar a realizar acciones de ERM, siempre y cuando se preparen y acompañen adecuadamente, y el fomento a la participación comunitaria que se ha llevado a cabo con la estrategia del proyecto. Además, se considera de alta importancia la inclusión del tema de ERM en los planes de desarrollo de algunos departamentos y municipios.

5. Aunque se requiere de un horizonte temporal de mayor plazo para realizar una evaluación de impacto, se puede afirmar que el proyecto ha generado cambios de comportamiento en la comunidad y ha permitido que esta sea más cuidadosa en el manejo de riesgos frente a MAP y MUSE. Las dificultades sobre la formulación del proyecto y la elaboración de los informes, hacen difícil identificar las llamadas brechas de atribución como impactos directos producidos por el proyecto, de aquellas de contribución donde otros actores están haciendo aportes a los mismos propósitos.

6. Desde el enfoque de Acción sin Daño, se establece que este criterio se ha manejado con un nivel muy bueno, ya que se han previstos mecanismos de protección para la comunidad y el equipo de trabajo. La etapa de transición entre la fase 1 y la fase 2 no evidencia efectos negativos directos ni para el proyecto ni para la comunidad, más allá de expectativas e incertidumbres que se resolvieron de manera favorable. Adicionalmente, el proyecto no ha creado tensiones o rivalidades entre la población beneficiada y la población no incluida.

Recommendation

Entre las recomendaciones más importantes para los socios del proyecto, están las siguientes:

1. Es importante prever el planteamiento de horizontes de tiempo más amplios para proyectos de esta naturaleza. La incertidumbre entre la continuidad de las fases pueden perjudicar los resultados del proyecto por varias razones, entre las cuales se identifica la posible desmotivación de los equipos de trabajo y la limitación que significan las planeaciones de corto plazo.

2. Teniendo en cuenta que este ejercicio de evaluación no tiene alcance en las revisiones contables y presupuestales, esta consultoría sugiere llevar a cabo un proceso de auditoría externa que pueda identificar de manera precisa los aspectos a fortalecer en estos campos y contribuya a delimitaciones más precisas en los manejos contables y presupuestales.

3. Es necesario fortalecer la formación del equipo de trabajo en temas que le permitan manejar de forma más adecuada los aspectos orientados a la sostenibilidad del proyecto, tales como: i. Mecanismos para la formulación de planes de desarrollo municipal y sus planes de inversión anual; ii. Estructura y funcionamiento de las administraciones territoriales; iii. Estructura de los proyectos educativos institucionales y su metodología de formulación; iv. Mecanismos de cabildeo frente a instituciones públicas.

4. De cara a la sostenibilidad de los beneficios generados por el proyecto, se sugiere llevar a cabo la identificación y priorización de organizaciones que por su misión se conviertan en capacitadores y vigías de la ERM, lo cual sería del caso fortalecer los vínculos y compromisos. De igual manera podría hacerse con emisoras y radio locales.



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

New enhanced search