Base de datos de evaluación

Evaluation report

Evaluación mundial de DevInfo 2009



Executive summary

Antecedentes
El Sistema de Información sobre Desarrollo (DevInfo) es un sistema de base de datos para hacer seguimiento del desarrollo humano. Constituye una herramienta para organizar, almacenar y presentar datos de una manera uniforme, con el objeto de facilitar el intercambio de información entre entidades gubernamentales, organismos de las Naciones Unidas, organizaciones de la sociedad civil y asociados para el desarrollo de todos los países y todas las regiones del mundo. DevInfo tiene características que permiten producir tablas, gráficos y mapas para acompañar informes, presentaciones y material de promoción. Este programa informático soporta indicadores generales –como los indicadores de los Objetivos de Desarrollo del Milenio (ODM)– e indicadores definidos por el usuario. DevInfo puede funcionar como aplicación de escritorio o como aplicación web.
DevInfo surgió a partir de ChildInfo, un sistema de base de datos que UNICEF gestionaba y utilizaba para dar seguimiento a la supervivencia, el crecimiento y el desarrollo infantil. En 2004, la Directora Ejecutiva de UNICEF ofreció compartir la experiencia de este organismo en materia de recopilación de datos y presentación de informes sobre indicadores por medio de ChildInfo con otros organismos de las Naciones Unidas. En la actualidad, DevInfo es un programa mundial financiado por ocho organismos de las Naciones Unidas y gestionado por el Administrador Mundial de DevInfo, un funcionario de UNICEF. El principal órgano de supervisión es el Comité Consultivo Interinstitucional de DevInfo, que depende directamente del Grupo de Trabajo sobre Cuestiones de Programación del Grupo de las Naciones Unidas para el Desarrollo (GNUD). El asociado en la ejecución de apoyo a DevInfo es la fundación sin fines de lucro Community Systems Foundation. Estructuras regionales de apoyo y la Oficina de Coordinación de Operaciones para el Desarrollo de las Naciones Unidas también colaboran.
Los objetivos de la iniciativa DevInfo son lograr que este sistema se incorpore a un esfuerzo nacional más amplio tendiente a recopilar, analizar y difundir información sobre desarrollo humano, garantizando la sostenibilidad y el uso del sistema de base de datos a largo plazo; fortalecer la capacidad de los gobiernos para adaptar DevInfo a sus estrategias nacionales de seguimiento y, por lo tanto, aprovechar eficazmente esta tecnología para seguir de cerca los progresos en materia de desarrollo humano; y reforzar tanto la capacidad de los equipos de las Naciones Unidas en los países como la de los asociados nacionales para dar seguimiento, por medio de DevInfo, a los avances relativos a las prioridades nacionales e internacionales, como los Objetivos de Desarrollo del Milenio.

Propósito y objetivos de la evaluación
El propósito de la evaluación es “facilitar al personal directivo superior de UNICEF la toma de decisiones, y orientar y documentar al Comité Consultivo Interinstitucional de DevInfo sobre el rumbo de la iniciativa, particularmente en lo que concierne a la futura estructura de la gestión y la ejecución de la iniciativa, su sostenibilidad y su posible expansión”. Se espera que esta evaluación ayude al personal directivo de alto nivel a explorar mecanismos para desarrollar, ampliar la escala y acelerar la distribución y la utilización de DevInfo.
Esta evaluación tiene tres objetivos. Objetivo 1: Valorar la pertinencia, la eficacia y las repercusiones del uso de DevInfo a nivel nacional y subnacional por parte de los gobiernos y otros asociados en los países donde se ejecuta este programa, y también por parte del sistema de las Naciones Unidas. Objetivo 2: Determinar la eficiencia desde los puntos de vista de la supervisión, la gestión y la aplicación de DevInfo. Objetivo 3: Examinar alternativas de sostenibilidad institucional y posibles oportunidades para la expansión de DevInfo. El momento para realizar esta evaluación se estableció con base en varios factores. En primer lugar, la necesidad de hacer un inventario de la situación y planificar el futuro antes de finalizar el primer ciclo de cinco años de DevInfo (2004-2009). En segundo lugar, una solicitud del Comité de Revisión de Contratos de la Sede de UNICEF para evaluar el impacto de DevInfo antes de la siguiente revisión de contratos con la Community Systems Foundation, a principios de 2009. Y, en tercer lugar, la planificación del bienio 2010-2011 de UNICEF. El punto de partida de la evaluación fue el año 2004, cuando DevInfo entró en operación.

Metodología
El enfoque general de esta evaluación fue adoptar una perspectiva estratégica amplia de DevInfo y, luego, concentrarse en factores críticos que influyen en su desempeño y en su utilidad percibida. Se recurrió a cinco métodos de investigación, a saber: un estudio preliminar de documentos fundamentales; entrevistas con interesados; estudios de casos de seis países (Egipto, la India, Liberia, Malawi, Serbia y Tailandia); visitas y consultas con las oficinas regionales de UNICEF (en Bangkok, Ciudad de Panamá y Tailandia) y entrevistas telefónicas (con Ammán, Jordania; Dakar, el Senegal; y Ginebra, Suiza); y una encuesta mundial a usuarios a través de la Internet, valiéndose de un marco de muestreo proveniente de la base de datos de empleados capacitados del Grupo de Apoyo de DevInfo. La información obtenida se trianguló.

La evaluación enfrentó una serie de problemas. Los equipos solamente pudieron visitar seis países; no obstante, se hizo todo lo posible para abarcar una zona geográfica razonablemente amplia, aunque no se visitaron países de habla francesa ni española. Para la encuesta a los usuarios a través de la Internet se contó con un marco de muestreo limitado, lo que hizo que los hallazgos no fueran representativos. Haber restringido la encuesta a preguntas cerradas y escaladas afectó adversamente el análisis cualitativo, y haberla hecho únicamente en inglés, francés y español impidió que muchas personas participaran en el proceso. Por estarse diseñando nuevamente, el sitio web de DevInfo no se examinó, como tampoco la última versión del programa informático, DevInfo 6.0.

Se hizo una evaluación general de las tendencias industriales en la presentación y visualización de datos. Sin embargo, la evaluación no exploró en profundidad cómo podrían evolucionar esos instrumentos en los próximos tres a cinco años y lo que esa evolución implicaría para DevInfo.


Resultados y conclusiones fundamentales
Pertinencia. Durante la última década, los responsables de formular políticas y tomar decisiones a nivel mundial insistieron muchas veces en la necesidad de contar con información estadística sólida y de fácil acceso, particularmente datos relativos a los objetivos nacionales de desarrollo y a los programas de los objetivos de desarrollo convenidos internacionalmente, incluyendo los ODM. DevInfo es una iniciativa que responde a esa necesidad y que contribuye a la estandarización de los datos estadísticos indispensable para la adopción de políticas y decisiones sobre desarrollo humano en los países y entre ellos. Su valor se fundamenta en los mandatos normativos y analíticos del sistema de las Naciones Unidas, lo que representa su ventaja comparativa en el ámbito de la tecnología de la información, que se caracteriza por la competitividad y la constante innovación.

Las funciones de visualización de DevInfo han demostrado ser útiles para generar interés en las pruebas estadísticas entre los encargados de formular políticas y tomar decisiones. La pertinencia de las adaptaciones de DevInfo dependerá de sus ventajas adicionales, de su capacidad para complementar tanto los sistemas existentes como los sistemas que están en ciernes, de su calidad y de la presentación oportuna de los datos.

Eficacia. Los tres indicadores principales para el seguimiento del desempeño de la iniciativa DevInfo se definieron en 2004: número de países que utilizan el sistema, número de adaptaciones y número de usuarios capacitados. Para marzo de 2009, más de 100 países en desarrollo lo estaban utilizando, se habían adaptado más de 140 versiones y más de 12.500 personas habían recibido capacitación en su uso. Estos tres indicadores abordan la cuestión de la eficacia sobre todo en términos de resultados y, hasta cierto punto, también en términos de efectos directos e impacto. Hay pruebas de que las bases de datos nacionales de DevInfo se utilizan para mejorar la capacidad de planificación basada en resultados y el seguimiento de las prioridades nacionales de desarrollo. El 83% de las personas que respondieron la encuesta a los usuarios manifestaron estar de acuerdo, o totalmente de acuerdo, en que el sistema DevInfo se había utilizado para presentar datos estadísticos a los responsables de tomar decisiones.

Esta evaluación buscaba conocer el uso real de DevInfo por parte del sistema de las Naciones Unidas y, más importante aún, de los asociados nacionales. Sin embargo, las pruebas sobre resultados en lo tocante a efectos directos e impacto fueron limitadas, pues no existen métodos sistemáticos de vigilancia y presentación de informes en este sentido. Esas pruebas podrían mostrar cambios institucionales o conductuales que podrían atribuirse o asociarse con DevInfo. Si bien el esquema de capacitar a un alto número de personas en el uso de DevInfo (12.500 desde 2004) –muchas de las cuales no lo utilizarán– y proporcionar apoyo a los usuarios que lo soliciten ha surtido algún efecto desde el punto de vista de los resultados y el impacto, tiene grandes limitaciones y no permite aprovechar todo el potencial de DevInfo.

El programa informático patentado y el modelo de desarrollo de código cerrado que actualmente emplea el sistema DevInfo han sido puestos en tela de juicio por el modelo de código abierto, definido como un programa informático que, mediante una licencia de software que cumple la Definición de Código Abierto o que es de dominio público, obtiene un código fuente y otros derechos normalmente reservados a los titulares de derechos de autor. Las necesidades y exigencias de los usuarios han requerido ajustes periódicos y tres actualizaciones de DevInfo desde 2004.

La utilización de DevInfo para mejorar la capacidad de planificación basada en resultados y el seguimiento de las prioridades nacionales de desarrollo se debe, en parte, a su plantilla general configurada para los indicadores mundiales de los ODM. Las adaptaciones nacionales de DevInfo se estructuran alrededor de los indicadores de los ODM ajustados a nivel mundial y, en algunos casos, a nivel nacional. En algunos países, los informes sobre los ODM se elaboran con datos de las adaptaciones nacionales, y en algunos informes nacionales se utilizan las funciones especiales de DevInfo que permiten producir mapas, gráficos y material para presentaciones. Con todo, la utilización de los datos de DevInfo para elaborar informes sobre los ODM no es una práctica universal. Mientras que las redes de los ODM abogan por su uso, los organismos no siempre lo apoyan. Así, pues, el potencial de DevInfo se desaprovecha en la preparación de informes sobre los ODM.

Supervisión y gestión. La iniciativa DevInfo es un programa mundial que UNICEF gestiona con apoyo de otros organismos de las Naciones Unidas y la Oficina de Coordinación de Operaciones para el Desarrollo. El principal órgano de supervisión es el Comité Consultivo Interinstitucional de DevInfo, que depende del Grupo de Trabajo sobre Cuestiones de Programación del GNUD. El Grupo aspira a contribuir a la reforma de las Naciones Unidas buscando una mayor coherencia y armonización entre los enfoques del sistema de las Naciones Unidas.
La estructura de supervisión y gestión tiene limitaciones y podría ser inadecuada si se pretende que DevInfo evolucione hasta alcanzar todo su potencial. Existen dudas sobre la conveniencia de que el Administrador Mundial de DevInfo presida el Comité Consultivo Interinstitucional, pues podrían producirse conflictos de intereses. El Comité Consultivo está conformado, en su mayoría, por técnicos, y no incluye funcionarios de nivel superior. La relación entre el mandato del Comité Consultivo Interinstitucional de DevInfo y el marco general de políticas del Grupo de Trabajo sobre Cuestiones de Programación del GNUD es relativamente débil. La estructura actual de supervisión y gestión no permite que DevInfo soporte, como se esperaba, el vínculo entre el seguimiento de los resultados en materia de desarrollo a nivel de país y el seguimiento del Marco de Asistencia de la Naciones Unidas para el Desarrollo. Hoy en día, el Comité Consultivo Interinstitucional de DevInfo carece de la capacidad para proponer una estrategia conducente al logro de estos objetivos.
En los planos mundial, regional y nacional, DevInfo todavía se percibe como un programa patrocinado, administrado y ejecutado por UNICEF. Para apoyar a los países miembros, UNICEF depende en gran medida de un único proveedor de servicios, la Community Systems Foundation, una organización sin fines de lucro con sede en los Estados Unidos. Las actividades de desarrollo las lleva a cabo Avalon Information Systems Pvt. Ltd., una compañía con sede en la India. Aunque se reconocen el compromiso y la alta calidad de los servicios que presta la Community Systems Foundation, esta evaluación concuerda con las recientes observaciones de la Oficina de Auditoría Interna de UNICEF, que llamó la atención sobre los riesgos que implica una relación contractual con un único proveedor. No obstante, los riesgos se deben analizar en el contexto interinstitucional del GNUD. Al estudiar las alternativas, es preciso tener en cuenta la posibilidad de que centros regionales presten algunos servicios. En este sentido, la experiencia de la región de América Latina y el Caribe es sumamente valiosa.

Financiación. Hasta ahora, el apoyo y la coordinación de DevInfo han dependido exclusivamente de los recursos financieros del sistema de las Naciones Unidas, y UNICEF ha hecho la mayor parte de las aportaciones que, no obstante, están disminuyendo en términos relativos. Pese a no haber indicios de que UNICEF u otros organismos de las Naciones Unidas que contribuyen dejarán de hacerlo o reducirán su apoyo a DevInfo, no existe un marco institucional o una estructura orgánica que garantice la sostenibilidad de la financiación del programa después de 2009.

Conclusión general. El modelo de funcionamiento de DevInfo ha simplificado sus procedimientos a medida que ha evolucionado, y ha sido exitoso desde los puntos de vista de la movilización de los recursos internos y de la distribución más equitativa de la carga dentro del sistema de las Naciones Unidas. Empero, sigue siendo innecesariamente oneroso tanto para UNICEF como para la Community Systems Foundation y, aún más importante, no ha propiciado un enfoque a mediano y largo plazo que responda a las dificultades que plantea un fortalecimiento más sistémico y amplio de las capacidades de seguimiento y evaluación en los países en desarrollo.

Recomendaciones
DevInfo como parte del desarrollo de la capacidad de seguimiento y evaluación. DevInfo debería integrarse más estratégicamente en los esfuerzos del sistema de las Naciones Unidas orientados a fomentar la capacidad de seguimiento y evaluación en los países. Esto debería implicar, concretamente, fomentar la capacidad estadística para dar seguimiento a los indicadores de desarrollo humano (incluyendo los indicadores de los ODM) de las oficinas nacionales de estadística y otras instituciones dedicadas al procesamiento y la difusión de los datos. Las funciones de base de datos y de visualización de DevInfo le permiten contribuir significativamente a esos esfuerzos. DevInfo debe demostrar su valor agregado y su ventaja comparativa frente a otro mecanismos para vigilar el cumplimiento de los ODM y medir la eficacia del desarrollo. Esto debe producirse tanto en el plano mundial como en el nacional.
Un apoyo más sistemático por parte de las Naciones Unidas al fomento de la capacidad de seguimiento y evaluación en los países requerirá una solicitud explícita de los asociados nacionales, a fin de asegurar el control y el liderazgo nacionales sobre el proceso, y un alto grado de receptividad por parte del Coordinador Residente y del equipo de las Naciones Unidas en el país. Idealmente, esa creación de capacidad debería formar parte del proceso de evaluación común de los países/Marco de Asistencia de las Naciones Unidas para el Desarrollo y, posiblemente, articularse como un programa conjunto del sistema de las Naciones Unidas en los países. Dada su capacidad de seguimiento y evaluación en las oficinas nacionales, UNICEF podría asumir el papel de organismo coordinador o agente administrativo. Un enfoque de este tipo –integral y basado en la demanda– debería aplicarse experimentalmente en un número limitado de países que muestren interés y compromiso.
Si el desarrollo de la capacidad de seguimiento y evaluación se toma como un aspecto destacado de la contribución y la función del sistema de desarrollo de las Naciones Unidas en los países, se podría requerir una revisión sustantiva de la guía para la Evaluación Común para el País/Marco de Asistencia de las Naciones Unidas para el Desarrollo, dada a conocer por el Grupo de Trabajo sobre Cuestiones de Programación del GNUD, con apoyo de la Oficina de Coordinación de Operaciones para el Desarrollo. La renovación del compromiso del GNUD podría llevar al fortalecimiento del papel que cumple la Oficina de Coordinación de Operaciones para el Desarrollo frente a la administración de DevInfo.
Para que DevInfo se convierta en un verdadero programa conjunto del sistema de desarrollo de las Naciones Unidas a nivel mundial, será necesario que el personal directivo superior de las Naciones Unidas, concretamente del GNUD, renueve su compromiso con el sistema. El Administrador Mundial, en consulta con el Comité Consultivo Interinstitucional de DevInfo, debe elaborar un documento de estrategia que esboce una visión y unos objetivos renovados para DevInfo en los próximos cinco a diez años. El documento deberá someterse a la aprobación del Grupo de Trabajo sobre Cuestiones de Programación o del Comité del Personal Directivo Superior del GNUD.
Será necesario llevar a cabo un proceso consultivo con los países miembros y los equipos de las Naciones Unidas en los países sobre el proyecto de documento de estrategia, para garantizar que, en la medida de lo posible, DevInfo se siga basando en la demanda y respondiendo a las necesidades y las prioridades nacionales. Esas consultas podrían programarse, por ejemplo, a través de la Comisión de Estadística de la Asamblea General de las Naciones Unidas (que recientemente lanzó CensusInfo) y, quizás, del Consejo Económico y Social. Convendría poner en marcha otro proceso consultivo con los Coordinadores Residentes y los equipos de las Naciones Unidas en los países, especialmente en los que cuentan con adaptaciones nacionales de DevInfo.

Desarrollo del programa informático DevInfo y apoyo técnico. Cada vez hay más aplicaciones que se programan utilizando tecnologías de código abierto. Pero el debate de fondo no gira en torno a los programas informáticos de código abierto frente a los patentados; más bien, se centra en cómo aumentar la interoperatividad y trabajar con estándares abiertos. La expansión de DevInfo comenzó con herramientas para el desarrollo de programas informáticos patentados; sin embargo, ha usado herramientas para el desarrollo de programas informáticos de código abierto cada vez con mayor frecuencia. La iniciativa DevInfo ha hecho una valiosa contribución a la interoperatividad, gracias a su liderazgo en la aplicación de nuevas normas internacionales para datos socioeconómicos (incluyendo SDMX, DDI y el Grupo de Trabajo de las Naciones Unidas sobre Información Geográfica). DevInfo podría ahora modificar su enfoque, poniendo su tecnología a disposición de los encargados de desarrollar programas informáticos, quienes, a su vez, podrían mejorar aún más las herramientas de desarrollo del programa informático DevInfo 6.0 actualmente disponibles.
Un enfoque de esta naturaleza sería altamente compatible con los principios de identificación y dirección nacional con respecto al desarrollo, y con el papel específico del sistema de la Naciones Unidas en materia de creación de capacidad, incluyendo el intercambio de innovaciones entre países y la reducción –cada vez que sea posible y ventajoso– de la dependencia de proveedores de servicios comerciales. DevInfo no corre el riesgo de perder su función y contribución únicas, que se relacionan con la difusión y la visualización de datos, puesto que la tecnología de su base de datos no se limita a uno u otro modelo de desarrollo de programa informático, siempre y cuando el modelo de su base de datos sea compatible con las normas internacionales acordadas. Conciente del gran interés que existe en el desarrollo de plataformas de programas informáticos de código abierto, la administración de DevInfo encargó, en 2009, una solución de código abierto, además de la plataforma actual. Esta versión de código abierto proporcionará a los programadores códigos fuente, documentación técnica y un mecanismo de administración del programa informático para los procedimientos de gestión del cambio en la versión oficial de referencia. Como parte de la estructura de gestión y orientación se incluirá el fortalecimiento de la supervisión y el apoyo técnico, en procura de que las innovaciones técnicas de DevInfo surjan de un intercambio entre los programadores de diferentes países, coordinado por el Grupo de Apoyo de DevInfo y otras estructuras de apoyo.



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Datos del informe
Fecha:
2009
Región:
Mundial
Tipo:
Evaluación
Base de datos sobre programas:
Seguimiento:
Idioma:
Inglés
Número secuencial:

Búsqueda