We’re building a new UNICEF.org.
As we swap out old for new, pages will be in transition. Thanks for your patience – please keep coming back to see the improvements.

Evaluation database

Evaluation report

2015 Argentina: Evaluación de la Iniciativa Maternidades Seguras y Centradas en la Familia 2010-2014



Author: Alejandra Faúndez, Marisa Weinstein, Carla Lecaros, Camila Hidalgo

Executive summary

Evaluation of the Safe and Family-centered Maternities Initiative (MSCF, in Spanish) 2010-2014

With the aim to continuously improve transparency and use of evaluation, UNICEF Evaluation Office manages the "Global Evaluation Reports Oversight System". Within this system, an external independent company reviews and rates all evaluation reports. Please ensure that you check the quality of this evaluation report, whether it is “Outstanding, Best Practice”, “Highly Satisfactory”, “Mostly Satisfactory” or “Unsatisfactory” before using it. You will find the link to the quality rating below, labelled as ‘Part 3’ of the report.

Background:

El desarrollo de la iniciativa se fundamentó por un lado en el modelo de “Maternidad Centrada en la Familia”, llevado a cabo en la Maternidad Sardá de la Ciudad de Buenos Aires; y por otro, el concepto de Seguridad del Paciente introducido por UNICEF. No obstante, la construcción de la visión que orienta la iniciativa se fue desarrollando a lo largo de los dos primeros años de su implementación (2010-2012).

La iniciativa considera 10 pasos básicos de implementación, organizados a lo largo del continuo de atención desde el primer contacto de la mujer embarazada con la maternidad hasta su alta definitiva. Desde el inicio de la implementación, distintas instituciones han participado y colaborado en el proceso de transformación de las maternidades.
El marco conceptual y de implementación de la iniciativa plantea algunas cuestiones fundamentales como son la transformación de supuestos y prácticas compartidas por los miembros del equipo de salud; priorizar la seguridad de la atención y la participación de la familia en el cuidado de la madre y su hijo(a) y la protección de sus derechos; el uso de prácticas efectivas y seguras por parte del equipo de salud; la mejora del acceso de la información y conformación de redes entre los equipos de salud, el fortalecimiento de la demanda da calificada de la sociedad y la construcción de alianzas con el gobierno nacional y los gobiernos provinciales, en línea con las políticas públicas en favor de la salud materna e infantil, entre otros.
Para pasar a una etapa avanzada de implementación de la Iniciativa, es necesario evaluar los cambios en la organización de la estructura, los procesos que fueron necesarios para la implementación del programa y los cambios en las habilidades, capacidades y la cultura organizacional generados por la influencia de la educación, la práctica y la maduración temporal de los equipos de salud.

In 2009, when UNICEF´s Health Component planned its actions for the 2010-2014 period within the Country Program framework, there was data regarding health reaching up to 2007 that showed that, though during the period 1990-2007 the Infant Mortality Rate (IMR) in Argentina had gone down 50%; however, other maternal and child health indicators showed disturbing situations. Thus, for example, the difference between the two provinces with the highest and lowest IMR increased and a reduction in maternal mortality (MMR) occurred in a rate much smaller than expected. The provinces of northern Argentina showed the most unfavorable conditions in this sense. Additionally, the analysis of child mortality showed that 65% of deaths occurred in newborns and that 6 out of 10 child deaths could have been prevented with adequate pregnancy control and proper childbirth attendance, and through timely diagnosis and treatment.
According to initial evaluation of the team at UNICEF, this situation was strongly associated to the perinatal care system, due to substantial differences in the access women and their children had to quality health services depending on the province and geographical area where they resided. Furthermore, strong inequalities in the socioeconomic situation between Argentine provinces were detected especially the presence of high levels of poverty and precariousness in the provinces in the north of the country.

This problem occurs in a context in which the Argentine Health System establishes its foundation on a federal political structure that makes this system decentralized in the provision and administration of health services and that its funding be shared between the public sector, social security and the prepaid medical care system. Though the national government has a steering role for the formulation of national public policies and in the financing of part of the health system, this federal structure determines that:

  1. provincial governments have total autonomy regarding health policies since they are in charge of assigning the expenditure and, that in certain provinces this may extend to the Municipal level (for example: Buenos Aires, Córdoba and Santa Fe);
  2. each province has ample independence in the decision-making process, with relatively low interference from the national government;
  3. the heterogeneity of answers at provincial and municipal levels is high, which is more pronounced due to the lack of political articulation between the national government, provinces and municipalities.

Purpose/Objective:

Esta evaluación tuvo como objetivo general proporcionar evidencia acerca de la iniciativa MSCF para orientar la planificación programática futura, asegurar su sostenibilidad, y determinar en qué medida ha contribuido a alcanzar los resultados previstos y sus posibilidades de transferencia a otros contextos y territorios.
Sus objetivos específicos fueron:

  • Determinar si el conjunto de actuaciones de la iniciativa se han alineado con las políticas y estrategias nacionales y provinciales, han respondido adecuadamente a las necesidades del sector y la población objetivo, han sido pertinentes, y se han basado en diagnósticos adecuados (PERTINENCIA/RELEVANCIA).
  • Determinar si el diseño del proyecto, las modalidades de ejecución y los procesos de implementación puestos en práctica fueron los más adecuados para la consecución de los resultados deseados y el fortalecimiento de las capacidades provinciales (EFICACIA).
  • Determinar si las diferentes acciones han contribuido a los resultados de desarrollo previstos para la población objetivo, y si estos han sido relevantes y sostenibles en el tiempo (SOSTENIBILIDAD).
  • Identificar si los recursos y actividades han contribuido adecuada y oportunamente a los resultados esperados (EFICIENCIA).
  •  Identificar y documentar las lecciones aprendidas y recomendaciones de cara a asegurar la sostenibilidad de la iniciativa, su adopción como política pública, así como las posibilidades de transferencia de la iniciativa a otros contextos y territorios.

Los principales usuarios de los resultados de la Evaluación son UNICEF Argentina (y específicamente la coordinación de la iniciativa MSCF), UNICEF Sede, la Oficina Regional de UNICEF para Latinoamérica y el Caribe así como los principales contrapartes nacionales tales como el Ministerio de Salud, los gobiernos de las 10 provincias priorizadas y organizaciones que contribuyen al sector salud.

Provide evidence regarding the MSCF initiative to guide future program planning, ensure its sustainability, and determine to what extent it has contributed to reaching the estimated results, and the possibilities of transferring it to other contexts and territories.

Methodology:

La evaluación se realizó como un proceso imparcial, abierto y participativo que involucró actores gubernamentales, actores no gubernamentales implicados en los dispositivos según las áreas evaluadas, así como también, otras agencias del sistema de Naciones Unidas.

La propuesta metodológica se elaboró considerando un contexto de transformaciones institucionales y fue de carácter mixto (técnicas cualitativas y cuantitativas de recopilación y análisis de la información) con el objetivo de que la evaluación sea rigurosa a la hora de identificar los logros y dificultades de la iniciativa.

La selección de la muestra para las visitas de campo fue discutida y definida junto con el equipo de UNICEF tomando en consideración su conocimiento en la implementación de los dispositivos y las acciones ejecutadas en las maternidades de las provincias. Asimismo, se consideró el número de maternidades involucradas en la iniciativa, las tasas de mortalidad materna e infantil en la región y la distancia de la capital. De las 10 provincias en las que se implementó la iniciativa (Buenos Aires, Catamarca, Corrientes, Córdoba, Mendoza, Jujuy, Misiones, Salta, Santiago del Estero y Santa Fe), para la evaluación se seleccionó una muestra de 4 provincias: Buenos Aires, Córdoba, Jujuy y Misiones, en las cuales se realizaron las visitas de campo.

La información y los datos obtenidos fueron triangulados para asegurar la validez y confiabilidad. El proceso de recolección de datos incluyó las siguientes técnicas y fuentes de información primaria y secundaria: revisión documental; entrevistas a los actores e informantes claves (entrevistas individuales, grupos focales o entrevistas grupales); cuestionario virtual a profesionales involucrados; observación y/o registro de información.

The methodology took into account the revision of over 50 documents, websites and audiovisual material of the MSCF initiative, referring to conceptual, management and communicational aspects. Along with this, intense field research was performed to collect first-hand information among the participating actors, visiting four provinces that have adhered to the initiative (Buenos Aires, Córdoba, Jujuy and Misiones) that were selected together with the partners, combining criteria for coverage and diversity of the scope of implementation. During these visits, the following techniques for the collection of information were used: 172 individual interviews and 18 group interviews were conducted to key actors (members of the UNICEF team, of the mechanisms through which the initiative was deployed, national health authorities of four provinces, health teams of 14 maternity hospitals and users of these MHs). A questionnaire was also applied to members of the health teams who participated in any training activity throughout these five years of implementation, from which 306 surveys were attained. Additionally, a guideline of observation was applied to evaluate the degree of progress in the implementation in diverse key aspects. The information was triangulated in the collection phase and in the analysis phase, which enabled validation through cross-referencing between the different sources of information and the different perceptions and evaluative judgments of the people interviewed. 

Findings and Conclusions:

Pertinencia: La Iniciativa es relevante y pertinente con la situación de salud materno-infantil del país y las prioridades nacionales. Se ha vinculado y articulado con las autoridades nacionales y provinciales, considerando las políticas públicas existentes y ofreciendo la iniciativa en coherencia con ese marco, tanto a nivel nacional como provincial.

Eficacia: La iniciativa ha logrado avances importantes respecto de los objetivos que se propuso en términos de cobertura y de calidad de las acciones dirigidas a cambiar la cultura organizacional y mejorar la calidad de atención que se entrega. No obstante, no existe evidencia suficiente que permita afirmar que se han producido transformaciones efectivas vinculadas al logro del resultado esperado. La propia visita de campo mostró una gran heterogeneidad en la implementación concreta de la iniciativa.

Eficiencia: Las evidencias han mostrado que la iniciativa MSCF ha sido eficiente en cuanto al uso de los recursos asignados durante su implementación, a la vez que los procesos de gestión llevados a cabo han contribuido a una relación fructífera entre los actores involucrados en pos de los objetivos propuestos.

Sostenibilidad: A pesar que la iniciativa tiene una visión de largo plazo y su diseño se ha basado en un modelo teórico para lograr su consolidación, en la práctica existen algunas barreras que limitan su proyección. Entre ellas, se cuenta el propio diseño de la iniciativa que no establece prioridades entre los distintos pasos, ni indicadores para los resultados intermedios que permitan que la implementación vaya produciendo procesos y cambios que logren las transformaciones integrales deseadas y no sólo la incorporación de algunas de las prácticas. 

Impacto: No es posible atribuir la disminución de la mortalidad materna e infantil en el período evaluado a la implementación de la iniciativa MSCF.

The initiative has a high level of relevance to the situation of the country, the existing regulatory framework on mother-child health and regarding public policies the national and provincial governments implement, as well as to promote with total clarity a rights-based approach.
 
The initiative has achieved important progress regarding the objectives it sought out to meet in terms of scope and quality of the actions directed to changing organizational culture and improving the quality of care delivered. Nonetheless, there is not sufficient evidence to state that effective transformations have been produced regarding the achievement of the proposed result. The field visit itself showed great heterogeneity in the concrete implementation of the initiative.
 
Evidence show that the MSCF initiative has been efficient in terms of the use of the resources allocated during its implementation, while the management processes carried out have contributed to a fruitful relationship among the actors involved in pursuit of the proposed goals.   
 
Though the initiative has a strategy of articulation with national and provincial public policies, there are still opportunities to improve and strengthen its capacity to become an institutional response to the challenges encountered.
 
With the information available, it has not been possible to evidence a reduction of maternal and neonatal mortalities that could be attributed to the initiative.

Recommendations:

En cuanto al rol de UNICEF, se recomienda que la institución mantenga la promoción de la iniciativa, por lo menos en dos provincias seleccionadas y con foco en la transferencia. La iniciativa no se encuentra consolidada como una práctica permanente y apropiada por los establecimientos adheridos. En este marco, se sugiere que UNICEF formule una segunda fase de intervención, centrada en una estrategia de salida.

Con respecto al apoyo institucional, se recomienda que UNICEF sistematice las herramientas y buenas prácticas con el fin de apoyen el quehacer de las instituciones involucradas, que permitan transferir los conocimientos, buenas prácticas y aprendizajes recogidos en estos cinco años de gestión.

En el marco de la promoción de un enfoque de derechos en políticas públicas, se recomienda fortalecer el aporte de aplicación de un enfoque de derechos que promueve la iniciativa MSCF como visión de su impacto principal.

Otra de las recomendaciones es diseñar una estrategia de gestión del conocimiento que permita aprovechar y poner a disposición de múltiples actores la producción de conocimientos y buenas prácticas que se desarrollan en el marco de la iniciativa con vistas a su transferencia futura.

Asimismo, se recomienda fortalecer las capacidades de gestión y el involucramiento de los equipos provinciales en la iniciativa, en las provincias seleccionadas.

Por último, se recomienda desarrollar una estrategia de incidencia en el diseño de políticas públicas en salud que permita diseñar una estrategia de gestión de alianzas y construcción de agendas que facilitan la remoción de obstáculos que limitan la implementación a la vez que facilitar su institucionalización.

  1. Based on the evaluation of the assessment team, and as a conclusion regarding pertinence, relevance and high positioning of UNICEF in the issue, it is considered important that the organization maintains the promotion of the initiative, even if it is a sort of involvement different to the kind in the first phase. As mentioned in different parts of this report, the initiative is not consolidated as a permanent and appropriate practice by the participating establishments. In this framework, it is suggested that UNICEF plan an exit strategy from the initiative, developing materials and mechanisms to enable transferring knowledge, best practices and learnings collected in these five years of work.
  2. It is recommended that UNICEF take on a role of sharing tools and best practices to support the endeavors of the institutions involved.
  3. Strengthen the contribution of the application of a rights-based approach promoting the MSCF initiative as a vision of its principal impact.
  4. Design a knowledge-management strategy to enable making use of, and available for multiple actors, the production of knowledge and best practices developed within the framework of the initiative.
  5. Strengthen management capacities and involvement of health teams of hospitals and maternities.
  6. Develop an advocacy strategy in the design of public policies regarding health, enabling the design of an alliance management strategy and the construction of agendas that facilitate the removal of obstacles limiting implementation, while facilitating institutionalism.

Lessons Learned:

El posicionamiento de UNICEF entre los distintos actores favoreció el desarrollo de la iniciativa asociada a la política pública y particularmente su entendimiento desde el enfoque de derechos en salud.
UNICEF mantuvo una relación activa con las instituciones encargadas de los dispositivos y con los equipos de la Dirección de Maternidad e Infancia provinciales facilitando el cumplimiento de los compromisos adquiridos aunque evidenciándose una heterogeneidad en los resultados según la provincia.
La adecuada implementación y sustentabilidad de la iniciativa requieren la protocolización e institucionalización de prácticas, favoreciendo el contrapeso de la eventual discrecionalidad de las y los jefes de servicio.
La evaluación de iniciativas complejas requiere identificar indicadores de proceso y de resultado a corto, mediano y largo plazo, para poder dar un seguimiento armonizado y con fundamentos a la implementación, en las distintas realidades.
A nivel de recursos destinados y de visibilidad, esta iniciativa representó un componente central en el Programa País de 2010-2015 y, como tal, era necesario contar con un sistema de seguimiento estratégico a nivel de Programa País que proporcionara un análisis crítico de los procesos, retroalimentara hipótesis iniciales de trabajo de acuerdo a lo planificado y preparara ejercicios para mejorar la medición de resultados.
La amplia variedad de partes interesadas y actores involucrados en la implementación de la iniciativa, así como el contexto de un sistema federal de salud, permitió incidir en la política de salud materno-infantil de las provincias y, a la vez, en las dinámicas al interior de las maternidades adheridas. Se debe contar con herramientas de seguimiento que visualicen los resultados en cuanto a cambio de comportamiento institucional y desarrollo de capacidades a nivel de las maternidades.

  1. UNICEF´s position among the different actors is important and favorable, which has promoted the development of the initiative associated to public policy and, particularly, its understanding as an implementation of the health-rights approach. In a context such as Argentina´s, in which there is a disjointed and heterogeneous public health system as regards policies and programs, having impact on the rights-based approach has been crucial to improve the quality of the maternal and child health services as an "articulating" approach for the expected results. Evidence shows that there has been resistance to the approach from concrete groups of professionals, but there are more coincidences indicating that a change in practices has to do with including the patient´s rights approach into the service. Identifying these coincidences among actors in the provinces regarding what kind of change is expected is key, but it is also necessary to acknowledge and analyze bottlenecks/obstacles for the implementation of this approach at the participating maternity-hospital level. Therefore, it is relevant that UNICEF remains associated to the initiative until an effective consolidation is achieved.
  2. UNICEF maintained an active relationship with each and every institution in charge of the mechanisms, as well as with the teams of the provincial Maternity and Infancy Directorates that enabled the fulfillment of the acquired commitments. Nevertheless there is clear evidence of heterogeneity in the results depending on the province. The commitment to the principles of the initiative generated from this relationship makes it less difficult to deal with any adverse political context considering the support from a critical mass that backs the achievements attained. To improve the sustainability of the initiative, it is important to maintain work dynamics with these actors, but also to strengthen them with greater involvement of the participating maternities that implement the model, especially in key moments of feedback to the implementation process.   
  3. The proper implementation and sustainability of the initiative require drawing up protocols and the institutionalization of practices, which also favors the counterbalance of the possible "discretionality" of the Heads of Services. Hence the different implementation guides developed are broadly appreciated by local teams. Likewise, the accompaniment of health teams with greater experience in the matter (such as the Sardá and Carlotto Maternity Hospitals) or of UNICEF specialists and/or of the mechanisms in the development of the practices in each of the participating establishments is acknowledged as key factors to achieve the necessary changes. This way, the mechanisms must consider not only the spaces for capacity-building and training, but also an accompanying stage. As the different actors say: "For there to be change, just knowing is not enough".
  4. The engagement of health teams in the initiative is heterogeneous and is linked to diverse factors, such as the leadership of provincial authorities and to the establishments, the medical specialty (obstetricians seem to be more reluctant to change than neonatologists, for instance), the quality of infrastructure, among other factors that have been described in the report. The MSCF proposal works as an "umbrella" articulating different visions around a common perspective, though it is important to differentiate discourses that may make sense to the different audiences.
  5. The evaluation of complex initiatives requires the identification of process indicators, as well as of results in order to harmoniously monitor with fundamentals the implementation in the diversity of realities. This way, the fulfillment of the indicators of results in the short, mid and long terms of the MSCF initiative in the provinces requires effective monitoring and follow-up enabling a year-to-year comparison of results and to finally have impact indicators that can be related to this initiative in a specific, but not necessarily exclusive, manner, in addition to improve and uniform information and results in the different provinces in which it was and/or will be implemented.
  6. In terms of resources allocated and visibility, this initiative represented a central component in the UNICEF’s Country Program 2010-2015 and, as such, it was necessary to have a strategic follow-up system at Country Program level to provide critical analysis of the processes, to provide feedback regarding initial work hypotheses in accordance with what was planned, and to prepare exercises to improve the measurement of results. Though there were exercises directed to providing feedback for the implementation of the initiative, in a new initiation cycle focus should be placed on the elaboration of tools for the initiative to facilitate planning and follow-up, regardless of the dimension of the component.
  7. It is essential to prioritize and focus to optimize the available resources; despite not being able to see a difference in economic terms with other types of initiatives seeking the same results, it is always important to match resources to the local reality and context since, for example, there were maternity hospitals that were given material resources like computers but there was no Internet connectivity which is needed to use them, nor time for the health teams to take advantage of these resources, which is why the decision was to put them away and not use them.
  8. The ample range of interested parties and actors involved in the implementation of the initiative, as well as the context of a federal health system, enabled to have impact on the maternal-infant health policies of the provinces, and at the same time, on the dynamics within the participating maternity hospitals.
    Though the incorporation of greater critical mass has been relevant to achieve changes at different levels, the information is concentrated on activities of the mechanisms and ministries, and to a lesser degree on the achievements and challenges in each participating maternity. The development of follow-up tools that include the generation of information on the results attained in terms of change of institutional behavior or in the development of capacities at maternity level will enable more accurate knowledge regarding the progress (facilitators) and/or bottlenecks (obstacles) of the initiative at the moment of its implementation.



Full report in PDF

PDF files require Acrobat Reader.


 

 

Report information

Year:
2015

Country:
Argentina

Region:
LACRO

Theme:
Health - Pre/Post Natal Care

Type:
Evaluation

Partners:
Ministerios de Salud Provinciales y Organizaciones no Gubernamentales

Institution:
Inclusión y Equidad Consultora Latinoamericana

Language:
Spanish

Sequence #:
2015/001

New enhanced search