Evaluar para la transformación. Evaluación de políticas sociales en Argentina

El lunes 5 de diciembre tuvo lugar, en el marco de las IX Jornadas de Sociología, la Mesa: Evaluar para la transformación. Evaluación de políticas sociales en Argentina.

El lunes 5 de diciembre tuvo lugar, en el marco de las IX Jornadas de Sociología, la Mesa: Evaluar para la transformación. Evaluación de políticas sociales en Argentina. Los coordinadores de la misma fueron: Mariela Cotignola (UNLP), Susana Ortale (UNLP y Red EvaluAR), Javier Santos (UNLP), Paula Amaya (UNLP y Red EvaluAR), María Bonicato (UNLP). En dicha mesa tuvieron lugar las siguientes ponencias: “Las múltiples implicancias de la institucionalización de la evaluación. Reflexiones en torno a un proceso necesario” (Norberto Vázquez; Mercedes Aguilar; Mercedes Torres Salazar de la Fac. de Ciencias Sociales UBA) - “Reflexiones teórico-metodológicas en torno a la evaluación de impacto de la capacitación en la Administración Pública” (Camilo Ayala; Norberto Vázquez; Juan Von Zeschau del INAP) - “El “MAPEC”. Una experiencia de evaluación integral desde el Programa Redes (MSAL) para la transformación de políticas públicas en salud” (Marina Ridao del MSAL- Redes/UBA y Romina Pighin del MSAL- Redes y Grisel Adissi del MSAL- Redes/UNAJ).

En dicha mesa Nerio Neirotti, María Eugenia Brissón y Matías Mattalini presentaron los resultados preliminares de un proyecto de investigación desarrollado desde la UNLA. Bajo el título: Avances y desafíos de la función evaluación en la Administración Pública Nacional entre 2003 y 2015, presentaron hallazgos de investigación organizados bajo cinco categorías que se corresponden con sectores donde se aplican políticas específicas según la temática de intervención: 1) protección social; 2) salud; 3) educación; 4) trabajo y empleo; 5) ciencia y tecnología. A continuación se presenta la ponencia completa.



Avances y desafíos de la función evaluación en la Administración Pública Nacional entre 2003 y 2015

Autores: Nerio Neirotti, María E. Brissón y Matías Mattalini.

Introducción

En lo que refiere a la planificación de las políticas así como a los sistemas de seguimiento y evaluación en América Latina, se pueden identificar tres momentos de desarrollo (Neirotti, 2012): el primero, entre 1945 y 1974, conocido bajo la denominación de “etapa del Estado de Bienestar”, en la cual se abren oficinas de estadísticas en el marco de la planificación tradicional - normativa y al servicio del seguimiento de los procesos y procedimientos; el segundo, entre 1976 y 2002, donde se instala el paradigma neoliberal y se crean una pluralidad de estructuras evaluativas que focalizan su atención en los resultados que se obtienen con las políticas; y el tercero, entre 2003 y 2015, denominado por varios autores como “tiempo de retorno del Estado” y caracterizado por la planificación, seguimiento e implementación de políticas de ampliación de derechos en un contexto de mayor articulación con la sociedad civil.

Horacio Cao y Arturo Laguado (2015), señalan que este último –y reciente- momento de desarrollo histórico combina una doble vertiente: la del llamado “nuevo desarrollismo” y la de la matriz nacional – popular. En el primer caso, se trata de una expresión acuñada, entre otros, por Bresser Pereira (2007) y Aldo Ferrer (2010), que condensa en sí misma la intención de achicar la brecha científico-tecnológica que impide el desarrollo de la región latinoamericana a partir de una intervención estatal que favorezca la modernización y la reindustrialización. La segunda vertiente da cuenta de un conjunto de valores que promueven la búsqueda de la autonomía política y de la superación de la desigualdad amparándose –desde la perspectiva argentina– en la “justicia social”. Ambas categorías, la del nuevo desarrollismo y la de la matriz nacional – popular, han ido constituyendo un modelo regional –con particularidades propias en cada uno de los países– de respuesta al fracaso de las políticas implementadas durante los 90 bajo el ala del Consenso de Washington.

Durante el período denominado de retorno del Estado, en Argentina, tuvieron lugar un cúmulo de políticas tendientes a reimplantar tanto la industrialización como la soberanía política y la disminución progresiva de la desigualdad socioeconómica de la población. Se destacan las políticas tendientes a la reducción de la pobreza, el mejoramiento de la calidad de vida y la promoción de oportunidades de desarrollo para la población más excluida. Muchas de ellas se inscriben en el llamado “neouniversalismo”: la Asignación Universal por Hijo y Embarazo (AUH), el Programa Conectar Igualdad (PCI), el Programa de Respaldo a Estudiantes de Argentina (PROG.R.ES.AR), el Programa de Crédito Argentino (PRO.CRE.AR) y las políticas tendientes a promover la jubilación universal. También se desarrollan políticas que buscan responder a la escasa terminalidad educatica –como el Plan FINES – y las que buscan engarzar la formación de capacidades con las posibilidades de acceso al mercado formal de empleo –como el Programa Jóvenes por Más y Mejor Trabajo. Cabe destacar, en el marco del nuevo desarrollismo, una apuesta clara por la promoción de la ciencia y la tecnología. En este sentido, la configuración de un “Polo Científico Tecnológico” junto a la creación de un Ministerio específico, reflejan dicha afirmación. Ello se alimenta también con el apoyo y la gestión de planes estratégicos que impulsan el desarrollo productivo aunando esfuerzos entre el sector agropecuario y el industrial y favoreciendo, en esta misma dirección, la creación de trabajo genuino. El Plan Estratégico Agroalimentario y Agroindustrial así como el Plan Argentina Innovadora 2020, muestran dicha tendencia. Por último, se pueden identificar dos características significativas: la intersectorialidad –entendida como acción sinérgica entre diversos actores que consideran que la resolución de un problema colectivo requiere de las capacidades y los recursos de cada uno puestos al servicio de una alternativa de solución– y la co-gestión –comprendida como un proceso de articulación entre el sector público, el sector privado y las diversas organizaciones de la sociedad civil mantenido durante todo el ciclo de las políticas públicas.

En este marco, cabe preguntarse cómo han crecido las capacidades institucionales en cada organismo de la administración pública en pos de responder a las exigencias de un modelo de desarrollo con inclusión que condensa las dos vertientes –más arriba mencionadas – del nuevo desarrollismo y la matriz nacional popular. Indudablemente que se han modificado criterios e instrumentos de intervención pública a lo largo de este período. La función evaluación no es ajena a estos procesos. Por ello, en el marco de una línea de investigativa impulsada desde la Universidad Nacional de Lanús, nos hemos preguntado: ¿qué nuevas estructuras y dispositivos de evaluación han surgido?; ¿qué transformaciones y continuidades se pueden reconocer respecto de las estructuras ya existentes?; ¿qué nivel de integración se puede identificar entre los distintos sistemas de seguimiento y evaluación ad intra y ad extra de cada organismo en la Administración Pública Nacional (APN)?; ¿qué características presentan las evaluaciones en tiempos donde las políticas asumen un enfoque de protección y ampliación de derechos?; ¿se puede hablar de una cierta cultura evaluativa asumida por los distintos involucrados en los organismos públicos?; ¿cómo se comunican los resultados evaluativos y qué incidencia tienen en la toma de decisiones?

Consideramos que las distintas transformaciones acaecidas durante el período 2003-2015 demandan la consideración de un nuevo paradigma en la evaluación de las políticas públicas. Se trata de un modelo innovador que conlleve una nueva estrategia comunicativa en pos de una apropiación del conocimiento producido para el mejoramiento de la gestión; un nuevo enfoque que no sólo privilegie los procesos y los resultados de las políticas sino también la perspectiva de derechos y su alcance; una intervención que favorezca la integración y el desarrollo de una cultura evaluativa y, finalmente, una conceptualización de la evaluación que aúne tanto los aspectos técnicos como los aspectos políticos en todo el proceso (Neirotti, 2015).

La presente ponencia da cuenta de los resultados preliminares de una investigación cuyo objetivo es indagar acerca de los dispositivos y procesos de evaluación en la APN y reconocer en qué medida las prácticas evaluativas se inscriben en la línea de las transformaciones que tuvieron lugar en el Estado en el período 2003-2015. Para tal propósito se utilizaron tanto la técnica del análisis documental como de la entrevista. Se consultaron –a partir de una búsqueda en la web- normas, documentos oficiales, informes de evaluación y artículos de relevancia que den cuenta de los procesos evaluativos. Asimismo, a fin de fortalecer la descripción de las estructuras evaluativas y dar cuenta de las evaluaciones realizadas, se buscó enriquecer el análisis incorporando la perspectiva de los actores a través de la entrevista. La hipótesis de la investigación sostiene un avance en lo que respecta a la institucionalización de la función evaluación con una incipiente influencia en la toma de decisiones y el mejoramiento de la gestión dada la escasez de estrategias de comunicación de los conocimientos evaluativos. También hace hincapié en el crecimiento de nuevas estructuras y dispositivos de evaluación aunque con un déficit de integración tanto hacia adentro de cada organismo público como entre los mismos. Asimismo, plantea la existencia de progresos en perspectivas de evaluación más integrales que la mera consideración de los resultados de las políticas y una creciente inclusión del enfoque de derechos en el abordaje de las evaluaciones.

Presentamos a continuación, algunos de los hallazgos organizados bajo cinco categorías que se corresponden con sectores donde se aplican políticas específicas según la temática de intervención: 1) protección social; 2) salud; 3) educación; 4) trabajo y empleo; 5) ciencia y tecnología.

La función evaluación en el sector protección social

La comprensión de la protección social durante el período 2003-2015 requiere de algunas precisiones de carácter histórico. Durante la etapa del “Estado de bienestar” se asume la obligación de reconocer que todos los ciudadanos tienen derechos y de que el Estado está llamado a garantizarlos. Es la concepción del “Estado social” que avanza en la redistribución de la riqueza y en generar una base de seguridad en lo que respecta a una vida digna de la ciudadanía en su conjunto. Para ello, el Estado interviene y participa activamente en la regulación del mercado, el desarrollo de la industria nacional y el acento en la justicia social. Bajo el modelo del Estado neoliberal, por el contrario, se expandió –y se aplicó– la premisa de que es preciso dejar actuar al mercado, desregularlo y evitar una intromisión de políticas fiscales. El mercado por sí sólo puede impulsar los recursos existentes en la sociedad a fin de garantizar, de este modo, los derechos individuales. La protección social en este caso, queda relegada a la focalización de casos específicos y a la espera de que el mercado, por sí sólo, garantice el empleo y las condiciones de vida dignas.

Ahora bien, la protección social, después del neoliberalismo –según la expresión de Vilas (2011) – cobra una singularidad que si bien recoge los postulados del Estado social, no se agota en sus instrumentos sino que los repiensa en un contexto sociopolítico atravesado por el intento de desideologizar la sociedad. La repolitización y el fortalecimiento de la participación social en la construcción de las políticas públicas adquiere un nuevo status. La seguridad social de los ciudadanos se asume como una política de Estado y se impulsan los programas universales tales como la AUH, el PCI, el PROG.R.ES.AR, el PRO.CRE.AR y la ampliación de la cobertura en lo que respecta a la jubilación de la población. Esta batería de políticas se emplazan bajo la Administración Nacional de la Seguridad Social (ANSES).

En lo que refiere a la evaluación de éstas políticas enmarcadas dentro del llamado neouniversalismo cabe señalar características específicas y desafíos de cara a la inclusión del enfoque de derechos en los planteos evaluativos. Ante todo, uno de los rasgos más significativos es la medición de los impactos. En el caso de la AUH resulta significativo observar que las distintas evaluaciones miden el impacto desde distintos puntos de incidencia: el de la inclusión de la población de niños, niñas y adolescentes en condiciones de vulnerabilidad social, el de los ingresos en los hogares, el del alcance (nacional y según las distintas regiones dentro del país), el de la perspectiva de restauración de los derechos, el de la informalidad laboral, el de la desigualdad, el de la educación y el de la salud. Desde la perspectiva de quien evalúa, se identifican evaluaciones tanto internas como externas y en cuanto a la metodología se visualiza una preponderancia de lo cuantitativo aunque sin dejar de incluir combinaciones a partir de técnicas de recolección de carácter cualitativo. De este modo, se utilizan como instrumentos tanto el análisis sobre las bases de datos y los registros estadísticos, como también la entrevista, el grupo focal y la encuesta. Además, resulta un componente significativo la inclusión de las universidades nacionales como evaluadores externos. Respecto de la comunicación de los informes, cabe decir que se encuentran disponibles en la web y que en algunos casos se realizaron publicaciones impresas con buena distribución. El análisis de los impactos generados ha contribuido al fortalecimiento de las políticas que han sido objeto de estudio de diversos organismos internacionales como la Comisión Económica para América Latina (CEPAL).

Más allá de que la protección social involucre, para su consideración, el desempeño de diversas dependencias y programas específicos, cabe destacar en este apartado lo concerniente a la evaluación dentro del Ministerio de Desarrollo Social de la Nación y el Consejo Nacional de Políticas Sociales dependiente de la Presidencia.

En el primer caso, podemos distinguir la Secretaría de Coordinación y Monitoreo Institucional como el área con mayor cantidad de tareas vinculadas a la evaluación ya que diseña los procedimientos de seguimiento de programas y planes sociales y coordina el intercambio con los sistemas de información y monitoreo para una evaluación de impacto de los mismos. Asimismo, realiza evaluaciones ex post de las acciones que lleva a cabo esta jurisdicción en función de objetivos prefijados. También asiste en la evaluación de la política presupuestaria del Ministerio y mantiene la base de datos actualizada.

En el segundo caso, cabe señalar la inclusión dentro de su espectro de incidencia del Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO). El SIEMPRO fue creado en 1995 por la llamada Secretaría de Desarrollo Social y ha contribuido al “desarrollo de una cultura de la evaluación y producción sistemática de información para la toma de decisiones y se han brindado numerosos cursos de capacitación a funcionarios y técnicos de programas nacionales y provinciales en planificación y evaluación” (Neirotti, 2000). En un primer momento existía la pretensión de involucrar al SIEMPRO en todas las áreas sociales, pero más allá de la intención no llegó a trascender la barrera de la ex Secretaría (hoy Ministerio) de Desarrollo Social. En el 2007, sin embargo, se crea la Dirección Nacional SIEMPRO financiada con recursos nacionales lo cual evidencia una valoración por parte del Estado nacional respecto de sus fortalezas. En 2015 contaba con 16 agencias provinciales, y comprendía el Sistema Integrado de Monitoreo (SIM), las evaluaciones de programas sociales que ponen el foco en el funcionamiento de dichos programas y en su efectividad desde el punto de vista de los destinatarios, el área de informática que brinda soporte técnico, el Sistema de Información Social y el SISFAM. Cabe señalar que entre 2007 y 2013, existieron peticiones desde el Congreso de la Nación para que se rindieran cuentas sobre su actividad evaluativa. Dichas peticiones, en general, no fueron respondidas, exponiendo en ello un problema de consolidación institucional del SIEMPRO.

La función evaluación en el sector salud

En el Ministerio de Salud las funciones seguimiento y evaluación se encuentran presentes y dispersas en las tres secretarías que lo integran. Según las funciones principales establecidas en las normas correspondientes, se realizan evaluaciones de servicios, establecimientos, institutos y redes. También se realizan evaluaciones de resultados de las intervenciones sanitarias relacionadas con los determinantes de la salud, de costos e incidencia en el acceso de la población a los servicios, de factibilidad económica de los programas, de políticas públicas para el caso de enfermedades crónicas no transmisibles y monitoreos tales como el de cobertura de vacunación, de riesgos de enfermedades por vectores, de enfermedades de transmisión sexual, de sistemas administrativos contables, entre otros. Otras evaluaciones se refieren al cumplimiento de metas y objetivos, a la ejecución presupuestaria, a la calidad en la atención de la población así como a su grado de satisfacción. En la norma se establece la articulación entre distintas áreas dentro del Ministerio a fin de elaborar sistemas de seguimiento y evaluación y facilitar la circulación de información.

Los dispositivos específicos que aportan a la realización de evaluaciones son:

  • la Unidad Coordinadora de Evaluación y Ejecución de Tecnologías en Salud creada en el año 2009 con el propósito de coordinar iniciativas e impulsar y realizar evaluaciones de tecnologías sanitarias que combinan evidencias científicas con información epidemiológica, poblacional, organizacional, de la red de servicios y con los objetivos estratégicos y políticos para proporcionar respuestas a preguntas que se plantean los diferentes actores que operan en el escenario sanitario (autoridades sanitarias, profesionales, proveedores de atención médica, pacientes y ciudadanos, entre otros).
  • El Sistema Integrado de Información Sanitaria que provee información disponible, integrada y oportuna para contribuir al fortalecimiento del Ministerio de Salud de la Nación y los Ministerios de Salud Provinciales y mejorar la toma de decisiones de todos los actores del sistema.
  • La Sala de Situación de Salud Virtual comenzó a implementarse en 2002 y constituye un dispositivo para disponer de información y tomar decisiones basadas en evidencias.
  • Por otra parte, los Observatorios –como el Observatorio Federal Argentino de Recursos Humanos en Salud (2000) y el Observatorio MERCOSUR de sistemas de salud (2008)– constituyen iniciativas producir, intercambiar y difundir información.

En este sector de la política se encuentra una gran disponibilidad de evaluaciones de programas y planes bajo responsabilidad del Ministerio de Salud. Las mismas en general, son solicitadas por los equipos que gestionan los planes y programas. Desde el punto de vista de quién evalúa podemos encontrar tanto evaluaciones internas como también externas y mixtas. Cabe decir que la mayor parte de los programas requiere de evaluaciones continuas o también llamadas concomitantes. En el diseño de las evaluaciones predomina la combinación de metodologías cualitativas y cuantitativas. De este modo se pueden encontrar una pluralidad de instrumentos tales como: la entrevista, la encuesta, el grupo focal y el análisis a partir de los registros de las propias intervenciones. Cabe destacar, también –en cuanto al enfoque teórico– que desde 2011 comienza a observarse una incipiente y explícita consideración de la perspectiva de derechos en el planteo de las evaluaciones. Por otro lado, aunque la mayoría se plantea desde la perspectiva del mejoramiento de la gestión, son pocas aquellas en las que se observan recomendaciones explícitas. La accesibilidad a los informes de evaluación en la web es el mecanismo de difusión que más se destaca.

La función evaluación en el sector educación

En el Ministerio de Educación la función evaluación se encuentra concentrada en estructuras específicas para los distintos niveles y modalidades educativas. Una de las estructuras centrales ha sido la Dirección Nacional de Información y Evaluación de la Calidad Educativa (DINIECE) de la Secretaría de Educación. Su objetivo consiste en el seguimiento y la evaluación de programas que se instrumentan incluyendo pruebas internacionalmente comparables con el objeto de proveer insumos para la toma de decisiones respecto de la mejora de la equidad y calidad educativa (educación primaria y secundaria). Esta Dirección ha consolidado su accionar desde su creación en 1993 hasta el 2015.

Otra de las estructuras que se ha consolidado es la Comisión de Evaluación y Acreditación Universitaria -órgano descentralizado del Ministerio- que desde que inició su funcionamiento en 1996 promueve la realización de autoevaluaciones y lleva a cabo evaluaciones externas de instituciones universitarias. Asimismo, realiza acreditaciones de carreras de posgrado y carreras de grado de profesiones reguladas por el Estado, así como acreditación de carreras en el marco del MERCOSUR. También genera evaluaciones de proyectos institucionales de nuevos establecimientos privados y estatales, y efectúa el seguimiento de instituciones universitarias privadas con autorización provisoria y reconocimiento definitivo. Su profusa producción de informes de evaluaciones es de acceso público en internet, aunque cabe decir que desde el punto de vista del acceso no están al alcance de todo aquel que ingresa a la página web sino que se ubican dentro de una sección específica y ello puede entorpecer la búsqueda.

Resulta significativo mencionar, que este organismo se haya sometido a evaluaciones externas. En el año 2003, se realizó un estudio de características cualitativas acerca de su labor evaluativa desde su creación (Isuani, 2003). Posteriormente, en 2007, el Instituto de Educación Superior para América Latina y el Caribe de la UNESCO (IESALC) realizó una evaluación externa de la Comisión con el objeto de contribuir a la reflexión sobre sus actividades presentes y futuras.

Entre los dispositivos específicos de seguimiento y evaluación en el sector educación podemos mencionar los siguientes:

  • Los Operativos Nacionales de Evaluación -sobre logros académicos de los estudiantes de la escuela secundaria y los factores que inciden en el rendimiento- que lleva a cabo la DINIECE en las 24 jurisdicciones del país con una periodicidad de 3 años. Se han realizado desde 1997 a 2013, cinco ONE y nueve estudios internacionales evaluativos (comparativos y explicativos).
  • La Evaluación de Programas realiza estudios propios y también colabora en el diseño e implementación de estrategias de evaluación (parciales o totales) de distintos Planes y Programas que se desarrollan en el marco del Ministerio de Educación de la Nación.
  • El Sistema Nacional de Indicadores Educativos que se implementa desde 2003 aportando elementos para la planificación y la evaluación de la política educativa en un marco de comparabilidad interprovincial e intraprovincial y entre las propias instituciones educativas.

Los informes de evaluaciones son mayoritariamente de programas, generalmente con foco en los resultados y los efectos de las intervenciones. En general, el solicitante es algún área del Ministerio de Educación quién también participa en las mismas siendo por ello fundamentalmente internas y con diseño metodológico o bien sólo cualitativo o bien combinado cuali-cuantitativo. En general se habla de diseños mixtos en las evaluaciones.

Los instrumentos principalmente usados son la entrevista individual y grupal, la observación, la encuesta y los registros de programas. En el caso de las evaluaciones externas de las universidades cada informe presenta un listado detallado de recomendaciones específicas en orden al mejoramiento institucional. Sin embargo, en los otros informes, referidos a evaluaciones de programas si bien se orientan principalmente al mejoramiento no se presentan recomendaciones explícitas. Al igual que en salud, se incorpora la perspectiva del derecho a la educación en el planteo de la evaluación. Cabe destacar la disponibilidad de los informes en la web.

La evaluación en el sector trabajo y empleo

En el Ministerio de Trabajo, Empleo y Seguridad Social la función evaluación tiene un importante desarrollo y expansión en las distintas estructuras. La Dirección General de Estudios y Estadísticas Laborales adquiere más relevancia en cuanto a dicha función y realiza evaluaciones de impacto de las políticas de empleo. Este área desarrolla acciones que involucran a toda la jurisdicción ya que forma parte de sus tareas diseñar y ejecutar evaluaciones cuali y cuantitativas de las políticas, a la vez que formula recomendaciones para posibles ajustes o readecuaciones de los programas ejecutados. Además, se vincula con otros organismos públicos para asistirlos en la puesta en marcha de Observatorios de Empleo. Se puede reconocer una tipología variada de evaluaciones tales como: del impacto que tiene el desarrollo de políticas económicas en el mercado de trabajo; ex ante acerca de las relaciones laborales en todo el país; del Plan Nacional de Erradicación del Trabajo Infantil y Protección del Trabajo Adolescente; de impacto de la política salarial del Poder Ejecutivo Nacional; de cumplimiento del Programa de Simplificación y Unificación Registral; de planes y programas que fomentan el trabajo decente; de políticas activas de empleo y capacitación laboral; de calidad del empleo independiente; de la necesidad de elaborar proyectos de reglamentación de leyes vigentes; de eficiencia e impacto de las políticas de seguridad social, entre otros.

Los Observatorios de Trabajo Infantil y Adolescente (2003), de Empleo y Dinámica Empresarial en la Argentina (2003) y de la Seguridad Social (2010) fueron creados para la el fortalecimiento de las políticas de transparencia y mejora de la gestión hacia la comunidad del Organismo a través de la producción de información y el seguimiento.

Los informes existentes presentan evaluaciones de políticas, programas, proyectos y dispositivos de capacitación. Desde el punto de vista de quién evalúa prevalecen las evaluaciones internas y en cuanto al objeto se desatacan las evaluaciones de impacto. Asimismo, cabe destacar que se comprende la evaluación no sólo como una instancia específica sino también como un proceso permanente. El diseño metodológico que predomina es el cuantitativo y, en el caso del Observatorio de Empleo y la Dinámica Empresarial (OEDE), se destaca la utilización de técnicas econométricas. Los resultados de la evaluación tienden a ser accesibles en pos de la mejora de los procesos y en pos de visibilizar la incidencia real del programa o dispositivo que se evalúa en el marco del fortalecimiento de la política.

En lo que respecta a la comunicación y divulgación de los resultados evaluativos se pueden identificar tres líneas. La primera refiere al compromiso que se asume con el área de gestión implicada en la política que se evalúa de contar con un documento de uso interno que recoja los aportes. En segundo lugar, en algunos casos el área de gestión solicitante de la evaluación pide que se genere alguna estrategia de comunicación particular a fin de incentivar alguna medida vinculada a la política que se evaluó; es el caso de la confección de presentaciones en power point que divulgan los resultados más significativos y que sirven de apoyo para el Ministro en alguna exposición puntual que realice en una reunión de equipo o bien de cara a comunicar a la sociedad en su conjunto. Por último, la tercera vía de divulgación son las publicaciones impresas de las evaluaciones que incluyen un documento metodológico que las sustenta. Si bien no todos los informes se publican, cabe señalar la incidencia a través de artículos en revistas especializadas o bien en series de publicación impresa dentro del Ministerio como la serie Trabajo Ocupación Empleo.

La función evaluación en el campo de la ciencia y la tecnología

En 2007, la Presidenta de la Nación Cristina Fernández de Kirchner crea el Ministerio de Ciencia, Tecnología e Innovación Productiva, siendo el primero de los organismos en América Latina en asociar la innovación a la ciencia y la tecnología en su denominación. La misión del Ministerio es contribuir a la consolidación de un nuevo modelo productivo que sea capaz de generar inclusión y mejorar la competitividad teniendo al conocimiento como eje de desarrollo.

La evaluación de la actividad científica y tecnológica constituye una obligación permanente del Estado y las instituciones pertenecientes al sistema. Dentro del organismo nacional identificamos el Sistema integrado de indicadores de Ciencia y Tecnología dependiente de la Secretaría de Planeamiento y Políticas en Ciencia, Tecnología e Innovación Productiva. El objetivo de este portal es brindar, a través de un conjunto de indicadores, publicaciones y documentos específicos, información actualizada para la toma de decisiones en materia de políticas públicas como así también para dar a conocer la producción al conjunto de la sociedad. También cabe señalar el seguimiento y evaluación de proyectos que realiza la Agencia Nacional de Promoción Científica y Tecnológica. Se trata de un organismo nacional descentralizado que depende del Ministerio de Ciencia, Tecnología e Innovación Productiva, que se dedica a promover el financiamiento de proyectos en pos de mejorar las condiciones sociales, económicas y culturales del país. Ahora bien, es en la Secretaría de Articulación Tecnológica, donde la función evaluación se presenta con mayor intensidad. En esta Secretaría se desarrollan dos programas destinados a la evaluación en el campo de la ciencia y la tecnología: el Programa de Evaluación Institucional (PEI) y el Programa Nacional de Evaluación y Fortalecimiento de Programas de Ciencia, Tecnología e Innovación (PRONEP).

El PEI promueve la evaluación permanente y el mejoramiento continuo de las instituciones pertenecientes al Sistema Nacional de Ciencia, Tecnología e Innovación, brindando para ello apoyo técnico y/o económico. Tiene como destinatarios los organismos de Ciencia y Tecnología y las Universidades estrictamente en lo que respecta a la función Investigación y Desarrollo. La evaluación es concebida como una herramienta integrada a los procesos de planificación y al servicio del mejoramiento de la gestión. Al igual que en el caso de la CONEAU, el PEI promueve el proceso evaluativo combinando autoevaluación, evaluación externa y planes de mejoramiento. Es de notar que tanto la autoevaluación como la evaluación externa cuentan con términos de referencia claros, definidos en una guía específica. La metodología es combinada en los dos casos aunque en la evaluación externa se presenta predominantemente cualitativa. Las técnicas de recolección utilizadas son la entrevista, el taller y el análisis documental. Los informes se encuentran digitalizados y publicados en la web así como también los términos de referencia y los planes de mejoramiento. En general la comunicación de los resultados se brinda principalmente a las autoridades de las instituciones evaluadas y, en algunos casos, a diversos grupos de gestión o investigación.

El PRONEP impulsa el fortalecimiento y el mejoramiento de los programas que promueven el desarrollo de la ciencia, la tecnología y la innovación a través de la implementación de procesos sistemáticos de evaluación. El objetivo es evaluar a través de un equipo interdisciplinario el desempeño de un programa haciendo foco en los resultados y/o impactos de las actividades desplegadas. Cabe señalar, en cuanto a la concepción de la evaluación dentro del PRONEP, la convicción y la necesidad de diferenciarse de una auditoría y de las evaluaciones impuestas desde los bancos internacionales de crédito. Se trata de concebirla como una instancia en pos del mejoramiento de la gestión y como reflexión sobre la práctica que va sucediendo mientras se persiguen los objetivos de una política. El PRONEP dedica un tiempo considerable al planteamiento de la evaluación en busca de acordar el compromiso con las expectativas de los gestores solicitantes. En este sentido, se marca una diferencia con las guías sistemáticas que propone el PEI, pues se construyen los términos de referencia a partir del dialogo con los referentes de los programas que solicitan la evaluación. Desde el punto de vista metodológico, se combina lo cuali y lo cuanti buscando construir una información que incluya apreciaciones y reflexiones de los involucrados. Se acentúa el hecho de que las evaluaciones sean muy participativas. Se pretende aplicar las distintas técnicas de recolección de la información (encuestas, entrevistas, grupos focales y observaciones) de tal manera que se contemplen a la totalidad de los involucrados. La evaluaciones pueden ser intermedias, de gestión y/o de resultados. Por otro lado, se cuenta con informes accesibles en la web aunque no todos se publican. Los resultados son presentados a los responsables de la gestión del programa aunque se busca –siempre que las autoridades lo permitan– compartir las conclusiones con todos los actores. De no existir la vocación de compartir los hallazgos por parte de las autoridades –sin faltar al respeto de su decisión– se piensan estrategias creativas para dar a conocer a los distintos involucrados algunas cuestiones específicas a través de espacios de taller o bien proponiendo la difusión del informe final. Se destacan experiencias en que las evaluaciones no sólo se publican sino que resultan de consulta permanente trascendiendo el hecho de ser un “monstruo” al que hay que temer y pasando a ser, entonces, aliadas de la gestión.

Reflexiones finales

A partir del año 2003 se inicia un nuevo ciclo en la política económica y social de la Argentina con la asunción de Néstor Kirchner como Presidente; hecho que significa una ruptura respecto de las ideas neoliberales que guiaron las políticas de la década precedente. Se asiste a un proceso de recuperación del Estado con una mayor participación del mismo en la economía, la inversión social, la industrialización, el fomento del consumo interno y el desarrollo de políticas públicas desde una perspectiva de derechos. En este escenario, con una nueva concepción de Estado encontramos aspectos relativos a la práctica de seguimiento y evaluación que resultan novedosos.

En primer término, cabe destacar el avance en cuanto a la concepción de la evaluación. Se mantiene un enfoque puesto en los resultados que, si bien ya estaba presente en la década de los 90, se solidifica junto a la convicción de que los conocimientos evaluativos han de contribuir al mejoramiento de la gestión y al servicio de la ciudadanía. Se adopta una mirada más amplia respecto de la evaluación, alejándose de lo estrictamente económico e incorporándose a los destinatarios de las políticas, y la necesidad de producir información disponible para la ciudadanía. El año 2003, marca un hito significativo a través del Decreto N° 1172 de Acceso a la Información Pública que se fundamentó en la Constitución Nacional. El objetivo de tal normativa se concentró en fortalecer la relación entre el Estado y la sociedad civil con el convencimiento de que dicha alianza estratégica resultaba imprescindible para concretar las reformas institucionales necesarias en pos de desarrollar una democracia legítima y transparente desde el Poder Ejecutivo Nacional. Sigue persistiendo, sin embargo, el desafío de profundizar el conocimiento y difusión del derecho de acceso a la información pública, a fin de arraigar su ejercicio, promoviendo la participación y el control ciudadano en los procesos decisorios de la administración.

En lo que refiere a las estructuras y dispositivos de evaluación en cada uno de los sectores de la política presentados en esta ponencia, se identifican avances notorios. Si bien la Presidencia de la Nación junto a la Jefatura de Gabinete de Ministros, llevan a cabo instancias que implican una evaluación general de todos los organismos que forman parte de la APN, cada uno de los Ministerios posee estructuras con funciones de seguimiento y evaluación de las acciones de cada jurisdicción respaldadas en la normativa. El Ministerio de Salud es el que posee mayor cantidad de áreas dedicadas a acciones de seguimiento y evaluación, sin embargo, parece ser el de Educación el que ha institucionalizado más fuertemente la función evaluación fundamentalmente a través de DINIECE y CONEAU. En el Ministerio de Trabajo, Empleo y Seguridad Social se destaca la incidencia de los observatorios y las evaluaciones solicitadas por el ANSES en el marco de las políticas neouniversales. Es de notar el desarrollo considerable de la función evaluación en el caso de los Ministerios vinculados al sector productivo y económico y sobre todo una inclusión protagónica de la evaluación en el Ministerio de Ciencia y Tecnología a través del PEI y el PRONEP.

Como características distintivas de las evaluaciones del período 2003 – 2015 en los sectores de la política presentados, podemos señalar que:

  • hay un mayor reconocimiento de la evaluación como una actividad específica y con identidad propia; distinguiéndosela claramente de otras actividades, como el control interno.
  • las evaluaciones están más aplicadas a programas, planes y proyectos –en ese orden- y en menor medida a redes, sistemas y dispositivos;
  • el enfoque predominante es el de la evaluación para el mejoramiento de la gestión;
  • desde la perspectiva de quién evalúa mayormente se trata de evaluaciones externas, probablemente por el alto peso de las evaluaciones realizadas en el ámbito de educación y de la ciencia y la tecnología;
  • resulta significativa la inclusión de las universidades nacionales como nuevos actores en la evaluación de las políticas públicas, sobre todo en lo que refiere a la evaluación de las políticas neouniversales;
  • desde el punto de vista del diseño metodológico, se observan importantes avances en la incorporación de las técnicas cualitativas y en la búsqueda de diseños mixtos capaces de incorporar la recolección cuantitativa como también cualitativa articulando los hallazgos. Igualmente, se encuentran también, evaluaciones aplicando técnicas econométricas sobre todo para medir el impacto de las políticas de empleo y de redistribución en salud;
  • en un número considerable de informes de evaluación se incorpora el enfoque de derechos en el planteo de las evaluaciones aunque aún de manera incipiente;
  • la disponibilidad de los informes en la web es muy alta y la proliferación de publicaciones impresas de los mismos ha ido creciendo a lo largo del periodo estudiado.
  • persisten manuales de Evaluación (por ejemplo el del SIEMPRO), lineamientos (como los de CONEAU) y aparecen nuevos manuales de evaluación de políticas públicas (como el de la Jefatura de Gabinete de Ministros (2015) y el del Ministerio de Economía y Finanzas Públicas (2009)) así como guías (tales como las del PEI del Ministerio de Ciencia, Tecnología e Innovación Productiva).

De cara al futuro se vislumbran una serie de desafíos en pos de que la función evaluación se consolide y se fortalezca a fin de responder a las nuevas exigencias que impone el contexto sociopolítico. Dichos desafíos se enmarcan en los que consideramos el camino “hacia un nuevo paradigma de evaluación” (Neirotti, 2015). En primer lugar, es de esperar que la evaluación contribuya a la profundización del enfoque de derechos en las políticas públicas. En este sentido, se vislumbra –en los informes de evaluación relevados– una incipiente inclusión de aspectos característicos de dicho enfoque tales como: la participación y la exigibilidad de los derechos a los titulares de obligaciones (organismos estatales). Sin embargo, es preciso seguir avanzando en esta dirección e incorporar en la formación de los evaluadores la capacidad de indagar sobre la efectivización de los derechos a través de la implementación de las políticas. Es decir, que no sólo se debe fortalecer el enfoque en los resultados de las políticas, sino que también se debe indagar sobre el alcance de los derechos a partir de los resultados obtenidos, y para ello es necesario que quienes tienen a su cargo las evaluaciones incorporen dicha preocupación.

En segundo lugar, desde una mirada histórica consideramos que, si bien en el período estudiado se han producido transformaciones importantes en cuanto al desarrollo de la función evaluación en la APN, podemos señalar que los avances aparecen descoordinados y desiguales en cada y una de las dependencias nacionales. Por ello, en la línea de lo que plantean otros autores –como Zaltsman (2004), Canievsky (2007) y De Simone (2013)– es preciso dar pasos concretos hacia una perspectiva integrada del seguimiento y la evaluación. En esta dirección, cabe destacar la creación –en 2013– del Programa de Evaluación de Políticas Públicas en el ámbito de la Jefatura de Gabinete de Ministros con el objetivo general de institucionalizar los procesos de evaluación de políticas públicas en la APN y generar un proceso de retroalimentación entre el diseño e implementación y los resultados e impactos de las políticas a fin de permitir la obtención de mejores resultados en la gestión de los asuntos públicos (Resolución JGM Nº 416/2013). Si bien se observa cierto rezago en el alcance de los productos que se planteaba alcanzar, resulta un camino posible hacia una integración sistémica del MyE en la APN. Se destaca, también –en 2015– el proyecto de ley de creación de la Agencia Nacional de Evaluación de Políticas Públicas cuya principal misión sería la de realizar evaluaciones de impacto a fin de proveer información valiosa cobre la marcha de las políticas para la toma de decisiones y la rendición de cuentas a la ciudadanía. Más allá de estos intentos, se trata de avanzar en la coordinación –aunque no en una rectoría que ahogue la creatividad y las características particulares que adquiere la evaluación en cada dependencia nacional– de las estructuras y dispositivos de evaluación intra e inter-dependencias en la APN desde una perspectiva de abordaje intersectorial. Se vuelve necesario en este punto, realizar investigaciones no sólo sobre la APN sino también en cada una de las administraciones provinciales y municipales, reconociendo que la Argentina es un país federal. Para caminar hacia una integración sistemática es preciso dar cuenta de los avances y desafíos de la evaluación en los distintos niveles de gobierno a fin de acordar criterios y fortalecer el trabajo colaborativo entre las distintas administraciones. En esta línea el Mapa de la Evaluación realizado por la Red Argentina de Evaluación – EvaluAR (2016) representa un puntapié inicial aunque es preciso realizar descripciones más vastas al respecto.

Por último, si bien se puede inferir una mayor apropiación de las evaluaciones al ser las mismas jurisdicciones las que las solicitan y, si bien se evidencian avances en la difusión de los informes dado que hay una alta disponibilidad de los mismos, se requiere evaluar en clave pública –al decir de Bermazza, Comotto y Longo (2015)– profundizando en el uso de las evaluaciones como instrumento para fortalecer el diálogo entre los distintos actores intervinientes (decisores, profesionales, académicos y ciudadanos). Así, la evaluación tenderá a fortalecer la democracia, dinamizar el Estado y darle mayor efectividad a las políticas públicas.

Referencias bibliográficas

  • Aquilino et. al. (2016), Agencia Nacional de Evaluación. Un diseño posible, Documento de Políticas Públicas, Programa de Incidencia Monitoreo y Evaluación, CIPPEC. http://www.cippec.org/documents/10179/51825/164+DPP+MyE+Agencia+Nacional+de+Evaluaci%C3%B3n,%20un+dise%C3%B1o+posible,%20Aquilino,%20Arias,%20Suaya,%20Estevez,%20Frascheri,%20Febrero+2016.pdf/bd305a11-98c2-40f2-bb74-17263e5204d8
  • Bernazza, C., Comotto, S. y Logo, G. “Evaluando “en clave pública”: Indicadores e instrumentos para la medición de capacidades estatales”, Revista Estado y Políticas Públicas N°4, Año III, mayo de 2015, pp. 17-36. Dirección URL: http://politicaspublicas.flacso.org.ar/revista
  • Bresser Pereira, L. C. (2007), “Estado y Mercado en el nuevo desarrollismo” en Nueva Sociedad Nº 210, Julio-Agosto de 2007, Caracas, Venezuela.
  • Canievsky, Carlos, “Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina, Diagnóstico de los sistemas gubernamentales de monitoreo y evaluación en Argentina”, Consejo Latinoamericano de Administración para el Desarrollo, Documentos Estudios de Casos del CLAD, No. 3, 2007, 104 p.
  • Cao, H. y Laguado, A. “Una administración pública para las sociedades posneoliberales en América Latina (2003-2013)”, Revista Estado y Políticas Públicas N°4, Año III, mayo de 2015, pp. 60-68. Dirección URL: http://politicaspublicas.flacso.org.ar/revista
  • CEPAL (2010), Protección social y generación de empleo: análisis de experiencias derivadas de programas de transferencias con corresponsabilidad, CEPAL/OEA/OIT Naciones Unidas, Santiago de Chile.
  • De Simone, Martín, et. al., “La evaluación de políticas públicas en Argentina” en INAP, PNUD, 7º Congreso Argentino de la Administración Pública, Mendoza, 2013, 59 pags. http://aaeap.org.ar/wp-content/uploads/2013/7congreso/De_Simone_Martin_Laurens_Denise_Sarchi_Renzo_La_evaluacion_de_politicas_publicas_en_la_Argentina_Un_estudio_exploratorio_en_la_tematica_Panel_063.pdf
  • Decreto PEN N° 1172/03 Acceso a la información pública. http://infoleg.gov.ar/infolegInternet/anexos/90000-94999/90763/norma.htm
  • Ferrer, A. (2013), “Aliviar la restricción externa” en Diario Página 12, Buenos Aires.
  • Instituto para la Educación Superior de América Latina y El Caribe (IESALC), Informe de evaluación externa de la Comisión Nacional de Evaluación y Acreditación Universitaria, de Argentina, IESALC, 2007, s.l.i., http://www.coneau.edu.ar/archivos/InformeEvExCONEAU.pdf.
  • ISUANI, A., Estudio sobre algunos resultados de la labor de la Comisión de evaluación y acreditación universitaria (CONEAU), Buenos Aires, CONEAU, 2003, http://www.coneau.gov.ar/archivos/1337.pdf.
  • Jefatura de Gabinete de Ministros (2015), Manual de base para la Evaluación de Políticas Públicas, Jefatura de Gabinete de Ministros, Programa de Evaluación de Políticas Pública, Buenos Aires, Argentina.
  • Jefatura de Gabinete de Ministros, Resolución Nº 416/2013, Creación del Programa de Evaluación de Políticas Públicas, www.infojus.gov.ar/resource/kbee:/saij.../res4162013jgm.pdf.
  • Levcovich, Mónica, “La experiencia de SIEMPRO en la evaluación de programas sociales, Argentina”, en Peroni Andrea (ed), Protección Social y Evaluación: Posibilidades y Desafíos, Universidad de Chile, ReLAC-Chile, 2012, http://www.evaluacionpoliticaspublicas.com/wp-content/uploads/2011/07/doc_sist_foropanel_v05.pdf
  • Ley N° 25.467/01, Sistema Nacional de Ciencia, Tecnología e Innovación. Objetivos de la política científica y tecnológica nacional, http://www.investigadordelanacion.mincyt.gob.ar/documentos/Ley_25467.htm
  • Ministerio de Economía y Finanzas, Dirección de Relaciones con las Provincias. Guía para la Evaluación de las Políticas Públicas con Incidencia en las Actividades Productivas. MECON http://www2.mecon.gov.ar/hacienda/dinrep/fortalecimiento/index.php
  • Ministerio de Ciencia, Tecnología e Innovación Productiva (2016), Guía para la Evaluación externa de la función I+D+i en Instituciones Universitarias, Secretaría de Articulación Científico Tecnológica Subsecretaría de Evaluación Institucional Programa de Evaluación Institucional, MINCYT, Buenos Aires, Argentina.
  • Ministerio de Ciencia, Tecnología e Innovación Productiva (2016), Guía para la Evaluación Externa de las Instituciones de Ciencia y Tecnología, Secretaría de Articulación Científico Tecnológica Subsecretaría de Evaluación Institucional Programa de Evaluación Institucional, MINCYT, Buenos Aires, Argentina.
  • Neirotti N. (2015), “Hacia un nuevo paradigma en evaluación de políticas públicas”, en Neirotti N. (Coordinador), Brisson ME, Mattalini M (Editores), La evaluación de las políticas públicas: reflexiones y experiencias en el escenario de transformaciones del Estado, Remedios de Escalada, Lanús. EDUNLa. págs. 13-30.
  • Neirotti, Nerio (2012), “Evaluation in Latin America: paradigms and practices”, en Kushner, Saville y Rotondo, Emma (editors) en Evaluation Voices from Latin America, New Directions for Evaluation N° 134, Summer 2012.
  • Pereyra, Ana (2011), Análisis de la Demanda de Servicios de Seguimiento y Evaluación de los Proyectos, Programas y Políticas Públicas. País: Argentina, ReLAC-BID, 2010, 671 pags., http://www.evaluacionpoliticaspublicas.com/wp-content/uploads/2011/11/Ponencias-Simposio-isbn.pdf
  • SIEMPRO (1994), Gestión integral orientada a resultados. Manual Metodológico para la Planificación y Evaluación de Programas, Banco Mundial, Secretaría de Desarrollo Social, UNESCO.
  • Vilas, Carlos (2011), Después del Neoliberalismo: Estado y procesos políticos en América Latina, Remedios de Escalada, EDUNLA.
  • Zaltsman, Ariel, “La evaluación de resultados en el sector público argentino: un análisis a la luz del debate sobre la “Nueva Gestión Pública”, Panamá, VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, 28-31 Oct. 2003.
MAS NOVEDADES
Programa de evaluación de políticas públicas

Programa de Evaluación de Políticas Públicas – Jefatura de Gabinete de Ministros

Leer más
Seminario de Estudios Empíricos sobre la Utilización de la Evaluación

Participación del Dr. Nerio Neirotti en el Seminario de Estudios Empíricos sobre la Utilización de la Evaluación

Leer más

IV Conferencia de la ReLAC: El futuro de la evaluación en América Latina y el Caribe. Desarrollo, Equidad y Cultura

Leer más
^