Evaluación

Los estados y los gobiernos municipales están afrontando el reto de publicar sus Programas Anuales de Evaluación y esto conlleva interrogantes. Intentaremos resolver algunas en esta página, muy brevemente.

¿Qué fondos y programas se deben evaluar?

Toda actividad de gobierno es evaluable así como todos los programas presupuestarios. Algunos órganos superiores de fiscalización locales consideran que los fondos de aportaciones federales y los programas sociales (educación, salud, infraestructura y seguridad pública) son los que deben evaluarse cada año. Nosotros consideramos que otros programas también pueden incluirse en el Programa Anual de Evaluación: migración, turismo, agrocomercio, bibliotecas, archivos locales, entre otros temas quizás menos populares pueden evaluarse. No obstante, es lugar común elegir programas presupuestarios sujetos a reglas de operación para evaluar.

Los programas presupuestarios sujetos a reglas de operación (clave presupuestaria “S”) tendrán documentos normativos o instrumentos jurídicos públicos en los que se detallan características susceptibles a una evaluación de diseño:

  • marco legal
  • alineación con el PND (Plan Nacional de Desarrollo), PED (Plan Estatal de Desarollo), Programas Sectoriales, ODS (Objetivos de Desarrollo Sostenible)
  • diagnóstico
  • problema
  • población objetivo, potencial y beneficiada (no son lo mismo)
  • fuente de financiamiento
  • montos de apoyo
  • tiempos de convocatoria
  • acciones específicas
  • MIR (Matriz de Indicadores para Resultados)
  • Cronograma
  • Datos de contacto de los responsable

La Federación (CONEVALSHCP) publica su Programa Anual de Evaluación (PAE) para ser cumplido por las dependencias coordinadoras de los fondos. No obstante, los estados deben publicar su PAE para hacer las evalauciones de sus fondos y programas presupuestarios.

Estos aspectos son susceptibles para un ejercicio de evaluación de diseño, consistencia y resultados, eficiencia y eficacia e impacto. Es importante destacar que se deben alternar los tipos de evaluación a los programas presupuestarios ya que es muy equivocado hacer una y otra vez el mismo tipo de evaluación a los fondos o programas. Otro punto es que, si bien el CONEVAL y la SHCP han emitido Términos de Referencia como recomendaciones para las evaluaciones, también se pueden solicitar a los evaluadores que pongan a prueba su creatividad proponiendo metodologías cualitativas para el análisis de los resultados e impactos de los programas sobre sus beneficiarios (o grupos sociales que se desea investigar).

Es decir, lo más probable es que se sometan a evaluación aquellos fondos o programas con reglas de operación, decretos de creación o documentos jurídico normativos públicos que regulan su actuar. NO CUENTAN LOS POWER POINT que muchas veces los funcionarios públicos emiten y creen que pueden ser normativos. Si un programa “S”no cuenta con reglas de operación y en su lugar se tiene una serie de archivos Power Point, estamos hablando de una ocurrencia pésima que sólo evidencia la falta de seriedad del gobierno en turno. Es importantísimo que todos los programas cuenten con diagnósticos fieles y objetivos que justifiquen su creación y no solo sean ocurrencias del alcalde o gobernador en turno.

¿Qué Modelos de Términos de Referencia se deben seguir para las evaluaciones?

Fondos y subfondos Modelo de Términos de Referencia
FONE, FASSA, FAETA, FAM, FAIS (FISE Y FISM) CONEVAL
FAFEF Y FORTAMUN SHCP
FASP 2019-Secretariado Ejecutivo

 

2020-La Secretaría de Seguridad y Protección Ciudadana del Gobierno Federal no ha emitido.

¿A quién se debe contratar para hacer las evaluaciones y cuánto se debe pagar por cada una?

Este es la gran pregunta actual de los estados y municipios. De entrada se deben preferir evaluadores externos que tengan alta trayectoria académica (posgrado) en el área específica que se va a evaluar: salud, turismo, educación, gasto federalizado, deporte, entre otros. Es decir, es correcto primero establecer un perfil académico alto en el que los posibles evaluadores demuestren publicaciones en el área que se va a evaluar. Un error sería elegir a un economista para evaluar un programa de género, por ejemplo. También se deben preferir personas que ya han realizado evaluaciones anteriormente.

Otro consejo es preferir la licitación pública antes que la adjudicación directa. Lo anterior porque cuando abrimos el proceso de adjudicación de evaluación lo más abierta y transparente posible, ofrecemos la oportunidad de que buenos evaluadores hagan propuestas a un precio mucho menor del que se pensaba contratar. Gobierno Federal utiliza Compranet para estos procesos, pero considero que se puede echar mano de las propuestas escritas, el correo electrónico y otras plataformas digitales para dar a conocer los lineamientos y recibir propuestas de posibles prestadores del servicio.

Algunos estados recurren a las universidades autónomas estatales o académicos del estado. Es una buena idea acudir para hacer una Investigación de Mercado (establecer un precio tentativo) pero a la hora del proceso siempre será mejor abrir el proceso a licitación pública. Para ello, se pueden socializar las convocatorias a través de redes para buscar buenas evaluaciones.

¿Después de la evaluación qué procede?

El evaluador propondrá en su informe una serie de recomendaciones que no siempre son correctas desde el punto de vista del ente evaluado.  Es por ello que posterior a la presentación del informe de evaluación, el ente evaluado debe presentar un “Posicionamiento Institucional” en el que acepte o refute una a una las recomendaciones de los evaluadores.

Aquellas recomendaciones aceptadas por parte del ente evaluado deberán ser corregidas en un programa de trabajo en el que se establecen: responsables, cronograma y acciones concretas. A lo anterior llamaremosAspectos Susceptibles de Mejora“. Es decir, no todas las recomendaciones son aspectos susceptibles de mejora, sino solamente aquellas que el ente evaluado acepta corregir en un programa de trabajo.

Al finalizar, es importante hacer público (a menos de 3 clics de distancia de la página principal del ente evaluado):

  • la ficha técnica de la evaluación con datos, costo total de la evaluación y perfil de los evaluadores,
  • el informe completo de la evaluación,
  • el posicionamiento institucional,
  • el seguimiento a los aspectos susceptibles de mejora.