Revista Mexicana de Ciencias Agrícolas   volumen 12   número 4   16 de mayo - 29 de junio, 2021

DOI: https://doi.org/10.29312/remexca.v12i4.2930

Nota de investigación

Metaevaluación de los programas de apoyo al campo en México 2001-2017

Teodoro Domínguez Torres§

Jaime Arturo Matus Gardea

Miguel Ángel Martínez Damián

José Miguel Omaña Silvestre

Oliverio Hernández Romero

Laura Elena Garza Bueno

Colegio de Postgraduados-Campus Montecillo. Carretera México-Texcoco km 36.5, Montecillo, Texcoco, Estado de México, México. CP. 56230. (matusgar@colpos.mx, angel01@colpos.mx; miguelom@colpos.mx; ohr@colpos.mex).

§Autor para correspondencia: teodorodominguez2017@gmail.com.

Resumen

Este trabajo de carácter socioeconómico se plantea conocer el nivel de uso y utilidad de los resultados de las evaluaciones de los programas de apoyo al campo en México, en el periodo 2001-2017, se trata de una metaevaluación o evaluación de la evaluación, que considera particularmente esos dos aspectos clave del proceso de evaluación. Para realizar el estudio se obtuvo información de los posibles usuarios de las evaluaciones a través de una encuesta aplicada en línea o de manera directa. Lo anterior, es relevante ya que en México la evaluación formal de los programas de apoyo al campo de la SADER antes SAGARPA se remonta hacia finales de 1997, con la Alianza para el Campo, hasta los programas actuales y además en un importante periodo de tiempo de 2001 hasta la fecha el gobierno federal ha mantenido un acuerdo de cooperación técnica con la FAO para conducir dicho proceso. Así, este trabajo es pertinente también para la toma de decisiones ya que corrobora, entre otras cosas, el limitado uso de las evaluaciones realizadas en la toma de decisiones para el mejoramiento de los programas. Finalmente, se espera contribuir a motivar una redefinición técnica-metodológica y normativa del proceso de evaluación externa de los programas de apoyo al campo en México y se logre así el objetivo de mejorar el desempeño de dichos programas a los cuales año con año se le destinan importantes recursos públicos para el mejoramiento del nivel de vida de la población que vive en el medio rural.

Palabras clave: evaluación, FAO-SADER, uso, utilidad.

Recibido: abril de 2021

Aceptado: mayo de 2021

La teoría contemporánea de la administración pública enfatiza las ventajas de tener una gestión pública orientada a resultados, en contraste con una orientación clásica que destaca los procedimientos y los procesos de gestión. El orientar la gestión a resultados genera una dinámica al interior de la organización que provoca el mejoramiento del desempeño organizacional y de los resultados que se desean alcanzar (Mejía, 2005). Precisamente, el proceso que da cuenta de la medida en que los resultados se obtienen es el de la evaluación, de ahí la relevancia del tema en cuestión en el sentido de que la metaevaluación tiene como propósito final contribuir al mejoramiento de los procesos de evaluación para la mejor toma de decisiones.

Asimismo, la teoría implícita es que esta dinámica por sí misma genera procesos de retroalimentación y aprendizaje por parte de los actores involucrados, los cuales a su vez generan acciones de corrección que producen el mejoramiento de la gestión. Este razonamiento explica la aparición de numerosos esfuerzos de evaluación de la gestión en varios países de América Latina, algunos creando un conjunto de instrumentos de evaluación, y otros intentando crear sistemas nacionales de evaluación de la gestión (Rosas y Sánchez, 2017).

No obstante, es poco lo que se sabe acerca de la manera cómo estos sistemas y herramientas de evaluación en efecto contribuyen al mejoramiento de la gestión pública en América Latina, en general y en México, en particular. Tampoco se conoce cuáles son los factores que facilitan o limitan el uso de la evaluación como herramienta gerencial y más concretamente, cómo se usa este instrumento para promover una gestión pública orientada a resultados.

Generar conocimientos sobre estos temas puede proporcionar lecciones útiles, tanto para quienes administran los sistemas existentes, como para quienes consideran esta herramienta como parte de la agenda de modernización de la administración pública y finalmente, para los estudiosos de la gestión pública como disciplina (Mejía, 2005).

Este trabajo busca explorar, en términos generales, los niveles de uso y utilidad de los resultados de las evaluaciones de los programas de apoyo al campo en México del periodo 2001 a 2017, desde el punto de vista de los principales actores involucrados en los procesos de evaluación y sobretodo, de los probables usuarios de los informes de evaluación en la toma de decisiones para el mejoramiento de los programas, esto es: los legisladores, los directivos ejecutivos, los directivos operativos, los operativos y los responsables de evaluación. Cabe señalar, que no se contó con información proveniente del ámbito legislativo por lo que en este análisis sólo se podrá hacer referencia a éste a través de información proveniente de la literatura existente.

El tema de investigación aquí tratado es relevante pues toca aspectos cruciales

i) la necesidad nacional de políticas públicas de desarrollo sustentadas en un enfoque de gestión basada en resultados (GbR) conforme a las previsiones de ley incorporadas en el año 2008, lo cual implica un continuo proceso de evaluación y mejora con un uso eficiente, eficaz, oportuno y económico de los recursos empleados; asimismo, el aprovechamiento del conocimiento y de las experiencias captadas en el sistema de evaluación del desempeño (SED) por los actores de las políticas públicas y por la sociedad (Sánchez y Rosas, 2015); ii) la problemática rural asociada a crecientes índices de desempleo, bajo nivel de producción e ingresos y pobreza en segmentos amplios de la población mexicana. Esto es, las propuestas formuladas para coadyuvar a la resolución de los problemas identificados en el trabajo han sido planteadas con la intención de que México aproveche la gran oportunidad que tiene actualmente de mejorar la calidad de los trabajos de evaluación e integrar sus resultados a la gestión pública, como forma de incidir más efectivamente en el alivio del más urgente problema nacional: la pobreza en que vive la mitad de sus ciudadanos (Cardozo, 2006a); y iii) experiencias en trabajos similares en Europa concluyeron que los resultados de las evaluaciones son muy poco utilizados. En el mismo sentido, se expresan Díaz y Rosales (2003); Cardozo (2006b) con base en las evaluaciones que revisan en el contexto costarricense y mexicano, respectivamente.

Enseguida se enuncian las preguntas de investigación que guían el presente trabajo de investigación, las cuales acotan el nivel de análisis del mismo y contribuyen a generar nuevas interrogantes de investigación para el análisis de la evaluación en México, de los procesos de evaluación de los programas de la actual SADER: ¿cuál es el nivel de uso de los resultados de las evaluaciones de los programas de apoyo al campo, en el periodo 2001-2017 y su utilidad en la toma de decisiones para su mejoramiento? ¿cuáles son los principales factores que han limitado el uso de los resultados de las evaluaciones de los programas de apoyo al campo en México?

En ese sentido, los objetivos de la investigación son: a) conocer el nivel de uso y utilidad de los resultados de las evaluaciones de los programas de apoyo al campo en México, en el periodo 2001-2017, en la toma de decisiones para su mejoramiento; y b) determinar los principales factores que han limitado el uso de los resultados de las evaluaciones de los programas de apoyo al campo en México. Asimismo, las hipótesis propuestas son las siguientes: 1) los resultados de las evaluaciones de los programas de apoyo al campo en México no son usados por los actores involucrados y no son útiles en la toma de decisiones para su mejoramiento; y 2) los principales factores que han limitado el uso de los resultados de las evaluaciones de los programas de apoyo al campo en México son esencialmente de carácter técnico-metodológico (relevancia, credibilidad, calidad y los propios hallazgos, así como las prácticas de comunicación del evaluador y la oportunidad de los reportes).

Por lo anteriormente planteado el estudio se justifica ampliamente en virtud de que a lo largo de los últimos 22 años se le ha destinado una importante cantidad de recursos públicos a la realización de evaluaciones externas de los programas de apoyo al campo en México, tales como la Alianza para el Campo, Capacitación y Extensión, Mecanización, Fomento Agrícola, Fomento Ganadero, Desarrollo Rural, etc., así como el Programa de Apoyo a la Adquisición de Activos Productivos, el de Apoyo a la Inversión en Equipamiento e Infraestructura, el de Desarrollo de Capacidades, Innovación Tecnológica y Extensionismo Rural, el de Sanidad e Inocuidad Agroalimentaria, el de Concurrencia con las Entidades Federativas, etc.

En este sentido, es relevante señalar que en México se han realizado, de 2001 a 2017, aproximadamente 2 200 evaluaciones estatales, mismas que han sido llevadas a cabo por alrededor de 550 consultores. Asimismo, se han realizado, por parte de la FAO, en la página web evaluación FAO cerca de 100 trabajos de magnitud nacional relacionados con la evaluación de los programas de la SAGARPA ahora SADER.

No obstante lo anterior, resulta relevante conocer qué tanto se usa dicha información para la toma de decisiones en el mejoramiento de los programas de la SADER en el país, lo que contribuiría a dar pauta, a las instancias correspondientes, sobre los posibles pendientes a considerar en los procesos de evaluación que se llevan a cabo en la actualidad, toda vez que algunos estudiosos del tema refieren que ha sido muy limitado el uso de los resultados de las evaluaciones de los programas públicos en México, pero que se desconoce su magnitud.

Asimismo, la metaevaluación puede analizar, entre otras cosas, los antecedentes y el contexto de la evaluación; la definición de los términos empleados; los criterios de valor, la determinación de los costes y recursos, la valoración del proceso de investigación y de sus resultados y la existencia de recomendaciones sobre el uso o el destino de la evaluación (Schwandt y Halpern, 1988; Scriven, 1991 y 2007).

Cabe destacar, que la experiencia de evaluación externa de los programas de apoyo al campo en México, guiada metodológicamente por la FAO, de acuerdo con el convenio de participación signado por este organismo internacional y la SAGARPA desde el año 2001 (SAGARPA, 20015; SAGARPA, 2016), fue marcada desde el principio por procesos de calificación de los informes de evaluación por la propia FAO que, aunque no han sido considerados metaevaluaciones en ningún momento, sí se ha requerido un análisis de observancia de la metodología propuesta en los TR por dicho organismo internacional, en términos de los ámbitos de evaluación-procesos, resultados e impactos-indicadores a considerar, tiempos requeridos en las etapas de evaluación, definición de las muestras, cuestionarios aplicados a los diferentes actores, obtención, captura y depuración de bases datos, presentación de resultados y edición, formas y tiempos de divulgación, etc.

Finalmente, cabe mencionar que el intento de calificación de informes de resultados de evaluación, durante los primeros años de conducción del proceso por parte de la FAO, tuvo implicaciones en las propias reglas de operación de los programas de la secretaría al grado que, dependiendo de la calidad de los informes de evaluación entregados por los estados a la SAGARPA-FAO, era el monto total asignado a los programas a operar en las entidades federativas.

Esto es, se incluyó la calificación de informes estatales de evaluación como un criterio más en la fórmula de cálculo de aportaciones de recursos a los estados. Esta situación, al parecer, no tuvo gran permanencia debido probablemente al reclamo de las entidades federativas, por considerarse un factor con una fuerte carga de subjetividad motivada por procesos técnico-administrativos.

El presente trabajo de carácter socioeconómico tiene como marco de referencia la teoría de la evaluación de las políticas públicas, enmarcada en el contexto general del círculo virtuoso de las políticas públicas, en donde el proceso de evaluación juega un papel importante en la toma de decisiones para el mejoramiento de estas (Figura 1).

Figura 1. Círculo virtuoso de las políticas públicas en México.

Asimismo, las unidades de análisis de esta investigación están constituidas por las diferentes instancias que tienen que ver con el proceso de evaluación; en general, y con la toma de decisiones con respecto al uso de los resultados de las evaluaciones, en particular. En ese sentido, dichas instancias son: 1) el nivel legislativo -diputados y senadores-; 2) el nivel ejecutivo nacional (secretario, subsecretarios, directores generales, coordinadores generales, delegados); 3) el nivel directivo estatal (subdelegados, directores y subdirectores estatales); 4) el nivel operativo estatal (jefes de DDR, jefes de programa, jefes de CADER y jefes de departamento); y 5) el nivel de responsables de evaluación -evaluadores estatales-.

Para obtener la información que sirvió de base en esta investigación, se le aplicó una encuesta en línea o de forma directa al personal de los niveles antes enunciados, con el fin de obtener la información necesaria para soportar los objetivos e hipótesis de investigación. Cabe señalar, aquí que los diputados y senadores de la República a los cuales se les aplicó la encuesta, vía correo electrónico, ninguno de ellos contestó la misma por lo que no fue posible contar con las apreciaciones del ámbito legislativo (nivel 1). Así, la distribución de los entrevistados es como se muestra en el Cuadro 1.

Cuadro 1. Número y tipo de entrevistado.

Como se señaló al principio, este estudio de metaevaluación hace énfasis sólo en el nivel de uso y la utilidad que tienen los resultados de las evaluaciones de los programas de apoyo al campo en México en la toma de decisiones para el mejoramiento de los mismos, considerando que estos simples factores de análisis podrían tener implicaciones normativas y metodológicas que probablemente se han dejado de considerar por las instancias oficiales respectivas a lo largo del tiempo en que se han venido realizando este tipo de evaluaciones en México.

Así, en relación con el uso y la utilidad de los resultados de las evaluaciones se planteó como hipótesis que los actores que dirigen u operan los programas de apoyo al campo en México no usan los resultados de las evaluaciones y éstos tampoco son útiles en la toma de decisiones para su mejoramiento. En ese sentido y teniendo en cuenta también la percepción de los propios responsables de evaluación, según la información obtenida se encontró que, en general, existe un uso muy limitado de dichos resultados por los diferentes niveles de actuación, toda vez que éstos consideran en su mayoría que los resultados de las evaluaciones son poco o nada usados según su apreciación y experiencia (Figura 2), lo que coincide con lo encontrado por otros autores que han estudiado el tema.

Figura 2. Nivel de uso de la evaluación de los programas de apoyo al campo de en México en la toma de decisiones por nivel de actuación y responsables de evaluación.

Por otra parte, en relación con la utilidad de los resultados de las evaluaciones se encontró que, aunque los diversos actores consideran que es poco o nada el uso de dichos resultados, estos perciben, en su mayoría, que es útil y muy útil la información que se deriva de las evaluaciones de los programas para la toma de decisiones en el mejoramiento de estos (Figura 3).

Figura 3. Nivel de utilidad de los resultados de las evaluaciones según la apreciación global de los diversos actores de participación.

En ese sentido, en relación con la utilidad de los resultados de evaluación de los programas de apoyo al campo en México, según los responsables directivos y operativos a nivel nacional y estatal, así como los propios responsables de evaluación, se podría estar teniendo en los rubros que se muestran en el Cuadro 2.

Cuadro 2. Áreas de interés en que se ha utilizado la información derivada de la evaluación de los programas de apoyo al campo en México según los diversos actores.

Por lo antes expuesto, y de acuerdo con la hipótesis que expresa que los resultados de las evaluaciones de los programas de apoyo al campo en México no son usados por los actores y no son útiles en la toma de decisiones para su mejoramiento, se acepta parcialmente en el sentido que la información obtenida muestra que si bien, en general, no se usan los resultados de las evaluaciones, éstos si acaso se consideran útiles.

Por otra parte, en cuanto a los principales factores que han limitado el uso de los resultados de las evaluaciones de los programas de apoyo al campo en México, según los diferentes actores, se encuentran en orden de importancia, los siguientes: i) los resultados de evaluación son presentados de manera inoportuna para la toma de decisiones; ii) la ausencia de mecanismos legales que motiven o regulen su uso; iii) la información presentada en las evaluaciones no es objetiva ni confiable; iv) la metodología utilizada para evaluar no es pertinente; v) los resultados no provienen de metodologías y temas de interés en el estado; y vi) no se reconocen como usuario de los resultados de las evaluaciones.

Finalmente, de acuerdo con lo antes expresado, y con la hipótesis planteada en el sentido de que los principales factores que han limitado el uso de los resultados de las evaluaciones de los programas de apoyo al campo en México son esencialmente de carácter técnico-metodológico (relevancia, credibilidad, calidad y los propios hallazgos, así como las prácticas de comunicación del evaluador y la oportunidad de los reportes) se corrobora dicha hipótesis.

Conclusiones

Esta investigación se basó en la identificación de los niveles de uso y utilidad que tienen los resultados de las evaluaciones de los programas de apoyo al campo en México, en la toma de decisiones para el mejoramiento de este. Se encontró en general que, aunque pueden considerarse útiles los resultados de las evaluaciones, existe un uso muy limitado de éstos por los diferentes niveles de actuación, lo que manda a reconsiderar, por parte de todos los involucrados en el proceso de evaluación, especialmente de las instancias oficiales correspondientes (SADER, SFP, SHCP, CONEVAL, etc.), sobre los aspectos organizativos, metodológicos y normativos considerados a lo largo del tiempo, que posiblemente no han abordado con claridad y explícitamente los aspectos del uso y la utilidad de los resultados de las evaluaciones según el tipo de audiencia o posible usuario de los mismos.

En relación con los principales factores que han limitado el uso de los resultados de las evaluaciones de los programas de apoyo al campo en México se encontró, de acuerdo con las apreciaciones de los responsables directivos y operativos (ejecutivo nacional, directivo estatal y operativo estatal), así como de los propios responsables de evaluación del país que incluye en algunos casos a los coordinadores estatales de evaluación, que los factores que más han limitado el uso de los resultados de las evaluaciones son esencialmente de carácter técnico-metodológico, motivado seguramente por la falta de claridad en cuanto a la determinación de la utilidad de la información generada en los procesos de evaluación y a las formas de uso específicos posibles por tipo de audiencia o usuario de la evaluación.

Literatura citada

Cardozo, M. 2006a. La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México. H. Cámara de Diputados, LIX Legislatura-Miguel Ángel Porrúa, librero (Ed.). México, DF. 374 p.

Cardozo, M. 2006b. Políticas de lucha contra la pobreza en México. Principales resultados y limitaciones. Fermentum. Revista Venezolana de Sociología y Antropología. 16(45):15-56.

Díaz, L. F. y Rosales, R. 2003. Metaevaluación: Evaluación de políticas, programas y proyectos sociales, San José de Costa Rica. (Ed.). Universidad Estatal a Distancia. 73 p.

Mejía, J. 2005. La evaluación como herramienta para una gestión pública orientada a resultados. La práctica de la evaluación en el ámbito público mexicano. CLAD. 56 p. http://www.clad.org.ve.

Rosas, A. J. y Sánchez, B. A. 2017. La evaluación de las políticas públicas en Jalisco: una aproximación desde la metaevaluación. Política y Cultura. 47:201-223.

SAGARPA. 2015. Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación. Lineamientos para las actividades de planeación, monitoreo y evaluación en los estados 2015. Subsecretaría de alimentación y competitividad. Dirección General De Planeación y Evaluación. Dirección General Adjunta de Planeación y Evaluación. México, DF.

SAGARPA. 2016. Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación. Lineamientos para las actividades de planeación, monitoreo y evaluación en los estados 2016-2017. Dirección General De Planeación y Evaluación. Ciudad de México.

Sánchez, A. y Rosas, J. 2015. La evaluación de la política social en los gobiernos municipales de México. En Pablo Pineda (Coord.). Cuestiones sociales y políticas, Instituto de Investigación en Gobierno y Políticas Públicas-Universidad de Guadalajara/Prometeo Editores. 71-83 pp.

Schwandt, T. and Edward, H. 1988. Linking auditing and metaevaluation, Newbury Park: Sage Publications.188 p.

Scriven, M. 1991. Evaluation Thesaurus. 4th edition. Newbury Park: Sage Publications. 391 p.

Scriven, M. 2007. Key evaluation Checklist, Kalamazoo, Western Michigan University. The Evaluation Center. http://www.wmich.edu/evalctr/checklists/kec-feb07.pdf.