Comparto algunas de mis observaciones y aprendizajes de mis más de 30 años como evaluador profesional del Sur Global. (1) Estas opiniones también se hacen eco de algunas de las entradas, reflexiones y blogs ya publicados en este hilo. Aunque nosotros, ya sea como evaluadores o comisionados de las evaluaciones, creemos que las preguntas clave de la evaluación deben guiar la elección de los métodos y enfoques, en realidad las opciones de evaluación (lo digamos explícitamente o no) son privilegiadas. El privilegio puede deberse al poder de la experiencia, la posición o los recursos. Robert Chambers se pregunta pertinentemente sobre la realidad de "quién", quién decide y cuyo cambio (2) es más importante que el de otros. Responder a cualquiera de estas preguntas nos lleva a cuestionar quién tiene más poder de decisión -el poder puede ser visible o invisible u oculto-. Aunque no hay duda de la importancia de la calidad de la ciencia, la innovación y la tecnología y del rigor en las evaluaciones, cabe preguntarse también si esta condición necesaria es suficiente. Cuando enmarcamos el debate sobre la evaluación como un proceso transformador y la importancia de aceptar diferentes visiones del mundo, también reconocemos el valor del conocimiento indígena y la necesidad de descolonización (3). Desgraciadamente, a menudo diseñamos las evaluaciones a distancia y, aunque utilicemos métodos y herramientas participativas, a menos que las conclusiones sean utilizadas y asumidas como propias por las personas, y especialmente por las que tienen poca voz, en el programa, no podemos afirmar que las evaluaciones hayan conducido al bien público o se hayan utilizado en beneficio de todos los pueblos. Un punto central de este argumento es hasta qué punto juegan los valores en nuestra evaluación. Con nuestra mayor comprensión del racismo, de las desigualdades de género y de los diversos clivajes sociales, sería difícil aceptar la calidad de la ciencia desprovista de cualquier valor relacionado con los derechos humanos, la inclusión y la equidad.
El pensamiento feminista recomienda métodos y herramientas que puedan matizar la interseccionalidad de la vulnerabilidad, ya que las experiencias vividas pueden variar drásticamente en cualquier diseño de intervención dependiendo del punto de vista de cada uno y de las desigualdades que se cruzan. Es posible que un énfasis en la calidad de vida y la innovación pueda abordar estas preocupaciones, pero hay que estar especialmente atentos a ello y quizás en lugar de preguntar "¿estamos haciendo las cosas bien?" debemos preguntar "¿estamos haciendo las cosas correctas?". Un ejemplo ( 4 ) de la India, donde los productores de mango habían perdido el 40% de sus productos en tránsito, lo que obligó a los científicos a introducir un conjunto de nanomateriales que podían rociarse sobre la fruta para prolongar su vida útil. El ejemplo indica que había un reto social apremiante que se abordó con rapidez, sin perder necesariamente la calidad de la intervención, pero quizás siendo poco convencional en cuanto a la oportunidad y la forma en que se desplegaron las soluciones. Además, las soluciones eran específicas del contexto y ponen de relieve que la evaluación debe medir lo que es importante para las comunidades y los pueblos, en lugar de presentar elegantemente pruebas que pueden no ser utilizadas (5). Los investigadores del Sur están convencidos de la necesidad de que la investigación sea relevante (la cursiva es mía) para las preocupaciones actuales, para los usuarios de la investigación y para las comunidades donde se busca el cambio. (6) La aceptación y la influencia son tan importantes como la calidad de la investigación en un contexto de desarrollo.
Incluso en foros aparentemente abiertos como Internet, donde uno es teóricamente libre de participar sin límites, la investigación y las innovaciones relacionadas han demostrado cómo en una sociedad en red aparentemente libre y abierta, el poder está vinculado a quién controla y hace uso de las vías de comunicación y sus productos. Así pues, quién decide qué información y conocimiento se produce, se comparte y se utiliza y por quién; y, por último, los valores de quién están representados repercuten en la naturaleza del conocimiento (artefactos) producido. El acceso no es lo mismo que la participación. El acceso, en particular, o sugiere la capacidad de hacer uso.... se refiere a la capacidad de hacer uso de la información y los recursos proporcionados. Además, se puede tener acceso a los recursos pero no controlarlos, lo que significa que la participación es limitada, especialmente en la toma de decisiones. Las mujeres, como portadoras tradicionales del conocimiento local e indígena, se encuentran aisladas de la sociedad en red, donde la información, la comunicación y el conocimiento son "bienes comerciables" ( 7).
En resumen, si no somos capaces de abordar las asimetrías de poder subyacentes, el rigor de nuestra ciencia, la investigación y las evaluaciones, aunque cumplan un propósito importante, se quedarán cortas para abordar las complejas demandas de nuestro tiempo, en la búsqueda de soluciones a los problemas intratables y en tener nuestros valores firmemente arraigados en la justicia social.
Zaveri, Sonal (2019), “Making evaluation matter: Capturing multiple realities and voices for sustainable development” contributor to the journal World Development - Symposium on RCTs in Development and Poverty Alleviation https://bit.ly/3wX5pg8
Chambers, R. (1997). Whose reality counts? Putting the first last. London: IT Publications. ------ (2017). Can we know better? Practical Action Publishing Ltd, Rugby
Zaveri, Sonal (2021) with Silvia Mulder and P Bilella, “To Be or Not to Be an Evaluator for Transformational Change: Perspectives from the Global South” in Transformational Evaluation: For the Global Crisis of our Times edited by Rob Van De Berg, Cristina Magro and Marie Helene Adrian https://ideas-global.org/wp-content/uploads/2021/07/2021-IDEAS-book-Tra…
Lebel, Jean and McLean, Robert. A Better Measure of research from the global south, Lancet, Vol 559 July 2018
Ofir, Z., T. Schwandt, D. Colleen, and R. McLean (2016). RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research. Ottawa: International Development Research Centre (IDRC)
Zaveri, Sonal. 2020. ‘Gender and Equity in Openness: Forgotten Spaces’. In Making Open Development Inclusive: Lessons from IDRC Research, edited by Matthew L. Smith, Ruhiya Kristine Seward, and Robin Mansell. Cambridge, Massachusetts: The MIT Press https://bit.ly/2RFEMw5
RE: How to evaluate science, technology and innovation in a development context?
Comparto algunas de mis observaciones y aprendizajes de mis más de 30 años como evaluador profesional del Sur Global. (1) Estas opiniones también se hacen eco de algunas de las entradas, reflexiones y blogs ya publicados en este hilo. Aunque nosotros, ya sea como evaluadores o comisionados de las evaluaciones, creemos que las preguntas clave de la evaluación deben guiar la elección de los métodos y enfoques, en realidad las opciones de evaluación (lo digamos explícitamente o no) son privilegiadas. El privilegio puede deberse al poder de la experiencia, la posición o los recursos. Robert Chambers se pregunta pertinentemente sobre la realidad de "quién", quién decide y cuyo cambio (2) es más importante que el de otros. Responder a cualquiera de estas preguntas nos lleva a cuestionar quién tiene más poder de decisión -el poder puede ser visible o invisible u oculto-. Aunque no hay duda de la importancia de la calidad de la ciencia, la innovación y la tecnología y del rigor en las evaluaciones, cabe preguntarse también si esta condición necesaria es suficiente. Cuando enmarcamos el debate sobre la evaluación como un proceso transformador y la importancia de aceptar diferentes visiones del mundo, también reconocemos el valor del conocimiento indígena y la necesidad de descolonización (3). Desgraciadamente, a menudo diseñamos las evaluaciones a distancia y, aunque utilicemos métodos y herramientas participativas, a menos que las conclusiones sean utilizadas y asumidas como propias por las personas, y especialmente por las que tienen poca voz, en el programa, no podemos afirmar que las evaluaciones hayan conducido al bien público o se hayan utilizado en beneficio de todos los pueblos. Un punto central de este argumento es hasta qué punto juegan los valores en nuestra evaluación. Con nuestra mayor comprensión del racismo, de las desigualdades de género y de los diversos clivajes sociales, sería difícil aceptar la calidad de la ciencia desprovista de cualquier valor relacionado con los derechos humanos, la inclusión y la equidad.
El pensamiento feminista recomienda métodos y herramientas que puedan matizar la interseccionalidad de la vulnerabilidad, ya que las experiencias vividas pueden variar drásticamente en cualquier diseño de intervención dependiendo del punto de vista de cada uno y de las desigualdades que se cruzan. Es posible que un énfasis en la calidad de vida y la innovación pueda abordar estas preocupaciones, pero hay que estar especialmente atentos a ello y quizás en lugar de preguntar "¿estamos haciendo las cosas bien?" debemos preguntar "¿estamos haciendo las cosas correctas?". Un ejemplo ( 4 ) de la India, donde los productores de mango habían perdido el 40% de sus productos en tránsito, lo que obligó a los científicos a introducir un conjunto de nanomateriales que podían rociarse sobre la fruta para prolongar su vida útil. El ejemplo indica que había un reto social apremiante que se abordó con rapidez, sin perder necesariamente la calidad de la intervención, pero quizás siendo poco convencional en cuanto a la oportunidad y la forma en que se desplegaron las soluciones. Además, las soluciones eran específicas del contexto y ponen de relieve que la evaluación debe medir lo que es importante para las comunidades y los pueblos, en lugar de presentar elegantemente pruebas que pueden no ser utilizadas (5). Los investigadores del Sur están convencidos de la necesidad de que la investigación sea relevante (la cursiva es mía) para las preocupaciones actuales, para los usuarios de la investigación y para las comunidades donde se busca el cambio. (6) La aceptación y la influencia son tan importantes como la calidad de la investigación en un contexto de desarrollo.
Incluso en foros aparentemente abiertos como Internet, donde uno es teóricamente libre de participar sin límites, la investigación y las innovaciones relacionadas han demostrado cómo en una sociedad en red aparentemente libre y abierta, el poder está vinculado a quién controla y hace uso de las vías de comunicación y sus productos. Así pues, quién decide qué información y conocimiento se produce, se comparte y se utiliza y por quién; y, por último, los valores de quién están representados repercuten en la naturaleza del conocimiento (artefactos) producido. El acceso no es lo mismo que la participación. El acceso, en particular, o sugiere la capacidad de hacer uso.... se refiere a la capacidad de hacer uso de la información y los recursos proporcionados. Además, se puede tener acceso a los recursos pero no controlarlos, lo que significa que la participación es limitada, especialmente en la toma de decisiones. Las mujeres, como portadoras tradicionales del conocimiento local e indígena, se encuentran aisladas de la sociedad en red, donde la información, la comunicación y el conocimiento son "bienes comerciables" ( 7).
En resumen, si no somos capaces de abordar las asimetrías de poder subyacentes, el rigor de nuestra ciencia, la investigación y las evaluaciones, aunque cumplan un propósito importante, se quedarán cortas para abordar las complejas demandas de nuestro tiempo, en la búsqueda de soluciones a los problemas intratables y en tener nuestros valores firmemente arraigados en la justicia social.