RE: How to evaluate science, technology and innovation in a development context? | Eval Forward

Gracias por mantener el foro abierto más tiempo del previsto. Estuve leyendo todos los comentarios con mucho interés, sin atreverme a contribuir tanto porque soy nuevo en la comunidad de EvalForward como porque no soy una evaluadora con experiencia, especialmente de la ciencia, sino más bien una profesional de M&E / MEL a nivel de proyecto en general.

Estoy posteando algo sólo ahora en el último minuto en respuesta a la pregunta 3 sobre las prácticas de MEL, y específicamente con respecto a la medición del impacto (que ha surgido mucho en otros posts, gracias Claudio Proietti por introducir ImpresS), donde los indicadores cualitativos a menudo se basan en entrevistas o informes, y dar sentido a la narrativa no es fácil.

No estoy segura de que, en términos de prácticas, las herramientas informáticas sean de interés, pero creo que en este tipo de medición algunas herramientas informáticas pueden ayudar mucho. Por supuesto, la calidad de la evaluación depende de la forma en que se diseñen las preguntas de la narrativa y del tipo de análisis que se prevea (clasificaciones, palabras clave, estructura del relato, metadatos), pero una vez hecho el diseño, es muy práctico utilizar herramientas que permiten (a veces de forma automática) clasificar en función de los conceptos seleccionados, identificar patrones, frecuencia de palabras/conceptos, clusters de conceptos, etc., utilizando técnicas de minería de textos y Machine Learning, en algunos casos incluso partiendo directamente de archivos de vídeo y audio.

Algunas herramientas de análisis narrativo que estoy estudiando son ATLAS.ti, MAXQDA, NVivo. Otras herramientas que estoy revisando, que hacen un análisis narrativo menos potente pero que también tienen funcionalidades de diseño y recopilación, son Cynefin Sensemaker y Sprockler. Una herramienta interesante, con funcionalidades más básicas pero con una fuerte columna vertebral conceptual, que ayuda al diseño de la indagación narrativa y apoya un proceso de análisis participativo, es NarraFirma.

(O.T.: En realidad, me interesaría intercambiar opiniones sobre estas herramientas con otros miembros de la comunidad que las hayan utilizado).