La calidad y los MOOCs (II): La investigación y la evaluación de la calidad.

Ya vimos si los MOOCs son interactivos. Nos podemos plantear ahora si son evaluativos.

Un principio básico de la evaluación es que ésta se pueda llevar a cabo en el programa formativo de que se trate. Es decir que el programa sea evaluable

La investigación formativa y la evaluación de la calidad constituyen el medio principal para verificar que el programa cumple sus funciones  y para proporcionarnos datos que permitan saber lo que está pasando y en su caso permitan la mejora. En definitiva es un medio de mejorar el aprendizaje y de ver que los objetivos se cumplen.

En este sentido cobran especial importancia los conceptos de “ganancia de aprendizaje”, lo que se incrementa el conocimiento en los estudiantes, y de “ganancia educativa”: Qué de ese incremento se debe a una particular organización educativa (estrategias, métodos y recursos educativos).

Debe de haber o debe de ser posible un uniforme pre-test así como debe poder realizarse un informe después de las acreditaciones de los alumnos del programa, como forma básica de asegurar que el programa cumple sus funciones o en qué medida lo hace. Debe de haber resultados sobre los que medir la “ganancia educativa” y  la “ganancia de aprendizaje”. Esta necesidad está en la base de la investigación y de la evaluación educativa. Estas valoraciones deben igualmente ser posibles sobre los grupos de referencia o en su defecto se debe disponer de estándares.

Otro aspecto que se debe evaluar es el impacto, en el programa y en los aprendizajes, de la actitud de los participantes. 

En un contexto tradicional, el análisis de los aprendizajes se correlaciona con los comportamientos, con las diversas modalidades de comportamiento y con los patrones de comportamiento predefinidos, los resultados se incluyen en los informes de aprendizaje. Si esto se hace así en contextos tradicionales cuyos comportamientos, actitudes y expectativas son más explícitos, parece lógico un enfoque al menos similar en un contexto de entornos con ayuda tecnológica o conectados, y en los  análisis que se hagan del aprendizaje. Y para extraer conclusiones de la correlación  entre las diversas modalidades de comportamientos, con el grado de satisfacción y con el grado de aprendizaje que experimentan los participantes.

En otras palabras: Se utilizan las calificaciones como la variable dependiente en la investigación.

Sin embargo esto no siempre es así. En multitud de programas no se llevan a cabo de forma rigurosa o  no tiene lugar simplemente este tipo de procedimientos, en otros se llevan a cabo de manera que se conservan solo las formas, pero en todos ellos se dan las condiciones para llevar a acabo la evaluación. Son evaluativos.

En unos últimos casos no se dan las condiciones porque por diversos motivos la información no es disponible o no se dan las condiciones para que se disponga de datos de evaluación antes o durante el programa de formación, pero sí después. Es el caso de las antiguas enseñanzas en modalidad “libre”, la primitiva EAD o actualmente los xMOOC, los que organizan las universidades de la iniciativa Coursera o de la iniciativa EDX por ejemplo. Por último podemos considerar aquellos programas de formación en los que no se puede disponer de estos datos en ningún momento. 

En palabras de Wiley[1] (2012), a partir de lo escrito por Stephen Downes para LAK12 (Downes, 2011) en la guía de un programa de este tipo: “[Los MOOCs] son  casi completamente inmunes a la investigación rigurosa en cuanto a la manera en que funcionan como un medio para facilitar el aprendizaje”. 

Indicadores 

 

Referencias.-

Downes, S. (2011). Learning Analytics and Knowledge: LAK12. How This Course Works.  http://lak12.mooc.ca/how.htm

Wiley, D. (2012). Thoughts on Conducting Research in MOOCs. Posted on March 5, 2012. http://opencontent.org/blog/archives/2205. Blog de David Wiley: iterating toward openness pragmatism over zeal

Wiley, D. (2012). Slip Sliding Away: The Open en MOOC. Ver http://opencontent.org/blog/archives/2509

Zapata-Ros, M. (2011). Evaluación de la calidad en entornos sociales de aprendizaje RED. Revista de Educación a Distancia. Número 29. Consultado en http://www.um.es/ead/red/29/ el [dd/mm/aaaa]

Zapata-Ros, M. (2012) Calidad y entornos ubicuos de aprendizaje. RED, Revista de Educación a Distancia. Número 31.-  Revisado en http://www.um.es/ead/red/31/zapata_ros.pdf el dd/mm/aaaa

Zapata-Ros, M. (2003) Sistemas de educación a distancia a través de redes. Unos rasgos para la propuesta de evaluación de la calidad. RED, Revista de Educación a Distancia. Número 9.-  Revisado en http://www.um.es/ead/red/9/sistemas.pdf el dd/mm/aaaa

---

[1] Uno de los fundamentos filosóficos de MOOCs tal como se practica por parte de Siemens, Downes, et al. ha sido el rechazo de la idea de los resultados de aprendizaje previamente definidos. Por ejemplo, el programa LAK12 dice en un párrafo:

No espere poder leer y ver todo. Incluso nosotros, los facilitadores [curioso concepto el que introduce en vez de rofesores], no podemos hacerlo. En cambio, lo que se  debe hacer es seleccionar y elegir el contenido que  vea interesante  y  adecuado para usted. Si le parece demasiado complicado, no lo lea. Si lo ve aburrido, pase a la orden del día. "Los resultados del aprendizaje, por lo tanto, serán diferentes para cada persona”.