¿Los programas generativos “Transformer” AI y ChatGPT, una oportunidad para la evaluación formativa? (y VI):
Imagen generada con la frse “Students doing essays with ChatGPT, hopper syle” por Miguel × DALL·E Human & AI
La auténtica evaluación educativa, la de calidad,
es inmune al ChatGPT
La evaluación es un
complejo de procedimientos que, en condiciones normales, se distribuyen a lo
largo de todo el proceso educativo a través de distintos recursos y
procedimientos y difícilmente, para que sea una evaluación de calidad, se hace
en un único momento o en unos pocos momentos a lo largo del curso, o utilizando
una única técnica o instrumento. Si se hace así, como se hacía, y aún se hace
con demasiada frecuencia con la evaluación, fiándola a un examen o a un
proyecto, se corre el riesgo de tomar decisiones sesgadas o arbitrarias. Además
de crear en los alumnos una ansiedad que los desmotiva y perturba su aprendizaje.
Actualmente tenemos el
conocimiento de cómo se produce el aprendizaje y de cómo se realizan las
prácticas pedagógicas en las mejores condiciones. Lo hemos obtenido a través de
investigaciones que ha aportado resultados y evidencias. También lo tenemos para
organizar una evaluación de manera confiable sin necesidad de recurrir
exclusivamente a las consabidas pruebas de conocimiento o ensayos, a final de
curso, ciclo, trimestre, cuatrimestre o materia. Todo lo que se ha publicado en
la literatura, como consecuencia de esas investigaciones y de esa elaboración
científica, nos proporciona esos procedimientos y esos métodos. Es papel de los
diseñadores de la instrucción en todos sus niveles el conocerlos y el
aplicarlos en TODOS LOS ESCENARIOS. Y su responsabilidad el no hacerlo así.
Como en otros casos y
en otros procesos, ahora con ChatGPT y antes con la pandemia, se están poniendo
de relieve hábitos, tradiciones y procesos que estaban pasando desapercibidos y
que han manifestado por un lado su vulnerabilidad, sus insuficiencias y por
otro las alternativas que la teorías pedagógicas nos venían suministrando,
siendo muchas veces ignoradas, y por otro el papel que la tecnología y las
redes digitales con sus affordances nos estaban suministrando
para la implementación de esos enfoque teóricos así como la oportunidad de
validarlos con la práctica.
Con respecto a la
evaluación, la segunda cuestión clave que se ha de tener en cuenta es que desde
siempre la evaluación ha sido un proceso que, para ser de calidad, difícilmente
se puede desvincular del quehacer cotidiano del alumno. Pues bien,
si siempre ha sido así, ahora es más vital ese factor: Ahora con la amenaza de
ChatGPT y Transformers IA y antes con la pandemia, cuando no hay una
interacción directa entre alumnos y profesores, es cuando debemos ser
conscientes de su importancia, de que esa interacción debe ser
especialmente detallada, en su práctica y programación, así como frecuente,
de forma casi continua, en la medida en que las condiciones físicas de presencia
directa mediante entrevistas y supervisiones o a través de
la tecnología, lo permitan. Alguien planteará que eso es imposible o
muy difícil. Hoy no es así. Y no por la eficiencia de las herramientas
tecnológicas, que también, sino porque hay metodologías docentes que lo
permiten. Desde hace ya tiempo. Y entre ellas, como después veremos, la
principal es la de Mastery learning (Zapata-Ros,
2018).
Se trata pues de una
cuestión de metodología docente, de cómo los profesores hacemos las cosas.
La primera conclusión
que he sacado, en toda mi experiencia, es que la evaluación e incluso la
acreditación de conocimientos o de habilidades no debe abordarse como algo
aislado, condicionado exclusivamente por variables limitadas a la coyuntura o
por otros factores recientes y directos. Si lo hacemos así se pueden derivar
más males que beneficios, y además los resultados van a ser irreparables.
La evaluación en todos
sus aspectos debe de estar, en todas sus facetas y ejecuciones, integrada en un
proceso de diseño instruccional amplio y detallado lo más posible.
Pero, ¿qué es el diseño instruccional?:
Un diseño es, en general, un proyecto o
un plan que configura algo antes de su realización o de su
desarrollo. Pero que también permite saber en qué punto de él estamos en su
ejecución, y cómo relacionar lo que estamos haciendo con los resultados últimos
de lo que hagamos. Pudiendo retomar y modificar decisiones, en progreso, para
cambiar la ejecución y que ésta se ajuste con nuestros objetivos en un feedback continuo.
Los procesos y programas formativos, y la
educación, también se diseñan.
En general el diseño instruccional,
como veremos, se define como "un proceso sistemático que se emplea para
desarrollar programas de educación y capacitación de manera continua y
confiable".
Existe una amplia base de modelos de
diseño instruccional y de desarrollos teóricos considerados como marcos para el
desarrollo de módulos formativos o clases que aumenten, haciéndolo de acuerdo
con sus pautas y preceptos, la posibilidad de aprender, de fomentar la
participación de los alumnos para que aprendan más rápido, y obtener de esta
forma niveles más profundos de entendimiento.
Los principales creadores e impulsores del
diseño instruccional y de sus bases teóricas ha sido David Merrill (2002 y
2012) y Charles M. Reigeluth.
Así la Teoría del Diseño Instruccional
clásica de Reigeluth se considera, en general, como un instrumento con un doble
fin: facilitar el aprendizaje y el desarrollo humano, o mejor dicho facilitar
el desarrollo humano en la medida que se consigue un mejor aprendizaje. Es
en esencia una teoría situacional. Sostiene que los métodos y situaciones de
aprendizaje son esenciales para que el aprendizaje tenga lugar de forma
efectiva. Está constituida por
una serie de
principios para organizar la enseñanza en un esquema complejo de elementos más
pequeños, y por tanto más cerca de la comprensión individual, que
posteriormente son insertados en estructuras conceptuales interrelacionadas.
Los métodos del diseño instruccional
suponen un ciclo continuo y una evaluación formativa (Zapata-Ros, 2013) que permiten introducir mejoras
sobre el proceso en el diseño del programa educativo, sin necesidad de
concluir.
El diseño instruccional
permite pues partir, en un proceso inverso, desde la consideración de cuáles
son los resultados deseados del proceso de aprendizaje para organizar
las pautas, para distribuir en el tiempo todo lo demás, incluida la secuencia
de acciones y de contenidos. Permite distribuir no solo la entrega de
materiales, de actividades y de ayuda, sino de establecer cuáles son los logros
parciales que, en una cadena, lleven al alumno a conseguir los logros de la
unidad didáctica, el módulo o la materia. De forma que su consecución sea gradual,
continua, sin saltos.
Hemos dicho que el diseño instruccional consiste también en la aplicación de los principios teóricos que se conocen sobre como los individuos aprenden para organizar la educación. Veamos particularmente cómo funciona esto, la aplicación de los principios teóricos, en un punto concreto, el de la evaluación, que es el tema de este post.
Lo hace a través del principio de demostración.
La evaluación y el Principio de Demostración.
Pero antes expliquemos un poco más qué
son los principios del aprendizaje. Como referencia teórica, hemos utilizado,
en todo lo que hemos escrito aquí y en material que he ofrecido en estas
circunstancias para ayudar al diseño de enseñanza online y para la
evaluación, el trabajo de M. David Merrill (2002 y 2012) conocido
como los “Primeros
[o principales] principios de la instrucción” (First principles of
instruction, Prentice Hall). Todo ello está desarrollado en el capítulo 2 y
se puede ampliar allí con más detalle y en las referencias que contienen
enlaces a los documentos originales.
Estos principios
son una constante de la educación en todas las investigaciones, son aceptados
por todos los teóricos, hay un consenso sobre ellos.
Merrill estableció
cinco principios: El aprendizaje ha de ser centrado en el problema, el
principio de activación, el de demostración, el de aplicación y el principio de
integración o de transferencia.
El principio que
fundamenta la evaluación es el principio de demostración. Y es el que
debiéramos tener presente en todo momento en que hablásemos de ella.
Simlificando consiste en que el alumno ha de aportar evidencias de su
aprendizaje, en un sentido pedagógico, es decir ha de demostrar quecomprende
que atribuye sentido, que aplica las habilidades conseguidas de forma autónoma
y las transfiere a contextos distintos.
¿Qué dice?
En primer lugar, y
para entender lo que sigue, hemos de tener en cuenta que los principios de la
instrucción están enunciados en forma de criterios que ha de cumplir la
enseñanza para que el aprendizaje sea eficiente, de calidad. Hemos de recordar
que la evaluación forma parte de la instrucción.
Principio 3-Demostración.-
El aprendizaje se promueve cuando la instrucción
demuestra lo que se debe aprender en lugar de simplemente decir información
sobre lo que se debe aprender.
Así la demostración es un factor de
consistencia: El aprendizaje se promueve cuando la demostración es
coherente con el objetivo de aprendizaje, con:
(a) ejemplos y contraejemplos de conceptos,
(b) demostraciones para procedimientos,
(c) visualización (evidenciar visualmente) para los
procesos, y
(d) el modelado (presentación de modelos) para adquisición
de valores y conductas
Obviamente ninguna
de estas exigencias de la demostración se cumplen con el ChatGPT ni el propio
GPT las demuestra.
Presentar un informe o un proyecto,
por sí mismo no demuestra nada.
La repercusión del diseño instruccional en la evaluación tiene otro punto clave: La cuestión inmaterial, pero sobre la que gira la docencia, el entregar ayuda y contenidos cuando el alumno esté receptivo y los perciba como útiles, estriba en distribuir los logros parciales y evaluar su consecución, y únicamente entonces proseguir. En esto juega un papel central el diseño y sobre todo, si finalmente los hay, el papel de los Teaching Assistant (TA). Más abajo describiremos como ejemplo lo que hicimos en el curso investigativo de Alcalá.
La confianza
Por último, se trata también de una
cuestión de confianza. En una educación de estándares, a la que estamos
acostumbrados y donde el ChatGPT, los proyectos a los que sustituye y los
exámenes, se han establecido medidas
iguales para todos, los estándares, que en su consecución acreditan al alumno
para superar el curso o la asignatura. Es un sistema basado en estándares
iguales para todos, de superación de pruebas y de exámenes iguales para todos.
Esta dinámica permite trasladar
la eficiencia al escrutinio de las pruebas y de sus resultados por
padres, familias e inspección, donde además con esa supuesta objetividad los
docentes se sienten seguros, aunque por contrapartida lo que se hace es sembrar
la semilla de la desconfianza, de que no haya equidad en el proceso. Esto es un
caldo abonado para la industria del fraude y la del ChatGPT como impostor del
alumno para demostrar capacidades y aprendizajes en general.
Este hecho viene a confirmar algo que planteamos desde hace tiempo , la necesidad de una nueva educación, la basada en logros personales. En ese marco el entorno social del alumno debe depositar la confianza en el modelo, personalizado a través de sistemas que como el de Mastery learnig otorge en los maestros la confianza en valorar que se alcanza el dominio en el aprendizaje. De confiar en el maestro y en su expertise docente, de igual forma como la deposita en el médico, en su capacidad de diagnóstico y de decidir un tratamiento adecuado.
La evaluación formativa
En lo que sigue
haremos un repaso de lo que se entiende por evaluación formativa, de cómo la podemos relacionar con lo que está
sucediendo con ChatGPT y lo que hemos dicho sobre él. Es conveniente que todo
ello lo tengamos en mente cuando veamos todo esto.
También veremos otros
conceptos y otras formas de evaluación. Por último, haremos un sucinto repaso
de actividades que tienen un fuerte carácter de evaluación formativa y que se
sugieren como algo que proporciona información sobre el estudiante y sobre su
progreso en el camino hacia aprender y obtener el dominio en las destrezas que
se pretende que consiga. Pero no nos quedaremos en el mero enunciado o la sugerencia
de actividades, veremos qué procesos y que logros son los más importantes en
ese camino.
Leer sólo lo que
proporciona un informe o un ensayo, prescindiendo de todo lo que estamos viendo
y de lo que en general se sabe y se ha investigado, para evaluar a un
estudiante, aunque sepamos mucho sobre, él puede ser injusto por insuficiente.
En definitiva, evaluar teniendo en cuenta únicamente el texto, en el que como
hemos visto, ahora con Chat GPT, es imposible discernir entre un humano y un programa
transformer, nos lleva al fracaso y al malestar por vernos, como
profesor4es, indefensos y desamparados en ese camino. Y lo que, sin ser tan
grave es muy negativo, a perder la confianza en la tecnología y en una visión
positiva de ella como apoyo nuevo e imprescindible para muchos aprendizajes.
Definiciones y validez de
la evaluación formativa
Un trabajo básico
pero muy completo es el que Terry Crooks (2001, September) hizo parta la Unidad de Investigación en
Evaluación Educativa en la Universidad de Otago ( Dunedin, Nueva
Zelanda), presentado en la Conferencia Anual de la
Asociación Británica de Investigación Educativa, Universidad de Leeds, 13-15 de
septiembre de 2001, en la sección de Educación online, titulado The Validity of Formative Assessments.
Así Crooks (2001) define evaluación como
Cualquier proceso que proporcione información sobre el pensamiento, los
logros o el progreso de los estudiantes.
Para ello se valió de un importante
concepto previo, el de validez Utilizó el trabajo y definición de Messick
(1989, p.13 Vigency)
La validez es un juicio evaluativo integrado del grado en que la evidencia
empírica y los fundamentos teóricos apoyan la idoneidad y pertinencia de las
inferencias y acciones basadas en los puntajes de las pruebas u otros modos de
evaluación.
Frecuentemente se utiliza el concepto de evaluación sumativa, más acorde
con lo que habitualmente se hace y cómo se entiende la evaluación
De esta forma, la evaluación sumativa tiene la intención de resumir el
logro del estudiante en un momento particular, mientras que la evaluación
formativa tiene como objetivo promover una mayor mejora del logro del
estudiante, además de asegurar, obviamente, lo anterior.
Es decir,
se trata de contraponer evaluación de lo aprendido y evaluación para
aprender (Assessment OF
learning versus assessment FOR learning) en el sentido más simple de las
dos expresiones:
Veamos
ahora en este contexto algunas de las definiciones que hemos encontrado más
precisas de evaluación formativa
Para el Ministerio de Educación, Nueva Zelanda, 1994 (Assessment: policy
to practice) se trata de:
Una gama de procedimientos de evaluación formales e informales (por
ejemplo, el seguimiento del desarrollo de la escritura de los niños, registros
de hechos concretos y observaciones [igual puede generalizarse a procedimientos
seguidos en otros niveles y etapas][1]) realizados por los
profesores en el aula [o en la actividad en línea] como parte integral del
proceso normal de enseñanza y aprendizaje para modificar y mejorar el
aprendizaje comprensión.
Para Bronwen Cowie & BeverleyBell (1999) (A model of formative
assessment in science education) es:
El proceso utilizado por profesores y estudiantes para reconocer y dar
respuesta al proceso de aprendizaje de los estudiantes con el fin de mejorar
ese aprendizaje durante el aprendizaje.
Para Black & Wiliam, 1998a, p. 2 (Inside the black box) la
Evaluación 'se refiere a todas aquellas actividades realizadas por los
profesores, y por los estudiantes en la autoevaluación, que proporcionan
información que se utilizará como retroalimentación para modificar las
actividades de enseñanza y aprendizaje en las que participan. Dicha
evaluación se convierte en "evaluación formativa" cuando la evidencia
obtenida se utiliza en la práctica docente para adaptar la enseñanza a las
necesidades detectadas.
Pero quizá la más completa es la definición que hacen Black & Wiliam (2009), de evaluación formativa, acompañada de otra sobre lo que es instrucción.
Para lo primero se basa en sus definiciones (Black y Wiliam, 1998b) y la
definición del Grupo de Reforma de la Evaluación (ARG, 2002):
La práctica en el aula es formativa en la medida en que la evidencia sobre
el rendimiento del estudiante sea suscitada, interpretada y utilizada por los
profesores, los alumnos o sus compañeros, para tomar decisiones sobre los
próximos pasos en la instrucción. Próximos pasos que probablemente sean
mejores, o mejor fundamentados, que las decisiones que se tomarían se han
tomado en ausencia de la evidencia que de esa forma se ha obtenido.
Pero ¿qué es instrucción e instruccional? Aquí y en varios lugares más utilizamos
este término. Procede pues definirlo:
En gran parte del mundo académico, este término tiene una connotación de formación, o de enfoques didácticos de la enseñanza. Sin embargo, en otros y de forma mayoritariamente aceptado, el término "instrucción" significa la combinación de enseñanza y aprendizaje, y es este último sentido el que utilizaremos aquí. En esta definición, "instrucción" se refiere a cualquier actividad que vaya destinada a crear aprendizaje. En España el término equivalente sería pedagogía. Pero actualmente también, además de que el enfoque tradicional tiene inconvenientes al sugerir una visión más limitada de la práctica de la enseñanza, no se ajusta demasiado bien a términos y conceptos de la sociedad digital y del conocimiento. Por ejemplo, parecería extraño referirse a los estudiantes como 'recursos pedagógicos unos para otros', parece que hablamos de textos, pizarras, retroproyector, etc. No así si decimos “alumnos como recursos instruccionales unos para otros”.
A esto podemos añadir
una particular aportación de quien suscribe (Zapata-Ros, 2012):
La evaluación formativa o de proceso se exige para entender no sólo si un
alumno ha conseguido aprendizaje o no, sino por qué. Comprender las razones
para el éxito o para el fracaso depende de la profundidad del conocimiento que
existe de lo que se ha hecho o se está haciendo, y también de la relación
apropiada entre el uso de la tecnología, las actividades que se han hecho con
ella y el área de conocimiento. Entendiendo como tal la metodología docente
para el área (las ideas pedagógicas) y los conocimientos propios de la materia.
Por lo
tanto, podemos concluir que, aunque el desarrollo de la evaluación formativa
no es la única manera, o incluso la mejor manera, para abrir una gama más
amplia de cambios deseables en el aprendizaje en el aula, puede ser
particularmente eficaz, en parte porque la calidad de la retroalimentación
interactiva es un factor crítico característica para determinar la calidad de
la actividad de aprendizaje y, por lo tanto, es una característica central de
pedagogía [2]
Después de esto creemos que el lector se habrá formado una idea cabal y actualizada de lo que es la evaluación formativa. Pero no es sólo importante saber qué es sino cómo se practica: las actividades.
En base a la literatura[3], las prácticas, en condiciones normales de trabajo en aula y online, comunicadas por docentes y en base a la propia experiencia en la docencia de secundaria, grado y postgrado y formación del profesorado en activo, también en condiciones normales online, podemos establecer una clasificación en los principales tipos de actividad que señalamos.
- Compartir criterios de éxito con los alumnos
- Preguntar en el aula, o en el chat, o verbalmente en Zoom o similar, con anotaciones.
- Marcado de sólo comentarios
- Autoevaluación, con criterios explícitos
- Uso formativo de pruebas sumativas (muy importante).
- Revisiones, con observaciones y marcado de comentarios
- Supervisiones de los alumnos, con reuniones presenciales, videorreuniones o sesiones de videollamada.
- Intervenciones en los foros con comentarios personales, otorgamiento de relevancia en relación con la formatividad y con relación a los objetivos de aprendizaje, a los logros esperados y a las habilidades desarrolladas, sobre todo conceptuales, en este caso.
De estos ocho, cinco se proponen y están estudiadas en Developing the theory of formative assessment por Paul Black, King’s College London, and Dylan Wiliam, Institute of Education, University of London
Objeto aparte de estudio y de desarrollo puede ser el tratamiento de cada uno de estos tipos de actividades.
Particular importancia tiene la evaluación de marcado sólo con comentarios (pruebas comentadas) y la evalución formativa a partir de la evaluación sumativa (ver Using comment only marking in a mathematics classroom in the Republic of Ireland: experience and learning of a student teacher, por O’ Mahoney and Heinz (2016).
La calificación de sólo comentario
es un método de evaluación formativa. Implica que el profesor brinde
retroalimentación constructiva y metas parciales vinculadas a los objetivos
para alentar y apoyar a los estudiantes a desarrollar los objetivos de
aprendizaje establecidos independientemente y sus habilidades de
autoevaluación.
Este tipo de evaluación se considera una estrategia clave de aprendizaje, también y sobre todo, en el aula.
Como resultado, la información proporcionada por esta evaluación puede utilizarse como retroalimentación para influir y modificar las actividades de enseñanza y aprendizaje. Según Petty (2009), se puede utilizar esta forma de evaluación para motivar y animar al alumno al mismo tiempo que mejora él y mejora su trabajo. Hay dos formas principales de evaluación, evaluación sumativa y evaluación formativa.
Sobre lo segundo, las
evaluaciones acumulativas se dan periódicamente para determinar la comprensión
de un estudiante del tema en un momento particular en relación con los
estándares de contenido. La frecuencia aumenta proporcionalmente la comprensión
y la adquisición, debido al dominio en aspecto parciales que aumenta la
capacidad para aprender lo siguiente.
El marcado de sólo
comentarios y la relevancia suficiente de intervenciones en foros y chats
tienen, aparte de lo visto, una importancia determinante y clave en la
metodología docente y de evaluación conocida como mastery learning, como
podemos ver en otros documentos.
Cuestiones muy
importantes que nos planteamos a propósito de esta modalidad de evaluación,
sobre todo en su práctica:
¿Hasta cuándo haremos
marcado de comentarios, durante qué tiempo o cuántas rondas haremos? ¿en
cuántas revisiones? ¿cómo sustituiremos la nota, la puntuación numérica
clásica, por la calificación, obviamente textual, para señalar la superación
del módulo o de la unidad de contenidos o la consecución [dominio] de la
habilidad que tratemos?
A todas estas preguntas
se da respuesta en la modalidad de “dominio del aprendizaje” (Mastery
learning). Modalidad en la que sucintamente se dice que sólo se pasara a
la parte siguiente cuando se consiga un dominio de la actual. Obviamente,
en este contexto tienen un papel esencial los Teaching Assistant.
Hay otra cuestión que también es clave: Este método, esta modalidad de evaluación, supone la confianza y la conformidad en la capacidad del docente, su auctoritas, para determinar cuándo se ha alcanzado el dominio. No en balde se llama maestría, evocando la relación entre maestro y aprendiz que se establecía en otras etapas de la historia de la educación y de la instrucción.
La evaluación sumativa es la que sólo
proporciona los criterios de promoción del alumno al final del módulo, la
asignatura o el curso.
Por tanto, hay básicamente dos formas de
evaluación, evaluación sumativa y evaluación formativa.
Las evaluaciones acumulativas se ofrecen
periódicamente para determinar el grado la comprensión del tema de un
estudiante en un momento particular en relación con los estándares de
contenido. Otra cuestión es si coincide con la evaluación del aprendizaje.
Aprendizaje no siempre supone sólo comprensión, para muchos de nosotros supones
dominio[4].
De acuerdo con Garrison y Ehringaus (2007), la evaluación sumativa ocurre
demasiado poco y de forma distanciada en el camino de aprendizaje del
estudiante para que pueda producir ajustes instructivos durante el proceso de
aprendizaje.
La evaluación formativa ocurre cuando los resultados de la evaluación se consideran y se utilizan para modificar la enseñanza para satisfacer las necesidades de los estudiantes casi instantáneamente. También se conoce como evaluación para el aprendizaje (Black y William, 1998). La evaluación formativa es útil tanto para estudiantes como para profesores. Proporciona retroalimentación a los docentes sobre la efectividad de sus estrategias y enfoques de enseñanza, que luego pueden ajustar para mejorar el aprendizaje de los estudiantes. En segundo lugar, la evaluación formativa puede ser útil para los estudiantes ya que la retroalimentación es enfocada y precisa para que tengan la capacidad de identificar áreas específicas que necesitan trabajar y si necesitan ajustar su forma de pensar (Phelan et al., 2011).
Por último, más allá de definiciones, conceptos y actividades, conviene señalar el sentido de los procesos y de otros aspectos de la evaluación formativa en un contexto más amplio.
Para proporcionar una base amplia de la evaluación formativa, tres procesos son centrales: establecer dónde se encuentran los estudiantes en su aprendizaje, establecer hacia dónde se dirigen y establecer lo que se debe hacer para lograrlo y cómo ayudarlos a llegar allí (Thompson y William, 2007 a partir de Ramaprasad (1983)). Con referencia a estos tres procesos estableceremos los principales aspectos a considerar en la evaluación formativa en todos los casos:
|
|
A dónde va el alumno
|
Dónde está el alumno ahora
mismo
|
Cómo llegar allí
|
|
El profesor
|
1 Aclarar el aprendizaje:
las intenciones y los criterios
para el éxito.
|
2 Construir una
arquitectura efectiva de la clase: Fomentar discusiones en el aula y
proponer tareas de aprendizaje que provoquen la evidencia del estudiante
propia de la comprensión.
|
3 Proporcionar
comentarios y estímulos que mueve a los alumnos hacia
adelante, que hagan que progresen.
|
|
El igual
|
Comprender y compartir
intenciones de aprendizaje y criterios para el éxito
|
4 Activar a los
estudiantes como recursos educativos entre sí.
|
|
|
El alumno
|
Entender el aprendizaje, las intenciones y los criterios
para el éxito
|
5 Activar a los
estudiantes como dueños de su propio aprendizaje
|
|
Figura 1:
Aspectos de la evaluación formativa
Conclusiones.
-
Un sistema educativo, que implemente estas ideas, es absolutamente inmune al uso de ChatGPT como sustituto total o parcialmente en la demostración del aprendizaje. Otra cuestión es su uso de forma crítica como recurso educativo, con un carácter similar al que tiene actualmente cualquier buscador o enciclopedia digital.
Cómo citar este trabajo:
Zapata-Ros, M. (2023). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? Preprint DOI 10.13140/RG.2.2.18669.46565
Referencias.-
ARG (2002) Assessment
for Learning: 10 principles. Available on the Assessment Reform Group web-site
: www.assessment-reform-group.org.uk
Black, E. (1995).
Behaviorism as a learning theory. Retrieved from
http://129.7.160.115/inst5931/Behaviorism.html
Black, P., & Wiliam, D. (2003). ‘In praise of educational research’:
Formative assessment. British educational research journal, 29(5),
623-637.
Black, P., & Wiliam, D. (1998a). Assessment
and classroom learning. Assessment in Education, 5,
7-74.
Black, P., & Wiliam,D. (1998b). Inside the
black box: Raising standards through classroom assessment. Phi Delta
Kappan, 80, 139-149.
Black, P., & Wiliam, D. (2009). Developing the theory of formative
assessment. Educational Assessment, Evaluation and Accountability
(formerly: Journal of Personnel Evaluation in Education), 21(1),
5-31. https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5
Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group
instruction as effective as one-to-one tutoring. Educational researcher, 13(6),
4-16. https://www.jstor.org/stable/pdf/1175554.pdf
Bloom, B.
(May 68). Learning for Mastery. Instruction and
Curriculum. https://files.eric.ed.gov/fulltext/ED053419.pdf
Bloom, B. S. (1976). Human characteristics and school learning.
McGraw-Hill.
Bloom, B.
(1984). The 2 Sigma Problem: The Search for Methods of Group Instruction
as effective as One-to-One Tutoring, Educational Researcher, 13:6
(4-16). https://inst.eecs.berkeley.edu//~cs375/sp15/resources/Bloom_The2SigmaProblem.pdf
CIT (Center for Intructional Technologie) (2013) Building a Coursera
Course Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1
Cowie, B., & Bell, B. (1999). A model of formative assessment in
science education. Assessment in Education: Principles, Policy &
Practice, 6(1), 101-116.
Crooks, T. (2001, September). The validity of formative assessments.
In British Educational Research Association Annual Conference,
University of Leeds (pp. 13-15). http://www.leeds.ac.uk/educol/documents/00001862.htm (en documentos http://www.leeds.ac.uk/bei/Education-line/browse/all_items/119155.html )
Crosslin,
M (2014 May). Designing a Dual Layer cMOOC/xMOOC.
http://www.edugeekjournal.com/2014/05/04/designing-a-dual-layer-cmoocxmooc/
Driscoll, M. (1994). Gagne’s theory of instruction. Psychology
of Learning for Instruction. Boston, MA, Allyn and Bacon, 329-358.
https://psycnet.apa.org/record/1993-99148-000 http://ocw.metu.edu.tr/pluginfile.php/9013/mod_resource/content/1/driscoll-ch10%20(1).pdf
Driscoll, M. (2000). Psychology of learning for instruction. Needham
Heights, MA: Allyn & Bacon.
Fink,
L.D. (2003), A Self-Directed Guide to Designing Courses for Significant
Learning.http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf
Fink, L.D.
(2003), A Self-Directed Guide to Designing Courses for
Significant Learning. http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf
Gagné, R.
M. (1965). The conditions of learning and theory of instruction (
1st ed.). New York, NY: Holt, Rinehart & Winston.
Gagné, R.
M., & Briggs, L. J. (1974). The principles of instructional design (
1st ed.). New York, NY: Holt.
Gagné, R.
M. (1985). The conditions of learning and theory of instruction (
4th ed.). New York, NY: Holt, Rinehart & Winston.
Gagne, R. M.,& Medsker, K. L. (1996). The conditions of learning:
Training applications. Fort Worth, TX: Harcourt Brace College Publishers.
Garrison, C., & Ehringhaus, M. (2007). Formative and summative
assessments in the classroom.
Merrill, M. D. (2002). First principles of instruction. Educational
technology research and development, 50(3), 43-59. http://csapoer.pbworks.com/f/First+Principles+of+Instruction+(Merrill,+2002).pdf
Merrill, M. D. (2012). First principles of instruction. John
Wiley & Sons.
Merrill, M. D. (1991). Constructivism and instructional design. Educational
technology, 31(5), 45-53.
Merrill, M. D. (2002). First principles of
instruction. Educational Technology Research and Development, 50(3), 43-59. Instructional-Design Theories and Models, Volume III:
Building a Common Knowledge Base.
Merrill, M. D. (2009). First Principles of
Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories
and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.
Messick, S. (1989). Validity. In R. L. Linn (Ed.),
Educational measurement (3rd ed., pp. 13–103). New York, NY: Macmillan.
Ministry of Education, New Zealand.
(1994). Assessment: policy to practice. Wellington, New
Zealand: Learning Media.
O'Mahoney, K. &
Heinz, M. (2016). Using comment only marking in a mathematics classroom in the
Republic of Ireland: experience and learning of a student teacher. Journal
of Teacher Action Research, 2(2), 58-69. http://www.practicalteacherresearch.com/uploads/5/6/2/4/56249715/mahoney1-12.pdf, https://aran.library.nuigalway.ie/bitstream/handle/10379/6045/JTARSubmissionfinal20Dec2015.pdf y https://www.researchgate.net/profile/Manuela_Heinz/publication/309985621_Using_Comment_Only_Marking_in_a_Mathematics_Classroom_in_the_Republic_of_Ireland_Experience_and_Learning_of_a_Student_Teacher/links/58272da608ae254c508311f3.pdf
Petty, G., (2009). Evidence
Based Teaching – a practical approach (2nd edition). Cheltenham: Nelson
Thornes. http://155.0.32.9:8080/jspui/bitstream/123456789/91/1/%5BGeoff_Petty%5D_Evidence-based_Teaching_A_Practical%28BookFi.org%29.pdf
Phelan, J., Choi, K., Vendlinski, T., Baker, E. y Herman, J.
(2011). Mejora diferencial en la comprensión de los estudiantes de
los principios matemáticos después de una intervención de evaluación
formativa. The Journal of Educational
Research , 104 (5),
330-339.
https://www.tandfonline.com/doi/full/10.1080/00220671.2010.484030?casa_token=AXwD-EDEdK4AAAAA%3AVepQ_WIb2P5CsPMgo004X4Gw_8v-mPGw1P2kgsfYqqglhfvTDbmqbnVGeGsP4X-4uRmbqJuUPZZWS4E
Ramaprasad, A. (1983). "On the definition of
feedback." Behavioral Science 28(1): 4-13.
Reigeluth,
C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of
Instructional Theory. Mahwah,
NJ, Lawrence Erlbaum Associates Publishers.
Reigeluth,
C. (2012). Teoría instruccional y
tecnología para el nuevo paradigma de la educación. RED, Revista de Educación a Distancia. Número 32. 30 de septiembre
de 2012. Consultado el (dd/mm/aaa) en http://www.um.es/ead/red/32
Shepard, L. A. (2005,
October). Formative assessment: Caveat emptor. In ETS Invitational
Conference The Future of Assessment: Shaping Teaching and Learning, New York.
https://web.archive.org/web/20111007220347/http://www.cpre.org/ccii/images/stories/ccii_pdfs/shepard%20formative%20assessment%20caveat%20emptor.pdf
Siemens,
G. (2014, May). Multiple pathways: Blending xMOOCs & cMOOCs. http://www.elearnspace.org/blog/2014/05/06/multiple-pathways-blending-xmoocscmoocs/
Tennyson, R. D., Schott, F., Dijkstra, S., & Seel, N. M. (Eds.).
(1997). Instructional Design: International Perspectives. Theory,
research, and models. Vol. 1 (Vol. 1). Routledge.
Thompson, M., & Wiliam, D. (2007, April). Tight but loose: A
conceptual framework for scaling up school reforms. In annual meeting
of the American Educational Research Association. Chicago, IL. https://cpb-ap-se2.wpmucdn.com/global2.vic.edu.au/dist/d/30223/files/2017/01/Tight-but-Loose-AERA-07-2di57v1.pdf
Weller, M. (2013) Good post by Martin Weller [@mweller] on Coursera's
new plans - The Ed Techie: You can stop
worrying about MOOCs now http://ow.ly/1WTQCf, http://nogoodreason.typepad.co.uk/no_good_reason/2013/05/you-can-stop-worrying-about-moocs-now.html
Wiliam, D. (2000). Integrating summative and formative functions of
assessment. https://discovery.ucl.ac.uk/id/eprint/1507176/1/Wiliam2000IntergratingAEA-E_2000_keynoteaddress.pdf
Wiliam, D. (2007). Keeping learning on track: Formative assessment and
the regulation of learning. nature, 1, 20. https://www.researchgate.net/profile/Dylan_Wiliam/publication/252646685_Keeping_learning_on_track_Formative_assessment_and_the_regulation_of_learning/links/53f495b00cf2fceacc6e8f5b.pdf
Zapata-Ros, M. (2012). Calidad en entornos
ubicuos de aprendizaje. Revista de Educación a Distancia (RED),
(31). https://revistas.um.es/red/article/view/232871
Zapata-Ros, M. (2012) Teorías y
modelos sobre el aprendizaje en entornos conectados y ubicuos. Bases para un
nuevo modelo teórico a partir de una visión critica del “conectivismo”. http://eprints.rclis.org/17463/
Zapata-Ros, M. (2013) Charles Reigeluth: la personalización del aprendizaje y el nuevo
paradigma de la educación para la sociedad postindustrial del conocimiento., http://eprints.rclis.org/19406/
Zapata-Ros,
M. (2013). Enseñanza Universitaria en línea, MOOC y aprendizaje
divergente. Academia.edu (preprint) https://www.academia.edu/6190225/Ense%C3%B1anza_Universitaria_en_l%C3%ADnea_MOOC_aprendizaje_divergente_y_creatividad_Online_Higher_Education_MOOC_divergent_learning_and_creativity
Zapata-Ros, M. (2013). La evaluación en el
nuevo paradigma de la educación en la Sociedad Postindustrial del Conocimiento.
http://eprints.rclis.org/20157/
Zapata-Ros, M. (2013b). El “problema de 2
sigma” y el aprendizaje ayudado por la tecnología. E-Lis Repository. http://eprints.rclis.org/18866/8/MOOCs.pdf
Zapata-Ros, M. (2013b2). Las teorías del aprendizaje y el diseño
instruccional. El esquema incompleto. http://redesabiertas.blogspot.com.es/2013/04/las-teorias-del-aprendizaje-y-el-diseno.html
Zapata-Ros, M.
(2015). El diseño instruccional de los MOOC y el de los nuevos cursos abiertos
personalizados. Revista de Educación a Distancia, (45).
https://revistas.um.es/red/article/download/238661/181351
Zapata-Ros, M. (2018). La
universidad inteligente. RED. Revista de Educación a Distancia,
57(10). Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/57/zapata2.pdf
Zapata-Ros, M.
(2018). El modelo educativo de Singapur
y el «mastery learning» de Bloom. Blog académico RED. El aprendizaje en la
sociedad del conocimiento. https://red.hypotheses.org/1261
Zapata-Ros,
M. (2020). ¿Qué tienen de común Jeff Bezos y Benjamin Bloom? / What do Jeff
Bezos and Benjamin Bloom have in common? 10.13140/RG.2.2.14749.26085
[2] El diseño instruccional de
los cursos abiertos on-line https://openeducation.blackboard.com/mooc-catalog/courseDetails/view?course_id=_1684_1
[3] http://cursosabiertos.blogspot.com.es/
[4] Para
figurar en esta lista ha sido necesario que esas habilidades hayan redundado en
un cambio relevante en enseñanzas de grado, de postgrado o en estudios propios
en línea.
[5] Sintesis
de Gagné’s Conditions of Learning para habilidades
intelectuales y estrategias cognitivas.
[1] El
añadido entre corchetes es mío.
Developing
the theory of formative assessment.
Paul Black, King’s College London, and
Dylan Wiliam, Institute
of Education, University of London
To appear in Educational
Assessment, Evaluation and Accountability (formerly the Journal of Personnel Evaluation in Education), 1(1) (2009).
https://kclpure.kcl.ac.uk/portal/files/9119063/Black2009_Developing_the_theory_of_formative_assessment.pdf y https://link.springer.com/article/10.1007/s11092-008-9068-5
[3] Crooks, T. (2001, September), Wiliam, 2000,
Black et al., 2003; Wiliam, 2007. Black, P., &
Wiliam, D. (2009).
[4] En
otro punto de este trabajo y en otros lugares hacemos una recesión y una
interpretación de las condiciones del aprendizaje según Gagné y de los
principales principios del aprendizaje de Merrill y decimos que para que haya
aprendizaje han de concurrir al menos cuatro condiciones o hechos: Que
efectivamente haya comprensión, que haya atribución de sentido, que haya
autonomía en su aplicación y que haya transferencia, que se pueda utilizar lo
aprendido en situaciones distintas a las que se aprende y cambiantes.
Comentarios
Publicar un comentario