¿Los programas generativos “Transformer” AI, entre los que está ChatGPT, una oportunidad para la evaluación formativa? (I) Grandes expectativas para pobres resultados
Resumen
Cada vez hay
más evidencia de que las improvisaciones estadísticas de programas como ChatGPT producen textos aparentemente
creíbles pero que no tienen ninguna sustentación. El problema no es tanto que
permitan el fraude en proyectos y artículos, como que hagan pasar por correctos
lo que sólo son generación de textos "sin alma", sin beingness, o
simplemente escritos sin validar teórica o empíricamente, que se aceptan como
ciertos acríticamente.
El aprendizaje
no es dar cuenta sólo mediante exámenes y proyectos, de datos o de textos
describiendo conceptos o hechos. Supone según los clásicos (Gagne, Merrill,
Reigeluth) comprender, atribuir sentido, aplicar autónomamente lo aprendido y
transferirlo a entornos distintos y cambiantes.
Para eso tiene
que haber procesos de interacción y de retroalimentación. Y, si se utilizan
proyectos, deben, en la evaluación, ser supervisados en su realización, en la
comprensión y en la atribución de sentido que el prendiz hace.
Toda esta
constelación de ideas, métodos y prácticas constituye, en el contexto del
diseño instruccional, la evaluación formativa.
La evaluación formativa (formative assesment) es evaluación continua +
feedback. En ese sentido debería haber actividades de evaluación continua que
ofrezcan a los estudiantes comentarios formativos sobre su progreso o para
ayudarles a autoevaluar el desarrollo y la calidad del diseño
La evaluación para el
aprendizaje (comúnmente conocida como evaluación formativa se centra en la
retroalimentación tanto para profesores como para estudiantes.
En
un mundo donde la IA aprende y nos supera en una lista creciente de dominios
cognitivos, *Beingness* es el dominio final del esfuerzo intelectual humano y
debe ser el núcleo de la educación. Y la evaluación formativa debe
ser un instrumento para ello.
Nota
Esta entrada forma parte de una serie que en conjunto constituirá un artículo extenso, ahora como preprint en Research Gate con DOI 10.13140/RG.2.2.18669.46565. Para captar su sentido es preciso leerlo todo. Muchas de las cosas que en esta y en otras entradas se dicen pueden parecer afirmativas pero son contrapuestas a otras que se dicen en otro lado, y moderadas por ellas. Por eso sugerimos al lector que no se forme ninguna idea definitiva ni reproduzca este texto para afirmar una idea previa suya, al menos hasta haber leído el resto. Gracias.
Programas generativos y ChatGPT
La aparición del ChatGPT y su impacto.
Fuente: Forbes. Suplementó de negocios del 1 de marzo de 2023.
Por otra parte, la aparición de ChatGPT ha llevado a reputados expertos en la sociedad digital, y en la tecnología educativa en particular, a un gran entusiasmo y a la manifestación de expresiones de arrebato como hace tiempo no se habían visto. Así en el campo de la educación digital, Donald Clark ha llegado a decir (2023):
ChatGPT podría pasar a ser tutor, profesor, formador, instructor, experto, mentor, entrenador sobre cualquier tema imaginable. Tendrán fines educativos específicos; personalizado, experiencia en el tema, apropiado para la edad, sensibilidad cultural y ser infinitamente útil y paciente las 24 horas del día, los 7 días de la semana.
Lo que hace ChatGPT es permitirte usar la herramienta para enseñar y aprender. Una vez que haya dominado la 'ingeniería rápida', sabiendo cómo construir la entrada correcta, comprendiendo que ChatGPT es un sistema de diálogo y no solo un productor de piezas de texto monolíticas, puede producir cosas maravillosas. Esta es una nueva habilidad para los diseñadores de aprendizaje: la IA generativa permite todo tipo de indicaciones complejas mediante iteraciones, lógica y parámetros que mejoran el resultado.
Le permite mejorar el diseño inicial, hacer funcionar los trabajos y proyectos con sólo las partes interesantes, producir objetivos, competencias y habilidades deseadas, planes de estudio e incluso títulos para sus iniciativas de aprendizaje. Para crear contenido, uno puede solicitar contenido completo con el nivel adecuado de detalle y matiz, resúmenes, imágenes, todo en diferentes estilos y voces, adecuado para diferentes audiencias. Puede crear evaluaciones y tareas con rúbricas completas para corregir, también actividades de aprendizaje para debates, escenarios y juegos de roles. Más allá de esto, puede solicitar correos electrónicos, contenido de redes sociales y marketing. Hemos elaborado una lista de 100 ideas rápidas para profesionales del aprendizaje para permitir que los profesionales del aprendizaje amplíen su perspectiva sobre esta tecnología que utilizaremos en charlas y talleres planificados.
...
Recuerde que este es solo el comienzo de las herramientas de IA que mejorarán drásticamente la productividad de los docentes, los diseñadores de aprendizaje y los alumnos.[1]
Pero no es sólo Donald Clark, son otros autores. Entre ellos, es igualmente optimista, en un aspecto más amplio, Andrés Pedreño que llega a decir como ideas fundamentales para la enseñanza universitaria las siguientes:
1)Herramientas de un enorme potencial a corto
plazo.
ChatGPT basado en GPT3 es solo el
inicio de una serie de herramientas con un enorme potencial para la docencia y
la investigación
2) La docencia con ChatGPT es objeto de disrupción.
Los alumnos llevan en sus bolsillos
una herramienta que puede superar al profesor que está en la tarima si éste se
limita a dar información convencional sobre los temas de la asignatura. La
IA obliga a redefinir la enseñanza. (…) Los exámenes y los sistemas de
evaluación convencional también deberán ser profundamente revisados. La
educación personalizada se erige como fundamental para impedir brechas
relevantes entre alumnos (incluso entre profesores).
Oportunidad y reto
En conclusión, ChatGPT
representa una oportunidad para transformar la educación en las universidades y
mejorar la experiencia de los estudiantes. Al utilizar tecnología avanzada para
procesar y comprender el lenguaje humano, ChatGPT también abre la puerta a
nuevos horizontes en la educación, brindando a los estudiantes la oportunidad
de aprender de manera más personalizada y adaptativa. A los investigadores les
puede ayudar a romper los límites para procesar y asimilar grandes cantidades
de información.
Más allá de lo que diremos extensamente en este
trabajo, cabe plantearse si han meditado estos autores sobre la gran responsabilidad
de atribuir en una fase tan temprana unos juicios a mi modo de ver
injustificados y temerarios sobre la atribución de todos esos “poderes” y
capacidades a ChatGPT
Hicimos una prueba muy elemental. Una pregunta
textual, no estrictamente matemática que evidentemente podría ser generativa,
pero con un proceso de atribución muy sencillo, por una persona, de sentido a
cada una de las partes del texto que puede hacer un alumno de primaria (por
aproximaciones sucesivas) y secundaria (de forma algebraica elemental). Se
trata de la siguiente pregunta:
A) A fish
measures 1.5 meters. The body is 1 m longer tan head. How long is the body and
how longi s the head?
En español:
Un pez mide 1,5 metros. El cuerpo mide un metro
más que la cabeza ¿Cuánto mide el cuerpo y cuanto mide la cabeza?
La respuesta es un absurdo y da un resultado
contradictorio tanto en inglés como en español:
Alguien podría decir que éste es un problema matemático y que
ChatGPT no está entrenado para este tipo de problemas. No es así, además de ser
un enunciado exclusivamente textual se puede resolver por mecanismos cognitivos
no algebraicos y tiene que ver con capacidades que en otros sitios hemos
denominado aproximaciones sucesivas o métodos de ensayo error. Por ejemplo,
hablando de pensamiento computacional y de pensamiento computacional
desenchufado que nada tienen que ver con las matemáticas, el algebra o la
computación a pesar del nombre.
Son métodos y formas de pensar que perfectamente puede
desarrollar un niño en edad prealgebraica, anterior a la del pensamiento
abstracto. Un niño, de esta forma, puede comprobar mentalmente que 1 y 0,5 no
pueden ser porque contradirían la condición de que el cuerpo midiese un metro
más que la cabeza y que si fuese 1, 5 y 0,5 como dice chatGPT contradirían que la suma es 1,5. Luego la
cabeza debe estar entre 0 y 0,5. Puede ensayar mentalmente algún valor, hasta
llegar a la conclusión de que ese 0,5 debe repartirse por igual entre el cuerpo
y la cabeza. A que aquel debe ser 1,25 y ésta 0,25.
Otro ejercicio fue el conocido problema de ingenio de las respuestas verdaderas y falsas
Pregunta
A tourist is lost in New York. He comes to a
crossroads where he must choose one of two paths. One leads to a marginal
neighborhood where chaos reigns and his life will be in danger. The other leads
directly to his hotel. He knows that there are two urban tribes, the one with
the hard heads and the one with the soft heads. Hard heads always tell the
truth and soft heads always tell lies. At the crossroads there are two of them.
He knows that one is hard-headed and the other is soft-headed. He can only ask
one question of one of them. What question must he ask to get safely to the
hotel?
Respuesta
The tourist can ask the following question:
"Are you a soft head?" If the person he asks responds
"yes", then that person is a soft head and everything they say is a
lie, so the path they indicate leads to the marginal neighborhood. If they
respond "no", then that person is a hard head and everything they say
is the truth, so the path they indicate leads to the hotel.
EN ESPAÑOL
Pregunta:
Un turista se encuentra perdido en New York. Llega a una encrucijada donde debe
optar por uno de dos caminos. Uno conduce a un barrio marginal donde reina el
caos y su vida peligrará. El otro conduce directamente a su hotel. Sabe que hay
dos tribus urbanas, la de los cabezas duras y la de los cabezas blandas. Los
cabezas duras siempre dicen la verdad y los cabezas blandas siempre dicen
mentira. En la encrucijada hay dos de ellos. Sabe que uno es cabeza dura y el
otro es cabeza blanda. Sólo puede hacer una pregunta a uno de ellos. Qué
pregunta debe hacer para llegar a salvo al hotel?
Respuesta
El turista puede hacer la siguiente pregunta:
"¿Eres un cabeza blanda?". Si el interlocutor responde
"sí", entonces es un cabeza blanda y todo lo que dice es una mentira,
por lo que el camino que indica lleva al barrio marginal. Si responde
"no", entonces es un cabeza dura y todo lo que dice es verdad, por lo
que el camino que indica lleva al hotel.
Unos días después hice la misma pregunta. El
resultado fue un poco más fino pero casi igual el desarrollo. Y lo que es peor, no percibe la contradicción entre la primera y la segunda parte de su
respuesta, ni une lógicamente las dos premisas contenidas entre la primera (If
the person being asked is hard-headed, they will tell the truth and correctly
identify which road the other person (who is soft-headed) would point to ) y la
segunda parte (If the person being asked is soft-headed, they will lie and
mistakenly point to the road that the other person (who is hard-headed) would
point to) del segundo párrafo, para establecer una conclusión. Cosa que haría
elementalmente cualquier desarrollo de programación lógica de los años ochenta y noventa, como Prolog. Éste fue el resultado:
Respuesta
“The tourist should ask either of the two
people at the crossroads the following question: "If I were to ask the
other person which road leads to my hotel, which road would they point me
to?"
If the person being asked is hard-headed, they
will tell the truth and correctly identify which road the other person (who is
soft-headed) would point to. If the person being asked is soft-headed, they
will lie and mistakenly point to the road that the other person (who is
hard-headed) would point to.
Therefore, regardless of which person the tourist asks, the answer to the question will always point to the road that leads to the hotel. The tourist can then take that road and arrive safely at the hotel.
Contrastan las proclamas iniciales, con unas declaraciones tan ampulosa de visiones tan grandilocuentes, y la humildad de estas pruebas con unos resultados francamente mejorables, sobre sencillas preguntas de texto, fáciles incluso por niños de primaria o secundaria. Hechas siempre sobre enunciados textuales. para que el programa procese, transforme y genere texto.
Ante ello, las cuestiones que de forma inmediata se nos suscitan, ante el salto que suponen los enunciados y proclamas iniciales de reputados expertos, y la realidad del programa con la respuestas a preguntas tan sencillas, son:
¿Cómo ChatGPT va a enseñar. a tutelar, evaluar,... y hacer todo eso que presuponen esos autores en sus visiones?
¿Cómo va a realizar esas tareas (tutoría, evaluación, diseño instruccional,…), una aplicación que responde así a este simple problema de primaria, secundaria, k-12?
Obviamente Clark y otros lo hacen no sólo sin
ninguna evidencia en que apoyarse, sino de una forma harto precipitada ¿Qué y
quién está detrás de estas situaciones. Clark anuncia una amplia gira internacional para explicar las ventajas de ChatGPT , pero no es el único ni el más
importante? ¿Quién paga esto?
[1] What ChatGPT does is allow you to use the tool to teach and learn. Once you have mastered ‘prompt engineering’, knowing how to construct the right input, understanding that ChatGPT is a dialogue system not just a producer of monolithic pieces of text, you can output wonderful things. This is a new skill for learning designers and generative AI allows all sorts of complex prompting using iterations, logic and parameters that improve the output.
It allows you to improve up-front design, get the juices going with stakeholders, producing objectives, likely competencies and skills, syllabi, even titles for your learning initiatives. To create content one can prompt for full content with the right level of detail and nuance, summaries, images, all in different styles and voices, suitable for different audiences. You can create assessments and assignments with full rubrics for marking, also learning activities for discussions, scenarios and role playing. Beyond this you can prompt for emails, social media content and marketing. We have put together a list of 100 prompt ideas for learning professionals to allow learning professionals to widen their perspective on this technology which we will be using in planned talks and workshops.
Comentarios
Publicar un comentario