¿Los programas generativos “Transformer” AI, entre los que está ChatGPT, una oportunidad para la evaluación formativa? (I) Grandes expectativas para pobres resultados

 

Fuente; “ChatGPT, hopper style” Miguel × DALL·E Human & AI

Resumen

Cada vez hay más evidencia de que las improvisaciones estadísticas de programas como  ChatGPT producen textos aparentemente creíbles pero que no tienen ninguna sustentación. El problema no es tanto que permitan el fraude en proyectos y artículos, como que hagan pasar por correctos lo que sólo son generación de textos "sin alma", sin beingness, o simplemente escritos sin validar teórica o empíricamente, que se aceptan como ciertos acríticamente.

El aprendizaje no es dar cuenta sólo mediante exámenes y proyectos, de datos o de textos describiendo conceptos o hechos. Supone según los clásicos (Gagne, Merrill, Reigeluth) comprender, atribuir sentido, aplicar autónomamente lo aprendido y transferirlo a entornos distintos y cambiantes.

Para eso tiene que haber procesos de interacción y de retroalimentación. Y, si se utilizan proyectos, deben, en la evaluación, ser supervisados en su realización, en la comprensión y en la atribución de sentido que el prendiz hace.

Toda esta constelación de ideas, métodos y prácticas constituye, en el contexto del diseño instruccional, la evaluación formativa.

La evaluación formativa (formative assesment) es evaluación continua + feedback. En ese sentido debería haber actividades de evaluación continua que ofrezcan a los estudiantes comentarios formativos sobre su progreso o para ayudarles a autoevaluar el desarrollo y la calidad del diseño

La evaluación para el aprendizaje (comúnmente conocida como evaluación formativa se centra en la retroalimentación tanto para profesores como para estudiantes.

En un mundo donde la IA aprende y nos supera en una lista creciente de dominios cognitivos, *Beingness* es el dominio final del esfuerzo intelectual humano y debe ser el núcleo de la educación. Y la evaluación formativa debe ser un instrumento para ello.

Nota

Esta entrada forma parte de una serie que en conjunto constituirá un artículo extenso, ahora como preprint en Research Gate con DOI  10.13140/RG.2.2.18669.46565. Para captar su sentido es preciso leerlo todo. Muchas de las cosas que en esta y en otras entradas se dicen pueden parecer afirmativas pero son contrapuestas a otras que se dicen en otro lado, y moderadas por ellas. Por eso sugerimos al lector que no se forme ninguna idea definitiva ni reproduzca este texto para afirmar una idea previa suya, al menos hasta haber leído el resto. Gracias.

Programas generativos y ChatGPT

 La aparición del ChatGPT y su impacto. 

      En los últimos días los medios de comunicación y la banca se han hecho eco, con gran alarde de titulares, del impacto del ChatGPT, así Forbes y NBC se hacen eco del último informe del Bank of American sobre la importancia de la IA, que compara con la de la electricidad. Y lo hace a partir de un hecho: La aparición de este programa generador y transformador de textos.

Fuente: Forbes. Suplementó de negocios del 1 de marzo de 2023.

 Por otra parte, la aparición de ChatGPT ha llevado a reputados expertos en la sociedad digital, y en la tecnología educativa en particular, a un gran entusiasmo y a la manifestación de expresiones de arrebato como hace tiempo no se habían visto. Así en el campo de la educación digital, Donald Clark ha llegado a decir (2023):

 

ChatGPT podría pasar a ser tutor, profesor, formador, instructor, experto, mentor, entrenador sobre cualquier tema imaginable. Tendrán fines educativos específicos; personalizado, experiencia en el tema, apropiado para la edad, sensibilidad cultural y ser infinitamente útil y paciente las 24 horas del día, los 7 días de la semana. 

Ideas que ha ampliado en su blog:

Lo que hace ChatGPT es permitirte usar la herramienta para enseñar y aprender. Una vez que haya dominado la 'ingeniería rápida', sabiendo cómo construir la entrada correcta, comprendiendo que ChatGPT es un sistema de diálogo y no solo un productor de piezas de texto monolíticas, puede producir cosas maravillosas. Esta es una nueva habilidad para los diseñadores de aprendizaje: la IA generativa permite todo tipo de indicaciones complejas mediante iteraciones, lógica y parámetros que mejoran el resultado. 

Le permite mejorar el diseño inicial, hacer funcionar los trabajos y proyectos con sólo las partes interesantes, producir objetivos, competencias y habilidades deseadas, planes de estudio e incluso títulos para sus iniciativas de aprendizaje. Para crear contenido, uno puede solicitar contenido completo con el nivel adecuado de detalle y matiz, resúmenes, imágenes, todo en diferentes estilos y voces, adecuado para diferentes audiencias. Puede crear evaluaciones y tareas con rúbricas completas para corregir, también actividades de aprendizaje para debates, escenarios y juegos de roles. Más allá de esto, puede solicitar correos electrónicos, contenido de redes sociales y marketing. Hemos elaborado una lista de 100 ideas rápidas para profesionales del aprendizaje para permitir que los profesionales del aprendizaje amplíen su perspectiva sobre esta tecnología que utilizaremos en charlas y talleres planificados.

...

Recuerde que este es solo el comienzo de las herramientas de IA que mejorarán drásticamente la productividad de los docentes, los diseñadores de aprendizaje y los alumnos.[1]

Pero no es sólo Donald Clark, son otros autores. Entre ellos, es igualmente optimista, en un aspecto más amplio, Andrés Pedreño que llega a decir como ideas fundamentales para la enseñanza universitaria las siguientes:

1)Herramientas de un enorme potencial a corto plazo.

ChatGPT basado en GPT3 es solo el inicio de una serie de herramientas con un enorme potencial para la docencia y la investigación

2) La docencia con ChatGPT es objeto de disrupción. 

Los alumnos llevan en sus bolsillos una herramienta que puede superar al profesor que está en la tarima si éste se limita a dar información convencional sobre los temas de la asignatura. La IA obliga a redefinir la enseñanza. (…) Los exámenes y los sistemas de evaluación convencional también deberán ser profundamente revisados. La educación personalizada se erige como fundamental  para impedir brechas relevantes entre alumnos (incluso entre profesores).

 Oportunidad y reto

En conclusión, ChatGPT representa una oportunidad para transformar la educación en las universidades y mejorar la experiencia de los estudiantes. Al utilizar tecnología avanzada para procesar y comprender el lenguaje humano, ChatGPT también abre la puerta a nuevos horizontes en la educación, brindando a los estudiantes la oportunidad de aprender de manera más personalizada y adaptativa. A los investigadores les puede ayudar a romper los límites para procesar y asimilar grandes cantidades de información.

 

Más allá de lo que diremos extensamente en este trabajo, cabe plantearse si han meditado estos autores sobre la gran responsabilidad de atribuir en una fase tan temprana unos juicios a mi modo de ver injustificados y temerarios sobre la atribución de todos esos “poderes” y capacidades a ChatGPT

Hicimos una prueba muy elemental. Una pregunta textual, no estrictamente matemática que evidentemente podría ser generativa, pero con un proceso de atribución muy sencillo, por una persona, de sentido a cada una de las partes del texto que puede hacer un alumno de primaria (por aproximaciones sucesivas) y secundaria (de forma algebraica elemental). Se trata de la siguiente pregunta:

A) A fish measures 1.5 meters. The body is 1 m longer tan head. How long is the body and how longi s the head?

En español:

Un pez mide 1,5 metros. El cuerpo mide un metro más que la cabeza ¿Cuánto mide el cuerpo y cuanto mide la cabeza?

La respuesta es un absurdo y da un resultado contradictorio tanto en inglés como en español:

Unos días después y tras haber publicado tuits y haber debatido en Twitter con @OpenIA y #ChatGPT, #ChatGPT_Education, aparece una respuesta con un planteamiento algebraico, no textual, adecuado y la respuesta correcta.

Alguien podría decir que éste es un problema matemático y que ChatGPT no está entrenado para este tipo de problemas. No es así, además de ser un enunciado exclusivamente textual se puede resolver por mecanismos cognitivos no algebraicos y tiene que ver con capacidades que en otros sitios hemos denominado aproximaciones sucesivas o métodos de ensayo error. Por ejemplo, hablando de pensamiento computacional y de pensamiento computacional desenchufado que nada tienen que ver con las matemáticas, el algebra o la computación a pesar del nombre.

Son métodos y formas de pensar que perfectamente puede desarrollar un niño en edad prealgebraica, anterior a la del pensamiento abstracto. Un niño, de esta forma, puede comprobar mentalmente que 1 y 0,5 no pueden ser porque contradirían la condición de que el cuerpo midiese un metro más que la cabeza y que si fuese 1, 5 y 0,5 como dice chatGPT  contradirían que la suma es 1,5. Luego la cabeza debe estar entre 0 y 0,5. Puede ensayar mentalmente algún valor, hasta llegar a la conclusión de que ese 0,5 debe repartirse por igual entre el cuerpo y la cabeza. A que aquel debe ser 1,25 y ésta 0,25.

Otro ejercicio fue el conocido problema de ingenio de las respuestas verdaderas y falsas

Pregunta

A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?

 

Respuesta

 

The tourist can ask the following question: "Are you a soft head?" If the person he asks responds "yes", then that person is a soft head and everything they say is a lie, so the path they indicate leads to the marginal neighborhood. If they respond "no", then that person is a hard head and everything they say is the truth, so the path they indicate leads to the hotel.

 

EN ESPAÑOL

Pregunta:
Un turista se encuentra perdido en New York. Llega a una encrucijada donde debe optar por uno de dos caminos. Uno conduce a un barrio marginal donde reina el caos y su vida peligrará. El otro conduce directamente a su hotel. Sabe que hay dos tribus urbanas, la de los cabezas duras y la de los cabezas blandas. Los cabezas duras siempre dicen la verdad y los cabezas blandas siempre dicen mentira. En la encrucijada hay dos de ellos. Sabe que uno es cabeza dura y el otro es cabeza blanda. Sólo puede hacer una pregunta a uno de ellos. Qué pregunta debe hacer para llegar a salvo al hotel?

Respuesta

El turista puede hacer la siguiente pregunta: "¿Eres un cabeza blanda?". Si el interlocutor responde "sí", entonces es un cabeza blanda y todo lo que dice es una mentira, por lo que el camino que indica lleva al barrio marginal. Si responde "no", entonces es un cabeza dura y todo lo que dice es verdad, por lo que el camino que indica lleva al hotel.

Unos días después hice la misma pregunta. El resultado fue un poco más fino pero casi igual el desarrollo. Y lo que es peor, no percibe la contradicción entre la primera y la segunda parte de su respuesta, ni une lógicamente las dos premisas contenidas entre la primera (If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to ) y la segunda parte (If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to) del segundo párrafo, para establecer una conclusión. Cosa que haría elementalmente cualquier desarrollo de programación lógica de los años ochenta y noventa, como Prolog. Éste fue el resultado:

 

Pregunta:

“A tourist is lost in New York. He comes to a crossroads where he must choose one of two paths. One leads to a marginal neighborhood where chaos reigns and his life will be in danger. The other leads directly to his hotel. He knows that there are two urban tribes, the one with the hard heads and the one with the soft heads. Hard heads always tell the truth and soft heads always tell lies. At the crossroads there are two of them. He knows that one is hard-headed and the other is soft-headed. He can only ask one question of one of them. What question must he ask to get safely to the hotel?”

Respuesta

“The tourist should ask either of the two people at the crossroads the following question: "If I were to ask the other person which road leads to my hotel, which road would they point me to?"

If the person being asked is hard-headed, they will tell the truth and correctly identify which road the other person (who is soft-headed) would point to. If the person being asked is soft-headed, they will lie and mistakenly point to the road that the other person (who is hard-headed) would point to.

Therefore, regardless of which person the tourist asks, the answer to the question will always point to the road that leads to the hotel. The tourist can then take that road and arrive safely at the hotel.

Contrastan las proclamas iniciales, con unas declaraciones tan ampulosa de visiones tan grandilocuentes, y la humildad de estas pruebas con unos resultados francamente mejorables, sobre sencillas preguntas de texto, fáciles incluso por niños de primaria o secundaria. Hechas siempre sobre enunciados textuales. para que el programa procese, transforme y genere  texto.

 

Ante ello, las cuestiones que de forma inmediata se nos suscitan, ante el salto que suponen los enunciados y proclamas iniciales de reputados expertos, y la realidad del programa con la respuestas a preguntas tan sencillas, son: 

¿Cómo ChatGPT va a enseñar. a tutelar, evaluar,... y hacer todo eso que presuponen esos autores en sus visiones? 

¿Cómo va a realizar esas tareas (tutoría, evaluación, diseño instruccional,…),  una aplicación que responde así a este simple problema de primaria, secundaria, k-12? 

Obviamente Clark y otros lo hacen no sólo sin ninguna evidencia en que apoyarse, sino de una forma harto precipitada ¿Qué y quién está detrás de estas situaciones. Clark anuncia una amplia gira internacional para explicar las ventajas de ChatGPT ,  pero no es el único ni el más importante? ¿Quién paga esto?

 

[1] What ChatGPT does is allow you to use the tool to teach and learn. Once you have mastered ‘prompt engineering’, knowing how to construct the right input, understanding that ChatGPT is a dialogue system not just a producer of monolithic pieces of text, you can output wonderful things. This is a new skill for learning designers and generative AI allows all sorts of complex prompting using iterations, logic and parameters that improve the output. 

It allows you to improve up-front design, get the juices going with stakeholders, producing objectives, likely competencies and skills, syllabi, even titles for your learning initiatives. To create content one can prompt for full content with the right level of detail and nuance, summaries, images, all in different styles and voices, suitable for different audiences. You can create assessments and assignments with full rubrics for marking, also learning activities for discussions, scenarios and role playing. Beyond this you can prompt for emails, social media content and marketing. We have put together a list of 100 prompt ideas for learning professionals  to allow learning professionals to widen their perspective on this technology which we will be using in planned talks and workshops.

Remember that this is only the start of AI tools that will dramatically improve productivity for teachers, learning designers and learners.