¿Los programas generativos “Transformer” AI y ChatGPT, una oportunidad para la evaluación formativa? (III) Conclusiones generales sobre ChapGPTG y otros Large language models

 

Fuente: Imagen obtenida mediante la frase “The generative “Transformer” AI systems,, digital art” de Miguel × DALL·E. Human & AI

Esta entrada es continuación de otras dos sobre el mismo tema

I. Grandes expectativas para pobres resultados. 

II. ¿Qué son los programas generativos “Transformer” AI y ChatGPT?

Coincidiendo con Sharples (2022) pensamos que las características enunciadas en el apartado anterior harán que ChatGPT tenga poco futuro en la Educación. No podemos poner en las manos de un agente deseablemente educativo, sea chatbot u otro, la posibilidad de que suministre a los alumnos un contenido hipotéticamente inapropiado o del que no podemos garantizar que no lo sea. En todo caso lo podríamos poner en manos de profesionales consolidados con un juicio, capacidad profesional y experiencia que le permita discernir y evaluar los contenidos ofrecidos por ChatGTP más allá de lo que ofrece como resultado de una consulta.

Consciente de ello, OpenAI ha proporcionado un complemento para GPT-3 que filtra el lenguaje inapropiado. Sin embargo, es poco probable por el costo que supone en relación con la rentabilidad que la empresa produzca herramientas para verificar la precisión de los resultados en relación en todo caso con la exactitud de las fuentes de donde se toman los datos o las afirmaciones evaluando su rigor como lo podría hacer un humano. De esta manera, como hemos dicho, el enfoque y la aplicación estaría en la inteligencia artificial general apoyando trabajos profesionales, no en la educación. 

Quizás otras empresas, en un futuro, podrían suministrar herramientas para verificar la precisión y la fiabilidad de las referencias generadas o para agregar referencias específicas para un artículo. Pero en todo caso estas herramientas no superarían la limitación fundamental de los modelos de los lenguajes Transformer, como ChatGPT: que no tienen un modelo interno evaluable y accesible para modificar en función de cómo funciona el mundo, proporcionando una base de conocimientos para que el sistema reflexione sobre la precisión y la sapiencia de su trabajo generado. 

Gunning et al (2019) están realizando investigaciones para desarrollar una IA neuronal explicable y Garcez & Lamb (2020) están investigando sistemas híbridos de IA neuronal/simbólica que podrían abordar este problema.

En todo caso coincidimos con Sharples (2023) cuando en un tuit dice:

He visto a algunos académicos desconcertados sobre por qué ChatGPT inventa referencias académicas y por qué su "base de datos" se detiene en 2021. Ese es un malentendido fundamental de cómo funciona. Es un modelo de lenguaje, no una base de conocimiento. Produce "continuaciones" no "hechos". Necesitamos una nueva alfabetización en IA.

Como ideas generales pensamos que además de lo dicho esta línea de desarrollo, para ser realmente eficiente y para su puesta en práctica de forma generalizada, más allá de las intenciones enunciadas por las post y nota de prensa de sus departamentos de comunicación y marketing, debe profundizar en

A) Utilizar como herramientas más finas las que se derivan del nuevo pensamiento bayesiano que expusimos (Zapata-Ros, M. & Palacios, Y. B., 2021), para seleccionar en función de una analítica de datos, para la cual tienen ya potentes bases, las respuestas en los informes a las preguntas que se les hacen.

B) Tener presente elementos más finos de lo que son procesos cognitivos de aprender y sobre qué es aprender.

Respecto de lo primero, el análisis y razonamiento probabilístico es un subcampo del aprendizaje automático aplicado al procesamiento del lenguaje natural (PNL). Y, en su contexto, un campo de Probabilidad, la estadística bayesiana, puede ofrecer técnicas únicas para el PNL.

Como en el resto de la tradición bayesiana, pero ahora apoyada por el análisis de grandes conjuntos de datos, la asignación de probabilidad a un suceso se basa en la probabilidad de su inverso (probabilidad a priori), a través del resultado en experimentos conocidos (probabilidad inversa, probabilidad compuesta y teorema de Bayes). En contraposición a la otra gran escuela clásica, la asignación a través de la frecuencia (probabilidad determinista o frecuentista) (Drury, agosto 2019):

Cohen (2019) afirma que el objetivo de la estimación puntual bayesiana es: "resumir la parte posterior de los parámetros en un conjunto fijo de parámetros", y vincula este objetivo a un enfoque frecuentista conocido como estimación de máxima verosimilitud. 

En otro trabajo Barrow (2019 Apr), glosando el libro de Cohen (2019) dice:

El procesamiento del lenguaje natural (PNL) experimentó una profunda transformación a mediados de la década de 1980 cuando cambió para hacer un uso intensivo de corpora y de técnicas basadas en datos orientadas al análisis del lenguaje. Desde entonces, el uso de técnicas estadísticas en PNL ha evolucionado de varias formas. Un ejemplo de evolución tuvo lugar a finales de la década de 1990 o principios de la de 2000, cuando se introdujeron las herramientas bayesianas, en toda regla, en el PNL. Este enfoque bayesiano del PNL ha llegado a suplir resolviendo varias deficiencias en el enfoque frecuentista enriqueciéndolo, especialmente en el entorno no supervisado, donde el aprendizaje estadístico se realiza sin ejemplos de predicción de objetivos.

 

En esquema, este proceso de asignación bayesiana de la probabilidad apoyada con analítica de grandes datos sería:

Fig. 1 Imagen obtenida de Zapata-Ros, M. & Palacios, Y. B. (2021)

 Hemos visto este uso de la probabilidad bayesiana en la pandemia, en modelos de epidemiología, para determinar modelos de evolución de datos sobre contagio y fallecimientos en el COVID y en el procesamiento del lenguaje natural. Pero igualmente podríamos verlo en multitud de casos en los más variados ampos científicos y de análisis de procesos. De esta forma, con la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos en campos tan diversos como son los corpus lingüísticos, los mapas astronómicos, añadir funcionalidades a la práctica de la resonancia magnética, o a los hábitos de compra con tarjeta, online o smartphones. Esto por señalar sólo algunos casos, como son los que se asocian con el análisis de grandes datos y la teoría bayesiana. Pero hay muchos más (Bundy, 2007 y Wing, 2008, a través de Zapata-Ros, 2020 agosto).

Este esquema está presente en multitud de casos. A lo dicho en anteriores ocasiones hay que añadir ahora la idea de pensamiento computacional generalizado (pervasive computational thinking) como avance y desarrollo de lo tratado en el pensamiento computacional simple, el que Wing (2006) plantea en su primera aproximación.

Abundan evidencias sobre la influencia del pensamiento computacional apoyado por el análisis bayesiano en otros campos: Está transformando las estadísticas, donde con el aprendizaje automático, la automatización de los métodos bayesianos y el uso de modelos gráficos probabilísticos es posible identificar patrones y anomalías en voluminosos conjuntos de datos. Esto sería deseable que se incorporase también en futuros Large language models y otros modelos de transformadores de lenguaje.

Respecto de lo segundo, y a propósito del ejemplo del pez y de su cabeza, convendría tener presente y como base de estudios y desarrollos un tratamiento más riguroso y detallado  de los avances de la psicología cognitiva, y no quedarse en teorías obsoletas como son las del aprendizaje por refuerzo, y de las teorías instruccionales sobre lo que son procesos cognitivos de aprender y sobre qué es aprender y cómo se utilizan en el diseño educativo. Lo hemos visto antes y también lo veremos más adelante, cuando hablemos de condiciones del aprendizaje, comprender, atribuir sentido, incorporación, autonomía y transferencia. Y de cómo ello debe ser garantizado por una autentica evaluación, de manera formativa y con dominio en el aprendizaje.

Referencias

Cómo citar:

Zapata-Ros, M. (2023). Los programas generativos “Transformer” AI, entre los que está ChatGPT, ¿una oportunidad para la evaluación formativa? Preprint http://dx.doi.org/10.13140/RG.2.2.18669.46565

 

 

Referencias

Barrow, B. (2019 Apr) Bayesian Analysis in Natural Language Processing: Cohen. https://linguistlist.org/issues/30/30-1843/

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P. … Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877–1901 Clark, D. (2023) Twitter. https://twitter.com/DonaldClark/status/1618422817590243333

Bundy, A. 2007 Computational thinking is pervasive. J. Scient. Pract. Comput.1, 67–69. 

Clark, D. (2023). OpenAI releases massive wave of innovation. https://donaldclarkplanb.blogspot.com/2023/02/

Clark, D. (2023b). https://twitter.com/DonaldClark/status/1618422817590243333

Cohen, S. (2019). Bayesian analysis in natural language processing. Synthesis Lectures on Human Language Technologies, 12(1), 1-343.

Drury, B.(2019 Aug). Bayesian Analysis in Natural Language Processing, in Review: Computational Linguistics; Text/Corpus Linguistics: Cohen (2019). https://linguistlist.org/issues/30/30-4380/

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711 Graves, 2012

Garcez, ADA y Lamb, LC (2020). IA neurosimbólica: la tercera ola. preimpresión de arXiv arXiv:2012.05876

Graves, A. (2012). Sequence transduction with recurrent neural networks. arXiv preprint arXiv:1211.3711. https://arxiv.org/abs/1211.3711

Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S. y Yang, GZ (2019). XAI—Inteligencia artificial explicable. Ciencia Robótica , 4 (37), eaay7120

Pedreño. A. (2023) ChatGPT y las universidades.  https://www.universidadsi.es/chatgpt-y-las-universidades/

Saul, D. (2023). ‘AI Is The New Electricity’: Bank Of America Picks 20 Stocks To Cash In On ChatGPT Hype. Forbes BUSINESS. https://www.forbes.com/sites/dereksaul/2023/03/01/ai-is-the-new-electricity-bank-of-america-picks-20-stocks-to-cash-in-on-chatgpt-hype/

Science, Technology, and Public Policy (2022) Parthasarathy discusses implications of Large Language Models. https://stpp.fordschool.umich.edu/news/2022/parthasarathy-discusses-implications-large-language-models

Sharples, M. Automated Essay Writing: An AIED Opinion. Int J Artif Intell Educ 32, 1119–1126 (2022). https://doi.org/10.1007/s40593-022-00300-7 Utiizado como un documento base él y sus referencias. https://link.springer.com/article/10.1007/s40593-022-00300-7

Sharples (2023) Twitter https://twitter.com/sharplm/status/1615607290320519169

 Wing, J.M. (2006) Computational thinking. it represents a universally applicable attitude and skill set everyone, not just computer scientists, would be eager to learn and use. Commun. ACM 49(3). https://doi.org/10.1109/vlhcc.2011.6070404

Wing, J.M. (July 2008) Computational thinking and thinking about computing. The Royal Society Publishing. https://doi.org/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/10.1098/rsta.2008.0118 https://royalsocietypublishing.org/doi/pdf/10.1098/rsta.2008.0118

 Zapata-Ros, M. & Palacios, Y. B. (2021). El pensamiento bayesiano, un pensamiento computacional omnipresente. Revista de Educación a Distancia (RED), 21(68)

[1] Seen some academics puzzled as to why ChatGPT invents academic references and why its "database" stops at 2021. That's a fundamental misunderstanding of how it works. It's a language model, not a knowledge base. Produces "continuations" not "facts". We need a new AI literacy.

 

[2] What ChatGPT does is allow you to use the tool to teach and learn. Once you have mastered ‘prompt engineering’, knowing how to construct the right input, understanding that ChatGPT is a dialogue system not just a producer of monolithic pieces of text, you can output wonderful things. This is a new skill for learning designers and generative AI allows all sorts of complex prompting using iterations, logic and parameters that improve the output. 

It allows you to improve up-front design, get the juices going with stakeholders, producing objectives, likely competencies and skills, syllabi, even titles for your learning initiatives. To create content one can prompt for full content with the right level of detail and nuance, summaries, images, all in different styles and voices, suitable for different audiences. You can create assessments and assignments with full rubrics for marking, also learning activities for discussions, scenarios and role playing. Beyond this you can prompt for emails, social media content and marketing. We have put together a list of 100 prompt ideas for learning professionals  to allow learning professionals to widen their perspective on this technology which we will be using in planned talks and workshops.

Remember that this is only the start of AI tools that will dramatically improve productivity for teachers, learning designers and learners.