Inteligencia Artificial y Educación ¿dónde estamos? (IIb)

Tercera de una serie de entradas que comenzó con ésta.

Mientras tanto cabe destacar la desesperación que, en el plano científico, tienen los impulsadores de esta Inteligencia Artificial por encontrar aportaciones que demuestren mínimamente las ventajas de sus herramientas para este fin. 

Para ilustrar esta situación aportaré un caso.

Donald Clark es un decidido impulsador de las ideas sobre el beneficio del uso de los LLM para el aprendizaje. Hace unos días para demostrar concluyentemente que es así, y supongo que como respuesta a los que pedimos pruebas, compartió en un tuit un artículo de una supuesta rigurosa investigación:

En el que textualmente dice: "las explicaciones basadas en LLM impactaron positivamente el aprendizaje".

Pero si nos vamos a las conclusiones del artículo, ya expuestas desde el abstract, lo que establecen es que "la exposición a explicaciones de LLM aumentó la cantidad de personas que SENTÍAN QUE HABÍAN APRENDIDO y disminuyó la DIFICULTAD PERCIBIDA de los problemas del test."

Esto es lo que siempre decimos. No hay evidencias sobre IA generativa y aprendizaje. Sólo self report studies y revisiones de exégesis de revisiones de literatura, que se multiplican y aumentan citas e impacto ad nauseam.

Tres de los cuatro autores son de Microsoft Research ¿Casualidad?

Se trata de un preprint (Kumar, Rothschild, Goldstein and Hofman, November 22, 2023) de la prestigiosa plataforma SSRN de Elsevier:

 

Pues bien, a pesar de haberlo dicho en un tuit, es curioso lo que sucede con ChatGPT y la campaña de apoyo y despliegue que tiene.

En él ponía de relieve la trampa que suponía decir que se demuestra que ChatGPT influye en el aprendizaje, cuando realmente lo que sucedía, como se dice en las conclusiones, es que afecta a la percepción que tenían, de haber aprendido y de su capacidad para resolver problemas, los alumnos.

Pues bien, a pesar de todo ello, la estrategia pensamos es tal que no sólo que Clark no entra al trapo, sino que dice que el tuit le gusta.

Ya hemos descrito lo que sucede con las convocatorias, los CFP de investigaciones y con este último caso. Todo ello no viene sino a confirmar la ausencia de investigaciones que avalen de forma clara, o al menos en parte, todo lo que se dice de las ventajas del ChatGPT para el aprendizaje y la educación.

Tras todo lo indagado, al día de la fecha, en nuestra búsqueda, sólo hemos encontrado, como hecho verificado y publicado, el trabajo de by Anton Korinek Language Models and Cognitive Automation for Economic Research, publicado en febrero de este año, que veremos a continuación por su interés y por las conclusiones que podemos obtener.

Lo veremos en el próximo post.

 

Referencias.-

Korinek, A. (2023). Language models and cognitive automation for economic research (No. w30957). National Bureau of Economic Research.

Kumar, Harsh and Rothschild, David M. and Goldstein, Daniel G. and Hofman, Jake (November 22, 2023). Math Education with Large Language Models: Peril or Promise? SSRN preprintAvailable at SSRN: https://ssrn.com/abstract=4641653 or http://dx.doi.org/10.2139/ssrn.4641653