Inteligencia Artificial y Educación ¿dónde estamos? (IIIa): Tipos y enunciados de capacidades de ChatGPT. Calificación de su utilidad.

 

Crédito de la foto: Focal Foto en Flickr.

                                                        

                                                        Cuarta de una serie de entradas que comenzó con ésta.

Lo tercero que veremos, será lo que constituye una de las cuestiones clave de este artículo: Veremos que, si bien no son tantos, sí hay motivos para pensar que la presencia de la Inteligencia Artificial Generativa (GenAI) va a propiciar importantes cambios en las prácticas, algunos o muchos de los cuales posiblemente ya se estés produciendo, aunque el estudio sobre experiencia en UK ya citado aún no ha dado tiempo para procesarlos y para sistematizarlos, y mucho menos en otras latitudes.

Eso es, por el momento, lo único que parece que, de forma esporádica y mediante casos y prácticas personales aisladas, se ha justificado mínimamente. Al menos en el caso que hemos encontrado reflejado por Korinek (2023) en su artículo Language models and cognitive automation for economic research [MZ1] .

Tampoco es descartable que se estén produciendo lo que serán anticipos de cambios de calado, en aspectos básicos, ante los cuales es preciso dar respuestas. Pero eso lo trataremos después.

No sería un trabajo muy importante si no fuera porque no hay muchos otros. Es el único empírico que he podido localizar.

Básicamente, según el propio autor dice, en él "informa de su calificación subjetiva sobre qué tan útiles encontró las capacidades LLM descritas al 1 de febrero de 2023". Se refiere a las prácticas que él mismo hizo y con las que elaboró un estudio personal de 25 casos de uso de ChatGPT en 25 prácticas que él hizo y su opinión sistematiza en categorías sobre ellas.

Ello, no obstante, en la línea triunfalista y optimista que señalamos, permitió decir en un medio, un blog de una prestigiosa revista y en su perfil en Twitter que, a partir de lo recogido en el trabajo “la investigación y la producción científica nunca volverán a ser lo mismo”, se entiende que con el concurso del ChatGPT y los LLM.

El resumen lo refleja en una tabla de tres columnas. Una con las categorías que establece en su taxonomía para las tareas en las que utiliza ChatGPT--- hay que tener en cuenta que es un profesor e investigador de economía que utiliza las matemáticas en sus clases e investigaciones, en particular el análisis diferencial y las derivadas, así como la analítica de datos---, otra columna para las propias tareas y la tercera para una asignación de utilidad, utilizando una valoración numérica entera entre 1 y 3. De menos a maor utilidad, fiabilidad o consistencia en el uso para la tarea.

Puesto que aunque yo no he escrito un articulo de este tipo ni he tomado notas de mis propias experiencias, sí las he hecho en una cantidad incluso mayor (de ello ha quedado algo reflejado) si bien no tan operativa como son las de codificación, y en lo que sigue:

A) he realizado una adaptación de su tabla, ajustando y traduciendo los conceptos y términos de la taxonomía y de las tareas y

B) he añadido una cuarta columna con mis valoraciones. Asignando mis propios valores de utilidad.

Encuentro pues muy útil las calificaciones sobre todo por su descripción que es la que sigue:

La calificación varía del 1 al 3, donde 1 describe capacidades que actualmente se consideran estrictamente experimentales, que hacen precisa de forma imprescindible la observación y el discernimiento humano, en los cuales si lo hace o lo obtenemos de ChatGPT pueden arrojar resultados inconsistentes, que requieren una supervisión humana significativa e imprescindible; 2 se atribuye a capacidades que, hechas por ChatGPT. probablemente sean útiles y que ahorren tiempo, pero que son en alguna medida inconsistentes o no seguras, por lo que aún requieren una supervisión humana cuidadosa; y 3 refleja capacidades que ya son, con ChatGPT muy útiles y funcionan de la manera esperada la mayor parte del tiempo. Incorporar estas últimas capacidades a su flujo de tareas definitivamente tiene claro que le ahorrará tiempo y hará más productivo el uso de la herramienta.

 

Categoría	Tarea	Utilidad Korinek	Utilidad mía
Ideación	Lluvia de ideas	3	2
	Evaluación de ideas	2	1
	Proporcionar contraargumentos	3	1
Escribir	Sintetizar texto	3	3
	Editar texto	3	3
	Evaluar texto	3	2
	Generar títulos y titulares atractivos	3	2
	Generar tweets para promocionar un artículo	3	3
Escribir la parte de investigación del artículo como cuestión principal	Resumen	3	3
	Revisión de la literatura	1	1
	Formatear citas y referencias	3	3
	Traducción del artículo	3	3
	Explicar conceptos previos	2	1
Crear y escribir programas informáticos (programación)	Escribir el programa	2	-
	Explicar el programa	2	-
	Traducir el programa a otro lenguaje	3	-
	Depuración del programa	2	-
Análisis de los datos	Extraer datos del texto	3	3
	Reformatear datos	3	3
	Clasificar y asignar valores a expresiones textuales	2	1
	Extraer opiniones y conclusiones propias del texto. O categorizar, en un sistema de valores dado expresiones, de un texto.	2	1
	Simular análisis humano subjetivo. Esto se basa en que la observación de los datos de entrenamiento de los LLM crea una gran cantidad de información sobre aspectos del proceder humano en la evaluación de datos (Opinión de Korinek (February 10, 2023), Argyle et al. (2022) y de Horton (2022)	2	1
Matemáticas	Configuración de modelos	2	2
	Derivación de ecuaciones (por los ejemplos que pone se refiere tanto a derivación de funciones, como derivación de igualdades (ecuaciones), como generación de ecuaciones diferenciales).	1	1
	Explicar modelos	1	1

Tabla 1: Tipos y enunciados de capacidades de ChatGPT. Calificación de su utilidad

Las columnas tercera y cuarta corresponden a la calificación subjetiva de las capacidades de LLM hecha por Korinek el 1 de febrero de 2023, y por la quien suscribe a fecha 5 de diciembre de 2023:

1 = los resultados son empíricos y humanos por naturaleza; Los resultados de ChatGPT son inconsistentes y requieren una supervisión humana significativa.

2 = Chat GPT presenta cierta utilidad, pero requiere supervisión. Probablemente su uso le ahorrará tiempo

3 = claramente útil; incorporarlos en el flujo de su trabajo le ahorrará tiempo.

-  = carezco de juicio y/o de práctica (mía)

 

Referencias

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J., Rytting, C., and Wingate, D.(2022). Out of one, many: Using language models to simulate human samples.arXiv:2209.06899

Horton, J. J. (2022). Large language models as simulated economic agents: What canwe learn from homo silicus? working paper

Korinek, A. (2023). Language models and cognitive automation for economic research (No. w30957). National Bureau of Economic Research.