Analysis of ChatGPT Performance in Computer Engineering Exams

Resumen

La aparición de ChatGPT a finales del 2022 supuso un hito en el campo de las Inteligencias Artificiales Generativas, pero también causó un gran revuelo en el mundo académico. Por primera vez, una interfaz sencilla permitía a cualquier persona acceder a un modelo de lenguaje de gran tamaño y utilizarlo para generar texto. Estas capacidades pueden tener, sin duda, un impacto relevante en las metodologías de enseñanza-aprendizaje y también en los métodos de evaluación. Con el objetivo de obtener una medida real del posible desempeño de ChatGPT en la resolución de exámenes, se le ha puesto a prueba con los exámenes de 15 asignaturas de Ingeniería del Software de un grado de Ingeniería Informática. A la luz de los resultados, ChatGPT es capaz de lograr un desempeño relevante en estos exámenes; ya que, es capaz de superar una cantidad significativa de preguntas y problemas de diferente naturaleza en múltiples asignaturas. Como contribución fundamental, se proporciona un estudio detallado de los resultados por tipología de preguntas y problemas, que permite establecer unas recomendaciones a tener en cuenta en el diseño de los métodos de evaluación. Además, se presenta un análisis del impacto del aspecto no determinista de ChatGPT en las respuestas de las preguntas de test.