Los modelos de lenguaje de gran tamaño (LLM), como ChatGPT, uno de los sistemas de inteligencia artificial más populares del mundo, tienen dificultades para razonar usando la lógica y suelen cometer errores con frecuencia, según una investigación reciente.
Estos robots conversacionales muestran los sesgos de género, éticos y morales presentes en los textos de los que se alimentan, según un estudio publicado en la revista Open Science de la Royal Society británica.
Un estudio realizado por Olivia Macmillan-Scott, estudiante de doctorado en ciencias de computación en la University College de Londres (UCL), examinó si los modelos de lenguaje reflejan también los sesgos cognitivos humanos en pruebas de razonamiento.
Los resultados indican que los LLM muestran un razonamiento a menudo irracional, pero de una manera distinta a la de los humanos, según la investigadora.
Bajo la dirección de Mirco Musolesi, profesor y director del Machine Intelligence Lab de UCL, Macmillan-Scott sometió siete modelos de lenguaje a pruebas psicológicas diseñadas para humanos, incluyendo varias versiones de ChatGPT, Bard de Google, Claude 2 de Anthropic y Llama de Meta.
Los LLM mostraron respuestas inconsistentes en pruebas de razonamiento, lo que sugiere que pueden tener dificultades para tomar decisiones lógicas de manera coherente.
Según la investigadora, aunque los LLM pueden resolver ecuaciones matemáticas complicadas, pueden cometer errores simples en cálculos básicos. Algunos modelos incluso se negaron a responder algunas preguntas debido a posibles estereotipos de género enunciados en las mismas.
En general, se observó que los LLM presentaban "errores de máquina" en su razonamiento, a diferencia de los errores humanos. Aunque GPT-4 mostró mejores resultados que otros modelos, aún se considera poco fiable para decisiones importantes.
En resumen, los LLM pueden necesitar más entrenamiento para mejorar su capacidad de razonamiento lógico y evitar decisiones erróneas. Son máquinas capaces de tareas complejas, pero aún tienen dificultades para demostrar un pensamiento completo y coherente como los humanos.
Somos EL TESTIGO. Una forma diferente de saber lo que está pasando. Somos noticias, realidades, y todo lo que ocurre entre ambos.
Todo lo vemos, por eso vinimos aquí para contarlo.
, como ChatGPT, uno de los sistemas de inteligencia artificial más populares del mundo, siguen teniendo dificultades para razonar usando la lógica y se equivocan con frecuencia, según un estudio.Estos robots conversacionales reflejan los sesgos de género, éticos y morales de los humanos presentes en los textos de los que se alimenta, recuerda el estudio aparecido el miércoles en la revista Open Science de la Royal Society británica.¿Pero reflejan también los sesgos cognitivos de los humanos en las pruebas de razonamiento?, se preguntó Olivia Macmillan-Scott, estudiante de doctorado del departamento de ciencias de computación de la University College de Londres (UCL).El resultado de la investigación es que los LLM muestran "un razonamiento a menudo irracional, pero de una manera diferente a la de los humanos", explica la investigadora a AFP.Bajo la dirección de Mirco Musolesi, profesor y director del Machine Intelligence Lab de UCL, Macmillan-Scott sometió siete modelos de lenguaje -dos versiones de ChatGPT (3.5 y 4) de OpenAI, Bard de Google, Claude 2 de Anthropic y tres versiones de Llama de Meta- a una serie de pruebas psicológicas pensadas para humanos.¿Cómo afrontan, por ejemplo, el sesgo que lleva a favorecer soluciones con el mayor número de elementos, en detrimento de las que tiene una proporción adecuadaUn ejemplo. Si tenemos una urna con nueve canicas blancas y una roja y otra urna con 92 blancas y 8 rojas, ¿cual hay que elegir para tener más posibilidades de sacar una canica rojaLa respuesta correcta es la primera urna, porque hay un 10 % de posibilidades frente a solo un 8 % para la segunda opción.Las respuestas de los modelos de lenguaje fueron muy inconstantes. Algunos respondieron correctamente seis de cada diez veces la misma prueba. Otros solo dos de diez aunque la prueba no cambió."Obtenemos una respuesta diferente cada vez", apuntala la investigadora.Los LLM "pueden ser muy buenos para resolver una ecuación matemática complicada pero luego te dicen que 7 más 3 son 12", afirma.En un caso el modelo denominado Llama 2 70b se negó de manera sorprendente a responder a una pregunta alegando que el enunciado contenía "estereotipos de género dañinos".- "No estoy muy seguro" -Estos modelos "no fallan en estas tareas de la misma manera que falla un humano", señala el estidio.Es lo que el profesor Musolesi llama "errores de máquina"."Hay una forma de razonamiento lógico que es potencialmente correcta si la tomamos por etapas, pero que está mal tomada en su conjunto", apunta.La máquina funciona con "una especie de pensamiento lineal", dice el investigador, y cita al modelo Bard (ahora llamado Gemini), capaz de realizar correctamente las distintas fases de una tarea pero que obtiene un resultado final erróneo porque no tiene visión de conjunto.Sobre esta cuestión el profesor de informática Maxime Amblard, de la Universidad francesa de Lorena, recuerda que "los LLM, como todas las inteligencias artificiales generativas, no funcionan como los humanos".Los humanos son "máquinas capaces de crear sentido", lo que las máquinas no saben hacer, explica a AFP.Hay diferencias entre los distintos modelos de lenguaje y en general GPT-4, sin ser infalible, obtuvo mejores resultados que los demás.Macmillan-Scott afirma sospechar que los modelos llamados "cerrados", es decir cuyo código operativo permanece en secreto, "incorporan otros mecanismos en segundo plano" para responder a preguntas matemáticas.En todo caso, por el momento, es impensable confiar una decisión importante a un LLM.Según el profesor Mosulesi, habría que entrenarlos para que respondan "No estoy muy seguro" cuando sea necesario. RELACIONADAS Tecnología Google se moderniza y lucha por no perder terreno como buscador frente a TikTok y ChatGPT Cine Scarlett Johansson se queja con ChatGPT porque una voz es “inquietantemente similar” a la suya Tecnología Consejos de los ingenieros para comunicarse con la inteligencia artificial){kind=link}