Un estudio de la Universitat Rovira i Virgili (URV) de Tarragona, junto a la Universidad Humboldt de Berlín, la Universitat Autònoma de Barcelona (UAB) y la Institució Catalana de Recerca i Estudis Avançats (Icrea), ha demostrado que la Inteligencia Artificial (IA) reconoce peor los errores gramaticales que el ser humano en una misma oración.

La investigación ha puesto a prueba estos sistemas para "comprobar si realmente tienen capacidades lingüísticas equiparables a las de las personas", y concluye que el ser humano puede reconocer errores gramaticales en una oración en la que la IA falla, ha informado la URV en un comunicado este jueves.

 

Los tres mejores grandes modelos de lenguaje disponibles

 

Investigadoras e investigadores compararon la habilidad humana con la de los tres mejores grandes modelos de lenguaje disponibles actualmente: dos basados en GPT3, además de ChatGPT, basado en GP3.5.

A partir de muchos tipos distintos de oraciones, las personas debían identificar al momento si estaban gramaticalmente bien formadas en su lengua materna o no, y tanto a los humanos que participaron en este experimento como a los modelos del estudio se les preguntó ¿Esta oración es gramaticalmente correcta?.

Los resultados demostraron que los humanos respondieron correctamente mientras que los grandes modelos de lenguaje "dieron muchas respuestas erróneas".

No puede reconocer fallos gramaticales triviales, mientras que los humanos pueden hacerlo instantáneamente y sin esfuerzo"

Se detectó que adoptaron una estrategia predeterminada que consistía en responder sí la mayoría de las veces, independientemente de si la respuesta era correcta o no.

El estudio pone de manifiesto que las personas no tienen acceso a la "evidencia negativa" --sobre lo que no es gramaticalmente correcto en el idioma que se hable--, mientras que la IA sí que tiene acceso a esta información a través de la retroalimentación humana, "pero aun así no puede reconocer fallos gramaticales triviales, mientras que los humanos pueden hacerlo instantáneamente y sin esfuerzo".