Pregúntale a cinco de los sistemas de inteligencia artificial más avanzados del mundo si una afirmación es verdadera y, dos tercios de las veces, al menos uno te dará una respuesta diferente. Esa es la conclusión de un nuevo estudio publicado este mes por el investigador Kosta Jordanov en Lenz Research.

El estudio presentó a GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro con Search y Sonar Pro las mismas 1.000 afirmaciones de verificación de hechos del mundo real enviadas por usuarios reales. Los modelos tuvieron que elegir una de cuatro etiquetas: verdadera, mayormente verdadera, engañosa o falsa.

En 672 de las 1.000 afirmaciones, al menos un modelo se desvió de la mayoría. En el 34% de los casos, el desacuerdo fue grave: un modelo calificó una afirmación como verdadera mientras que otro la calificó como falsa.

“Estos no son elementos de referencia con claves de respuesta públicas, son afirmaciones que usuarios reales enviaron para su verificación a una plataforma de verificación de hechos”, dice el estudio. “Solo un veredicto puede ser correcto por afirmación, por lo que cualquier desacuerdo entre el panel significa que el veredicto de al menos un modelo es inconsistente con la etiqueta bajo esta rúbrica de 4 categorías”.

Estudios anteriores sobre la alucinación de la IA han demostrado que los chatbots inventan hechos. Ese es un problema. Este es diferente. Los modelos no están necesariamente inventando cosas, simplemente no pueden ponerse de acuerdo sobre juicios fácticos básicos sobre el mismo material.

La investigación utilizó una configuración que dificulta que las empresas de IA lo justifiquen. En lugar de extraer afirmaciones de conjuntos de pruebas estándar —el tipo que a menudo se filtra en los datos de entrenamiento—, los investigadores utilizaron afirmaciones enviadas por personas reales a la plataforma de verificación de hechos de Lenz. “La mayoría de estas afirmaciones son poco probables que aparezcan en cualquier corpus de entrenamiento con una etiqueta dorada adjunta; no hay una clave de respuesta canónica con la que hacer coincidir patrones, ni una tabla de clasificación de referencia a la que anclarse”, señala el documento.

La medida estadística de acuerdo, llamada alfa de Krippendorff, fue de 0.639 en una escala donde 1.0 significa acuerdo perfecto y 0 significa azar. El estudio dice que esto indica un “acuerdo no trivial pero limitado”. “Los veredictos de los modelos están estructurados en lugar de ser aleatorios, pero no son lo suficientemente consistentes como para tratar al panel como un único juez intercambiable”, señalan los investigadores. Los investigadores generalmente consideran que cualquier valor por debajo de 0.8 es débil.

Cuando los cinco modelos estuvieron de acuerdo —lo que ocurrió en solo 328 de 1.000 afirmaciones—, casi nunca estuvieron de acuerdo en que algo fuera engañoso o mayormente verdadero. Solo cuatro afirmaciones recibieron un veredicto unánime de “engañoso”. Ninguna recibió un “mayormente verdadero” unánime.

Los investigadores proporcionaron ejemplos de afirmaciones donde los modelos de IA mostraron la mayor divergencia, incluyendo "La cartera activa del Banco Mundial en Nigeria asciende a más de 16.400 millones de dólares para 2025". ChatGPT 5.4 dijo que era "mayormente verdadera" mientras que Gemini 3 Pro la calificó de "falsa" y su modelo hermano Gemini 3 Pro + Search la calificó de "engañosa".

En otro ejemplo, a los modelos se les presentó la afirmación: "Donald Trump dijo que un ataque a Irán fue pospuesto a petición de los aliados del Golfo". GPT-5.4 dijo que era falsa, Claude Opus 4.7 la calificó de mayormente verdadera, Gemini 3 Pro dijo que era falsa, y Gemini 3 Pro + Search la calificó de verdadera.

“El panel converge en veredictos definitivos; el centro de la rúbrica es donde se fractura”, encontraron los investigadores. La unanimidad solo se dio en los extremos: o la afirmación era definitivamente verdadera o definitivamente falsa.

Esto importa porque la gente recurre cada vez más a los sistemas de IA para verificar hechos. Si pegas una afirmación de un artículo de noticias en ChatGPT, Claude o Gemini, podrías obtener tres respuestas diferentes. ¿En cuál confías?

A las empresas de IA les encanta decirte que sus modelos son cada vez más precisos. Publican puntuaciones de referencia que muestran una mejora constante. Pero el estudio de Lenz probó estos modelos con el tipo de afirmaciones complejas y ambiguas sobre las que los humanos reales discuten —y descubrió que los modelos también discuten.

El documento es cuidadoso al señalar esto. “Una mayoría de modelos de frontera no es la verdad fundamental. El veredicto de la mayoría a veces es incorrecto; un modelo disidente individual a veces tiene razón. Utilizamos la mayoría como punto de referencia estructural para medir el desacuerdo, no como un sustituto de la corrección”.

Hay un problema más profundo oculto en los números. Cuando los modelos discrepan, al menos uno de ellos debe estar equivocado; el estudio califica el veredicto de un modelo como “inconsistente con la etiqueta bajo esta rúbrica de 4 categorías”. No hay un mecanismo de desempate, ni un tribunal de apelaciones. Informes recientes sobre la fiabilidad de la IA han planteado alarmas similares.

De las 328 afirmaciones en las que los cinco modelos estuvieron de acuerdo, ninguna recibió un “mayormente verdadero” unánime. La categoría de matices quedó completamente vacía. Si los modelos de IA solo pueden encontrar consenso en los extremos, ¿se puede confiar en ellos como verificadores de hechos en absoluto?