Nos hemos acostumbrado a pedirle a la Inteligencia Artificial generativa que resuma informes, redacte borradores o busque datos en cuestión de segundos. Pero hay una trampa en la que es facilísimo caer: asumir que porque un modelo responde con eficacia, todo lo que dice es cierto.
En el ámbito tecnológico esto se conoce como «alucinación»: cuando el algoritmo inventa nombres, fechas, referencias bibliográficas o citas completas. El problema deja de ser una mera anécdota técnica cuando estos contenidos falsos saltan a la esfera pública o a ámbitos tan sensibles como la justicia.
En los tribunales de varios países ya se ha sancionado a profesionales por presentar escritos redactados por IA con sentencias inexistentes. Para medir el alcance real de este fallo, investigadores del Stanford RegLab (Universidad de Stanford) analizaron las herramientas de búsqueda jurídica con IA más avanzadas del mercado. El estudio reveló que incluso las bases de datos profesionales alucinan en una horquilla de entre el 17 % y el 33 % de las consultas. Lo más peligroso no era solo la invención pura de datos (fácil de cazar), sino el «fundamento erróneo»: la IA citaba una sentencia real, pero le atribuía un fallo o una conclusión que el texto original jamás había dicho.
El Reglamento Europeo (AI Act): ¿Qué exige la ley?
Frente al avance irrefrenable de estas herramientas, la Unión Europea aprobó el Reglamento Europeo de Inteligencia Artificial (AI Act), cuyo calendario de aplicación sigue avanzando. Tras la entrada en vigor de las prohibiciones de usos de riesgo inaceptable (como el scoring social) y las exigencias de alfabetización digital, la normativa establece hitos clave de transparencia y supervisión:
- Obligaciones de transparencia: Las plataformas deben etiquetar de forma legible y clara cualquier contenido generado o manipulado sintéticamente (como los deepfakes) y avisar al usuario cuando interactúa con un bot.
- Exigencias para modelos de propósito general: Cumplimiento de derechos de autor y publicación de resúmenes detallados de los datos usados en el entrenamiento.
- Sanciones estrictas: El régimen sancionador contempla multas de hasta 35 millones de euros o el 7 % del volumen de negocio global de las empresas infractoras en los casos más graves de uso prohibido.
La falacia de la «auditoría automática»: por qué el factor humano es insustituible
A menudo se oye hablar del potencial de las máquinas para corregir sus propios errores o de una hipotética «verificación participativa» automatizada. Conviene ser tajantes: no existe una verificación participativa en sentido estricto dentro de la IA. Los modelos actuales no pueden auditarse a sí mismos ni corregir de forma autónoma sus sesgos o alucinaciones en tiempo real.
Lo que realmente existe y cobra más sentido que nunca en el periodismo ciudadano es la verificación humana (fact-checking). La IA no reemplaza la mirada crítica; son las personas y los comunicadores quienes deben contrastar cada dato generado por la máquina contra boletines oficiales, registros primarios o fuentes directas.
Para apoyar este trabajo en el ámbito hispanohablante destaca el Proyecto IVERES (Identificación, Verificación y Respuesta). Desarrollado por RTVE y la Universidad Autónoma de Barcelona en colaboración con varias universidades españolas, IVERES no busca sustituir al informador, sino crear un ecosistema asistido de IA que ayuda a periodistas y ciudadanos a detectar desinformación, rastrear manipulación en redes y analizar imágenes o voces suplantadas.
La lección es clara: la tecnología puede ser un copiloto potente para procesar información, pero la responsabilidad de la verdad y la defensa de los derechos digitales siguen estando, de forma insustituible, en manos de las personas.
