Cómo comprobar si una respuesta de IA es fiable

Cómo comprobar si una respuesta de ChatGPT es fiable no es “releer con buena fe”. Es un trabajo sucio y corto: sacar los datos, abrir el sitio donde deberían estar, y tachar lo que no esté. El chat ya ha escrito. Tú decides qué sobrevive al pegado.

Este es el método para validar una respuesta de IA. El porqué del BOE falso está en por qué un chatbot se inventa datos. Aquí no se vuelve a esa teoría. Se contrasta, también cuando no hay un PDF tuyo y el chat ha salido a “buscar”.

Cuándo tienes que comprobar (y cuándo el listón baja)

Comprobar respuesta ChatGPT no exige el mismo rato en todas las tareas. El listón lo pone el coste del error, no la marca del modelo.

Compruebas dato a dato, siempre, si vas a usar:

• Cifras, porcentajes, importes, plazos.
• Nombres de personas, cargos, organismos, empresas.
• Fechas de vigencia, de entrega, de publicación.
• Artículos de ley, reales decretos, convenios, “según el BOE”.
• URLs, DOIs, “un estudio de…”, “según el INE…”.
• Cualquier frase que vaya a un examen, un email de trabajo, un informe o un mensaje a un cliente.

El listón baja (sigue habiendo lectura, no hay fe) cuando la tarea es:

• Acortar tu email y los hechos ya estaban en el original, que tienes al lado.
• Pedir un esquema de secciones de un texto que tú has leído.
• Cambiar el tono sin tocar datos.

Aunque el listón baje, una cifra colada se trata como cifra: se abre o se tacha. No hay categoría “es solo estilo” para un “15 días” que no estaba.

Cuándo fiarte de Gemini (o de ChatGPT) no es el plan de pago. Te fías del fragmento que has abierto en otro sitio. El resto es borrador. Los chips de enlace cambian dónde haces clic. El clic lo tienes que hacer. Un modelo puede acertar cuatro y fabricar la quinta en el mismo mensaje.

Paso 1. Extraer las afirmaciones

No empieces por discutir el ensayo. Empieza por una lista.

1. Copia la respuesta a un documento tuyo o imprímela. El chat se mueve, se regenera, se pierde.
2. Recorre el texto y saca cada afirmación comprobable. Una línea por afirmación. No copies los “es importante destacar”.
3. Clasifica en cinco cubos, aunque sea con una letra al margen: C cifra, N nombre, F fecha, L ley o norma, U URL o fuente.
4. Si una frase mezcla dos datos (“el artículo 7, en vigor el 3 de marzo”), son dos líneas. Se contrastan aparte. Puede ser verdad el artículo y falsa la fecha.
5. Descarta, de momento, las opiniones y el acolchado. No las valides: ignóralas. Si más tarde las necesitas, ya ves que no son hechos.

Ejemplo trabajado. El chat te ha devuelto esto (inventado para el ejercicio):

Según el Real Decreto 1847/2023, de 12 de diciembre, el plazo es de diez días hábiles. Lo confirma el Ministerio en https://www.boe.es/buscar/doc.php?id=BOE-A-2024-99999. En 2024, el 73 % de las pymes ya lo aplicaba, según García López (2021).

Tu lista queda:

1. L — existe el RD 1847/2023, de 12 de diciembre, con ese objeto.
2. C — el plazo es de diez días hábiles en esa norma.
3. U — esa URL del BOE carga ese documento.
4. C — 73 % de las pymes en 2024.
5. N/U — García López (2021) y el estudio que sostiene el 73 %.

Cinco ítems. No un párrafo. Verificar datos de una IA es verificar ítems. Si dejas el bloque junto, el cerebro dice “suena a informe” y pasas.

Puedes pedir al chat, después, “extrae en una tabla: dato, tipo. No añadas datos nuevos”. Sirve para no saltarte una cifra. No sirve como contraste. Si la respuesta viene de un PDF que subiste, el “dónde” es el PDF. Lo que no esté ahí es sospechoso aunque lo presente como resumen.

Paso 2. Abrir el original o la web oficial

Contrastar fuentes de un chatbot no es abrir el primer resultado de un buscador genérico y quedarte con el blog que parafrasea al chat. Es ir al sitio que emite el dato.

Orden de sitios, del más útil al más inútil:

1. El texto que tú pegaste o subiste. PDF, email, apuntes. Si el chat resume eso, el original gana siempre. Busca el nombre, la fecha, el importe con el buscador del lector. Si no está, NO ESTÁ. Da igual lo elocuente que sea el resumen.
2. La web oficial o el registro. BOE, sede electrónica del organismo, INE, página de la universidad que firma el paper, Registro Mercantil si toca, web del ayuntamiento para un horario. URL que escribes tú o que conoces, no solo la que te ha dado el chat.
3. El documento primario que el chat dice citar. El PDF del BOE, el artículo con DOI, la nota de prensa en la web del ministerio. Ábrelo. Lee el párrafo, no el título de la pestaña.
4. Un medio o un blog. Solo si los tres de arriba no aplican, y aun así como pista, no como cierre. El medio puede haber copiado una alucinación anterior.

Cómo abrir, en la práctica:

• Norma: en boe.es, número y año, no el título largo (es lo más fácil de fabricar). Comprueba objeto y fecha.
• Estadística: INE u organismo nombrado. Mira el año del cuadro. Un 73 % de 2018 no es de 2024.
• Cargo: web del ministerio o de la empresa. Wikipedia orienta; no cierra si vas a enviar el cargo a un cliente.
• URL del chat: clic. 404, otra cosa, o un párrafo que no dice eso: fuera.

Si un ítem no se abre en dos o tres minutos, no lo uses hoy. O se comprueba o se tacha. Preguntar a Gemini si ChatGPT tiene razón es contrastar un predictor con otro. El sitio emisor no es un chat.

Paso 3. Marcar NO ESTÁ y decidir el pegado

Este es el paso que la gente se salta. Han abierto una pestaña, han visto que “algo hay”, y dan por buena la frase. No. Marcas.

En tu lista, cada línea acaba en uno de tres estados:

• SÍ. El original o la web oficial dice eso, no una cosa parecida. El RD existe con ese número y ese objeto. El plazo está en ese artículo. Copias el dato de la fuente, no del chat, si hay cualquier duda de redacción.
• NO ESTÁ. No aparece. La URL no carga. El paper no existe. El PDF no contiene esa fecha. Esa línea no se pega. Si el chat la necesita para que el párrafo cierre, reescribes el párrafo sin ella o pides al chat que rehaga sin ese dato, y vuelves a extraer.
• OTRA COSA. Existe un RD 1847/2023 y habla de agricultura, no de tu tema. Existe García López (2021) y el artículo no menciona pymes. Eso no es un SÍ parcial. Es un NO para tu afirmación. El identificador real no lava el uso falso.

Escribe NO ESTÁ al margen. El gesto evita el “bueno, casi”. El fact check ChatGPT es binario en cada ítem. El “casi” es cómo se envían los errores.

Después de marcar: pegas solo el SÍ; si hay varios NO ESTÁ en un párrafo de fuentes, cortas el párrafo y pones las que tú hayas abierto; si el resumen de tu PDF tiene un NO ESTÁ, “El punto 4 no está. Quítalo. No sustituyas. Rehaz solo la lista.” Un ciclo. La “cita correcta” de la disculpa vuelve al paso 1.

Regla sucia: el dato sin marca SÍ no entra en lo que envías. Un hueco (“plazo: comprobar en el BOE”) es mejor que un número elegante. Extraer, abrir, marcar, pegar solo el SÍ. El resto de la página son bordes.

Cuando ChatGPT o Gemini muestran enlaces

Los productos cambian el dibujo cada pocos meses. El gesto no: si hay un enlace, se abre. No se mira el favicon. No se mira que “ponga BOE”. Se abre.

Qué hacer, en orden:

1. Clic en el enlace que el chat asocia a esa frase, no en un enlace genérico del pie.
2. Espera a que cargue. Si pide consentimiento de cookies, vale; si redirige a un buscador, no es una fuente, es una búsqueda. La búsqueda no ha contrastado nada todavía.
3. Lee el fragmento de la página que debería sostener la afirmación. Título más subtítulo no bastan. Un titular de nota de prensa no es el artículo 7.
4. Mira la fecha de la página. Una guía de 2019 no valida un “en 2026 el plazo es…”.
5. Si el chat parafrasea, comprueba que no ha invertido el sentido (un “no es obligatorio” convertido en “es obligatorio”). Eso no es alucinación de identificador; es un error de resumen. Para ti es el mismo tratamiento: NO ESTÁ (el sentido no está).

Cuándo fiarte de Gemini con la respuesta con chips: cuando cada chip que usas ha pasado este clic y el párrafo de destino coincide. Un chip de cuatro que no has abierto es un dato no contrastado, aunque los otros tres sí. El modelo no te dice cuál de los cuatro es el débil.

Si el producto dice “busqué en la web” y no te da enlace, trata la afirmación como si no hubiera búsqueda. Pides el enlace o abres tú el sitio oficial. La etiqueta no es un certificado. Si el enlace es un PDF largo, usa el buscador del lector. No hojes dos páginas. Si el párrafo es relleno, bórralo: extrae solo lo que ibas a usar.

Cómo comprobar citas inventadas de una IA

Comprobar citas inventadas IA es un subtipo del método, no otro oficio. El identificador es el ítem. Se busca el identificador, no el “ambiente académico” de la frase.

Tipos y qué copiar en el buscador (fuera del chat):

• BOE / DOUE / boletín autonómico: tipo de disposición + número + año. Luego la fecha. Luego el título. Si el número y el año no salen, para. No intentes salvar el título.
• Paper: DOI primero, si viene. Si el DOI no resuelve, el título entre comillas + el apellido. Si no hay rastro en el repositorio de la revista o en un índice serio, NO ESTÁ. Un apellido frecuente más un año no es una cita.
• Libro: ISBN si aparece. Si no, título exacto + editorial. Los modelos fabrican títulos plausibles (“Manual de procedimiento administrativo abreviado”). Plausible no es el catálogo de la BNE.
• Noticia: URL. Si no hay URL, medio + titular + fecha. Abre la hemeroteca del medio, no un agregado. Si el medio no tiene esa pieza, NO ESTÁ.
• Web de organismo: pega la URL. Si el chat no te da URL, entra por la raíz que tú conoces (gob.es, ine.es) y busca dentro. No uses un dominio que el chat haya tecleado si no lo reconoces.

Qué no hagas: pedir “más referencias para confirmar” (el patrón se alimenta solo); aceptar “comunicación personal” o “datos internos del modelo”; mezclar una ley real con un artículo inventado de esa ley. Se parte. Se marca cada pieza.

Ejemplo. El chat cita “García López (2021), Revista española de economía aplicada, vol. 14, pp. 112-130”. El volumen no está. Hay un García López que en 2019 publicó otra cosa. NO ESTÁ esa cita. No uses el 73 % que colgaba de ella. Si era el único sostén del párrafo, el párrafo cae. La opinión del chat no se cita como estudio.

La línea de límite de cómo escribir un prompt que sirva reduce citas (no las elimina): no inventes fuentes; si no están, NO ESTÁ. Luego compruebas igual.

Errores al validar una respuesta de IA

Validar el tono en vez del dato. “Se nota que lo ha pensado.” No es un paso. Táchalo de tu cabeza.

Contrastar solo el primer enlace. El segundo era el 404. El tercero era el paper inventado.

Usar el buscador dentro del chat como si fuera Google y quedarte. El chat te resume los resultados. El resumen vuelve a ser una respuesta de IA. Sales a la página.

Marcar SÍ porque “el organismo existe”. Existe el Ministerio. No por eso existe ese PDF en esa ruta con ese artículo 7.3.

Hacer el método a medias y enviar “para ganar tiempo”. Has extraído, no has abierto. Eso no es comprobar. Es una lista de deberes. El envío no espera a los deberes: o esperas tú o tacha.

Corregir al modelo y fiarte de la corrección. Vuelta al paso 1. Siempre. Si el PDF era una nómina o un contrato de cliente, el problema ya no es el 73 %: es el pegado. Eso se trata al subir un PDF a un chatbot. Un fact-check no lava un envío sensible.

Cierre: el método en una lista

Para comprobar si una respuesta de ChatGPT es fiable (o de Gemini, o del Copilot que tengas):

1. Copia la respuesta fuera del chat.
2. Extrae afirmaciones: cifras, nombres, fechas, leyes, URLs. Una por línea.
3. Abre el original que tú diste o la web que emite el dato. No otro chatbot.
4. Marca SÍ, NO ESTÁ u OTRA COSA. Lo parecido es NO para tu frase.
5. Si hay enlaces en la interfaz, ábrelos. Lee el párrafo, mira la fecha.
6. Pega solo el SÍ. Pide rehacer sin los NO ESTÁ. Extrae otra vez lo nuevo.

Cinco datos abiertos bastan para un email. Un TFG pide el mismo gesto, más líneas. No hay atajo de plan de pago ni de “con búsqueda”. Hay pestañas y un NO ESTÁ al margen. Cuando el dato caiga, tacha. El envío espera a tu marca SÍ.