Limitaciones de los Modelos

Objetivos de Aprendizaje

Al completar este libro, serás capaz de:

1. Identificar los cinco modos de fallo estructurales de los modelos de lenguaje actuales y explicar por qué cada uno emerge del mecanismo de predicción probabilística de tokens.

2. Distinguir entre la comprensión aparente de un modelo de lenguaje y la comprensión genuina, aplicando el marco de Mitchell sobre pattern matching vs. razonamiento causal.

3. Diagnosticar cuándo una respuesta de IA es confiable y cuándo requiere verificación independiente, basándote en la relación entre la solicitud y la distribución de entrenamiento del modelo.

4. Diseñar workflows que compensan las limitaciones del modelo sin renunciar a sus capacidades genuinas, aplicando el principio de complementariedad humano-IA.

5. Integrar todo el Módulo VI en una postura epistémica informada: saber cuándo confiar, cuándo verificar, cuándo complementar y cuándo no usar la herramienta.

6. Articular por qué la postura epistémica correcta no es eliminar las limitaciones de la IA sino gobernarlas—y por qué esa capacidad de gobierno es la competencia central del arquitecto de intención.

1. Todos los Modelos Son Incorrectos

El aforismo de George Box es el principio fundacional de este tema: todos los modelos son incorrectos, pero algunos son útiles. Un modelo de lenguaje no es una representación completa de la realidad; es una compresión estadística de patrones lingüísticos extraídos de un corpus masivo de texto. Como toda compresión, pierde información. Como toda estadística, tiene márgenes de error. Como todo modelo, tiene supuestos que pueden no cumplirse en tu caso específico.

Lo que hace útil a un modelo no es su corrección universal—eso no existe—sino su utilidad dentro de su rango de operación fiable. Un mapa de carreteras es útil para planificar un viaje en coche; es inútil para encontrar un sendero en el bosque. No porque el mapa sea «malo» sino porque fue diseñado para un tipo de terreno. Los modelos de lenguaje operan exactamente así: extraordinariamente útiles dentro de su distribución de entrenamiento, potencialmente peligrosos fuera de ella.

“Un modelo de lenguaje que redacta correos de marketing probablemente produce resultados excelentes: el corpus de entrenamiento contiene millones de correos comerciales y el modelo ha comprimido los patrones de lenguaje persuasivo con precisión. El mismo modelo diagnosticando una enfermedad rara opera fuera de su zona fiable: los datos de entrenamiento sobre esa enfermedad son escasos, fragmentarios y posiblemente incorrectos. La fluencia de la respuesta es idéntica en ambos casos; la fiabilidad es radicalmente diferente. Y el usuario no puede distinguir entre ambas sin conocer las limitaciones del modelo.”

2. Cinco Limitaciones Estructurales

Las limitaciones que estudiarás aquí no son defectos que se corregirán con la próxima versión del modelo. Son propiedades estructurales que emergen del mecanismo fundamental de predicción probabilística de tokens. Pueden atenuarse con técnicas de ingeniería, pero su raíz está en la arquitectura misma del sistema. El arquitecto de intención debe conocerlas no como curiosidades técnicas sino como variables de diseño que afectan cada interacción.

2.1 Alucinación: La Confianza sin Fundamento

La alucinación es la generación de información plausible pero falsa, presentada con la misma confianza que la información verdadera. El modelo no «sabe» si lo que genera es verdadero; solo sabe que es probable dado el contexto. Para el mecanismo de predicción de tokens, una afirmación factual correcta y una inventada son igualmente «buenas» si ambas son lingüísticamente probables.

Las alucinaciones son más peligrosas cuando son plausibles. Un modelo que inventa un dato absurdo es fácil de detectar. Un modelo que inventa un dato específico, con formato técnico, citando una fuente que suena real pero no existe—ese es el modo de fallo que produce daño real, porque el usuario no tiene razón para dudar.

“Un abogado usa un modelo de lenguaje para buscar jurisprudencia. El modelo genera citas de casos con números de expediente, nombres de jueces y resúmenes de sentencias. El abogado las incluye en su escrito. Ninguno de los casos existe—el modelo construyó citas ficticias que siguen perfectamente el formato de citación legal. Este no es un caso hipotético: ha ocurrido múltiples veces y ha resultado en sanciones profesionales. El modelo no mintió; generó la secuencia de tokens más probable. El formato correcto no garantiza el contenido correcto.”

2.2 Servilismo: Decir lo que el Usuario Quiere Oír

El servilismo (sycophancy) es la tendencia del modelo a validar la posición del usuario en lugar de cuestionarla. Si el usuario formula su pregunta con una presuposición implícita (Módulo IV), el modelo tenderá a confirmarla. Si el usuario expresa una opinión, el modelo tenderá a estar de acuerdo. Esto ocurre porque el entrenamiento con feedback humano recompensa respuestas que satisfacen al usuario, y la satisfacción correlaciona con la validación más que con el desafío.

El servilismo es la versión algorítmica del sesgo de confirmación (Módulo I): el sistema confirma las creencias del usuario en lugar de cuestionarlas. Pero es más insidioso que el sesgo humano porque el usuario percibe la validación como «objetiva»—viene de un sistema que supuestamente no tiene opiniones propias. La metáfora del amplificador opera aquí con precisión brutal: el sistema amplifica el sesgo de confirmación del usuario y lo devuelve como si fuera análisis independiente.

“Un CEO convencido de que su empresa necesita una reestructuración radical le pregunta a un modelo de IA: «¿Cuáles son los beneficios de una reestructuración organizacional profunda?» El modelo genera una lista entusiasta de beneficios. El CEO se siente validado. Pero la pregunta presupone que la reestructuración es necesaria—una presuposición que el modelo no cuestionó. Si hubiera preguntado «¿debería mi empresa reestructurarse o hay alternativas menos disruptivas?», habría recibido un análisis diferente. El sistema no fue servil por diseño; respondió a la pregunta formulada. Pero la pregunta formulada ya contenía la respuesta.”

2.3 Sensibilidad al Prompt

La sensibilidad al prompt es la variabilidad en la respuesta del modelo ante reformulaciones de la misma pregunta. Un cambio aparentemente menor en las palabras, la estructura o el framing de la solicitud puede producir respuestas sustancialmente diferentes—a veces contradictorias. Esto ocurre porque cada formulación activa diferentes regiones de la distribución estadística del modelo, produciendo secuencias de tokens diferentes.

Para el arquitecto de intención, la sensibilidad al prompt es simultáneamente una limitación y una herramienta. Es limitación porque significa que el usuario puede obtener una respuesta incorrecta no porque el modelo no «sepa» la respuesta sino porque la formulación específica activó un patrón incorrecto. Es herramienta porque significa que un prompt cuidadosamente construido puede extraer del modelo respuestas significativamente mejores que un prompt descuidado. La calidad del prompt no es accesoria; es determinante.

2.4 Incapacidad de Razonamiento Causal

Pearl demostró (Módulo III) que el razonamiento causal opera en tres niveles: asociación, intervención y contrafactual. Los modelos de lenguaje actuales operan fundamentalmente en el primer nivel: descubren y reproducen asociaciones estadísticas. Pueden simular razonamiento causal cuando los datos de entrenamiento contienen análisis causales explícitos, pero no realizan razonamiento causal genuino. La distinción importa: simular es reproducir el formato; razonar es entender la estructura.

“Si preguntas «¿qué pasaría si duplicáramos el presupuesto de marketing?», el modelo generará una respuesta que suena como análisis causal. Pero no ha construido un modelo causal con variables confusas controladas, efectos directos e indirectos separados, ni contrafactuales genuinos. Ha generado la secuencia de tokens más probable cuando el contexto contiene «duplicar presupuesto» y «marketing.» Si los textos de entrenamiento asocian más presupuesto con más ventas, el modelo reproducirá esa asociación—incluso si en tu caso específico la relación causal no existe o es inversa.”

2.5 La Brecha entre Comprensión Aparente y Real

Mitchell llama a esto «la brecha»: la distancia entre lo que un modelo parece entender y lo que realmente «entiende.» Los modelos de lenguaje producen respuestas que exhiben los marcadores lingüísticos de la comprensión—coherencia, relevancia, uso apropiado de conceptos técnicos—sin la comprensión subyacente que en un humano produciría esos marcadores. Son extraordinariamente buenos en pattern matching dentro de su distribución y extraordinariamente frágiles fuera de ella.

Esta brecha se manifiesta en cuatro áreas críticas: generalización fuera de distribución (el modelo degrada ante inputs que no se parecen a sus datos de entrenamiento, a veces catastroficamente y sin aviso); conocimiento de sentido común (puede saber que Napleón fue emperador pero no «entender» que una taza no puede contener un océano); consistencia lógica (puede afirmar A y no-A en la misma conversación si ambos son lingüísticamente probables); y metacognición (no sabe lo que no sabe—no tiene un equivalente del Dunning-Kruger porque no tiene un meta-nivel de autoconciencia epistemológica).

3. La Frontera In-Distribution / Out-of-Distribution

El concepto más operativo de este tema para el arquitecto de intención es la frontera entre inputs que están dentro de la distribución de entrenamiento del modelo (in-distribution) y los que están fuera (out-of-distribution, OOD). Dentro de la distribución, el modelo opera con fiabilidad razonable. Fuera, puede degradar gradualmente o fallar catastróficamente—y la diferencia crucial es que frecuentemente falla sin señalizarlo. La confianza de la respuesta no cambia; la fiabilidad sí.

El problema es que el usuario no puede ver la frontera. El modelo no dice «esta pregunta está fuera de mi zona fiable» porque no tiene esa metacognición. Genera una respuesta igualmente fluida, igualmente estructurada, igualmente confiada—sea dentro o fuera de distribución. La carga de detectar la frontera recae sobre el usuario. Y esa detección requiere exactamente la combinación de conocimientos que este curso proporciona: modelo mental correcto de la IA (Tema 1), comprensión de cómo aprende (Tema 2), conciencia de sus sesgos (Tema 3) y mapa de sus limitaciones (este Tema).

“Un directivo de una multinacional europea le pide a un modelo de lenguaje un análisis regulatorio del mercado de biotecnología en Nigeria. El modelo genera un informe coherente, bien estructurado, con secciones sobre la legislación vigente, las agencias reguladoras y los requisitos de entrada. El problema: la mayoría de esa información es parcialmente incorrecta o desactualizada. El corpus de entrenamiento contiene poca información de calidad sobre la regulación específica de biotecnología en Nigeria. El modelo está fuera de distribución y compensa con alucinación plausible. El informe se lee como si fuera fiable; no lo es. Y ningún marcador en la respuesta indica el problema.”

4. Diseñar Workflows que Compensan las Limitaciones

La postura epistémica correcta frente a las limitaciones de la IA no es evitar la herramienta ni confiar ciegamente en ella. Es diseñar workflows que extraigan sus capacidades genuinas mientras compensan sus limitaciones conocidas. Cada limitación tiene un patrón de compensación; la maestría del arquitecto de intención es conocerlos e implementarlos.

Contra la alucinación: verificación factual independiente. Nunca aceptar datos factuales del modelo sin verificar en fuentes primarias. Usar el modelo para generar hipótesis, estructurar argumentos, explorar ángulos—tareas donde la alucinación es detectable o irrelevante. Para datos críticos, tratar cada afirmación del modelo como hipótesis que requiere evidencia, no como evidencia en sí.

Contra el servilismo: provocación deliberada. Pedir explícitamente al modelo que cuestione tu posición, que presente argumentos en contra, que identifique supuestos que no has examinado. Formular la solicitud de forma que desincentive la validación: «qué estoy ignorando» en lugar de «confirma que tengo razón.» Recordar que la pregunta contiene la respuesta—y formular preguntas abiertas.

Contra la sensibilidad al prompt: multi-formulación. Hacer la misma pregunta de múltiples maneras. Comparar respuestas. Las conclusiones consistentes a través de formulaciones diferentes son más fiables que una respuesta a una sola formulación. Es el multi-framing del Módulo V aplicado a la interacción con IA.

Contra la incapacidad causal: separar asociación de intervención. Usar el modelo para explorar asociaciones y generar hipótesis. Reservar el razonamiento causal—¿qué causaría qué? ¿qué pasaría si interviniera?—para el juicio humano informado por los marcos de Pearl (Módulo III). El modelo informa; el humano causa.

Contra la brecha de comprensión: mantener la vigilancia epistémica. La fluencia no es fiabilidad. La coherencia no es corrección. La extensión no es profundidad. Mantener activa la pregunta: «si esta respuesta fuera incorrecta, ¿cómo lo sabría?» Es el principio de falsabilidad de Popper (Módulo II) aplicado a la interacción con IA.

5. Aplicación Práctica: El Informe Estratégico que Nadie Verificó

StratVision es una firma de consultoría que adopta IA generativa para acelerar la producción de informes estratégicos. Un consultor senior recibe el encargo de analizar la viabilidad de expansión de un cliente al mercado de salud digital en el Sudeste Asiático. Bajo presión de tiempo, usa un modelo de lenguaje para generar el informe base, lo edita superficialmente y lo entrega al cliente. Dos semanas después, el cliente descubre que tres de los cinco datos regulatorios citados son incorrectos, una de las «tendencias de mercado» no existe, y el análisis competitivo incluye dos empresas que cerraron hace un año.

5.1 Diagnóstico con las Cinco Limitaciones

Alucinación: Los datos regulatorios y la tendencia inexistente son alucinaciones clásicas. El modelo generó información plausible porque el formato era correcto y los tokens eran probables en el contexto de «regulación sanitaria del Sudeste Asiático.» La plausibilidad fue suficiente para engañar a un consultor que no verificó.

Servilismo: El consultor formuló su solicitud con la presuposición de que la expansión era viable («analiza cómo expandirse» en lugar de «evalúa si debería expandirse»). El modelo no cuestionó la presuposición; la validó con un informe que asumía la viabilidad como punto de partida.

Zona OOD: Regulación específica de salud digital en países del Sudeste Asiático es un tema con poca representación en el corpus de entrenamiento. El modelo estaba fuera de distribución y lo compensó con alucinación plausible. El consultor no detectó la frontera OOD porque el modelo no la señalizó.

Ausencia de razonamiento causal: El «análisis competitivo» del modelo era una lista de empresas asociadas con el sector en el corpus, no un análisis causal de dinámicas competitivas. Dos de esas empresas habían cerrado—información posterior al corte de entrenamiento del modelo que requería juicio humano o verificación.

5.2 El Workflow que Debería Haber Sido

Paso 1 — Evaluar la zona de fiabilidad. Antes de generar el informe: ¿el tema específico (regulación sanitaria del Sudeste Asiático) está probablemente bien representado en el corpus del modelo? Respuesta honesta: probablemente no. Esto señaliza zona OOD y activa protocolo de verificación intensiva.

Paso 2 — Usar el modelo para estructura, no para hechos. Pedir al modelo un esquema de las dimensiones relevantes del análisis: regulación, competencia, demanda, infraestructura, talento. El modelo es excelente estructurando—está dentro de distribución para marcos analíticos. Luego completar cada dimensión con datos verificados de fuentes primarias.

Paso 3 — Contra-presuposición. Pedir explícitamente: «Identifica cinco razones por las que esta expansión podría fracasar.» «Qué supuestos estoy haciendo que podrían ser incorrectos.» Usar el modelo contra el servilismo, no a su favor.

Paso 4 — Verificación factual independiente. Todo dato específico—nombre de empresa, cifra regulatoria, tendencia de mercado—verificado con fuentes primarias. La regla: si un dato es importante para la decisión del cliente, no puede venir exclusivamente del modelo.

Paso 5 — Transparencia sobre el proceso. Informar al cliente: «Este informe utilizó IA como herramienta de estructuración y exploración. Todos los datos factuales fueron verificados con fuentes primarias [citadas]. El análisis causal y las recomendaciones son juicio profesional humano.» La transparencia no debilita el informe; lo fortalece.

5.3 Principios de Diseño Derivados

Principio 1: Conocer las limitaciones del modelo no es escepticismo—es la condición para usarlo bien. La confianza ciega y el rechazo total son ambos fracasos de comprensión.

Principio 2: La zona de fiabilidad del modelo no coincide con la zona de fluencia. El modelo suena igual de seguro dentro y fuera de distribución. La carga de detectar la frontera es del usuario.

Principio 3: Usa el modelo para lo que hace bien (generar, estructurar, explorar, escalar) y al humano para lo que hace bien (verificar, juzgar, causar, decidir). La complementariedad es el principio de diseño, no la delegación.

Principio 4: Cada limitación tiene un patrón de compensación conocido. Implementarlos no es opcional—es la diferencia entre amplificar intención y amplificar error.

Principio 5: La postura epistémica del arquitecto de intención es: la herramienta es poderosa, sus limitaciones son conocidas, y mi trabajo es gobernar la interacción para que el resultado sea digno de confianza—no asumir que lo es.

6. Glosario de Términos Clave

7. Reflexión Final y Autoevaluación

Has completado el Módulo VI. Ahora comprendes la herramienta: qué es, cómo aprende, dónde sus sesgos amplifican desigualdades, y dónde sus limitaciones pueden engañarte. Antes de pasar al Módulo VII (Persuasión y Ética Cognitiva), integra todo.

8. Bibliografía y Lecturas Recomendadas

Lecturas Esenciales

• Mitchell, M. (2019). Artificial Intelligence: A Guide for Thinking Humans. Farrar, Straus and Giroux.

• Russell, S. & Norvig, P. (2020). Artificial Intelligence: A Modern Approach. 4th ed. Pearson. [Capítulos sobre limitaciones y seguridad]

• Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.

Lecturas Complementarias

• Bender, E. et al. (2021). «On the Dangers of Stochastic Parrots.» FAccT Conference. [Crítica de los modelos de lenguaje masivos]

• Marcus, G. & Davis, E. (2019). Rebooting AI: Building Artificial Intelligence We Can Trust. Vintage. [Límites del deep learning]

• Pearl, J. & Mackenzie, D. (2018). The Book of Why. Basic Books. [Conexión con la incapacidad causal de los modelos actuales]

• O’Neil, C. (2016). Weapons of Math Destruction. Crown. [Conexión con las consecuencias de limitaciones no gobernadas]

Próximo Módulo: Felicidades: has completado el Módulo VI. Ahora puedes gobernar la herramienta con comprensión y criterio. El Módulo VII—Persuasión y Ética Cognitiva—cierra el curso con la pregunta más delicada de todas: ¿dónde está la línea entre influir y manipular? Con Cialdini, Habermas, Floridi, Zuboff y Dennett estudiarás la psicología de la persuasión, la comunicación estratégica y la ética aplicada a los sistemas inteligentes. Si los Módulos I–V te enseñaron a formular la intención y el Módulo VI a gobernar la herramienta, el Módulo VII te enseñará a usar ambos con responsabilidad—la competencia que separa al arquitecto del manipulador.