Sesgos Algorítmicos

Objetivos de Aprendizaje

Al completar este libro, serás capaz de:

1. Identificar los tres canales principales por los que el sesgo entra en el pipeline de ML: sesgo histórico, sesgo de representación y sesgo de medición.

2. Analizar cómo los algoritmos sesgados crean ciclos autorreforzantes que amplifican las desigualdades existentes, aplicando el concepto de «armas de destrucción matemática» de O’Neil.

3. Explicar por qué las múltiples definiciones matemáticas de equidad son mutuamente incompatibles y por qué elegir entre ellas es una decisión ética, no técnica.

4. Aplicar el marco de Crawford para analizar cómo los sistemas de IA se insertan en estructuras de poder, y cómo las decisiones de clasificación, optimización y datos son decisiones políticas.

5. Diseñar auditorías de sesgo para sistemas de IA que interactúan con la formulación y ejecución de intenciones, integrando herramientas de todos los módulos anteriores.

6. Asumir la responsabilidad del arquitecto de intención: que las decisiones sobre equidad en sistemas de IA no pueden delegarse al algoritmo; deben gobernarse con juicio humano informado.

1. Anatomía del Sesgo Algorítmico

El sesgo algorítmico no nace de la malicia del programador ni de un defecto en el código. Nace de una cadena de decisiones humanas—cada una aparentemente razonable—que, combinadas, producen resultados sistemáticamente injustos. Esas decisiones incluyen qué datos recopilar, cómo etiquetarlos, qué variable optimizar, cómo definir el éxito y a quién afectan las predicciones. Cada una es un acto de encuadre (Módulo II) que incluye y excluye, enfatiza y minimiza—y cada exclusión puede convertirse en una injusticia amplificada a escala.

1.1 Sesgo Histórico

El sesgo histórico ocurre cuando los datos de entrenamiento reflejan discriminaciones pasadas. El sistema no inventa la discriminación; la hereda y la perpetuala. Si históricamente ciertos grupos tuvieron menos acceso a crédito, un modelo entrenado con datos de aprobaciones pasadas aprenderá que pertenecer a ese grupo es un «predictor de riesgo»—no porque sea verdad sino porque los datos reflejan una política pasada, no una realidad objetiva.

“Amazon desarrolló un sistema de ML para evaluar currículums de candidatos. Lo entrenó con datos históricos de contratación: 10 años de decisiones humanas. Como la mayoría de los ingenieros contratados históricamente eran hombres, el sistema aprendió que ser hombre era un predictor de éxito. Penalizó currículums que mencionaban universidades femeninas y rebajó perfiles con la palabra «women’s.» Amazon canceló el proyecto. El sistema no era sexista; los datos eran sexistas. Pero el resultado era el mismo.”

1.2 Sesgo de Representación

El sesgo de representación ocurre cuando los datos de entrenamiento sobrerrepresentan a ciertos grupos e infrarrepresentan a otros. El modelo aprende a funcionar bien para la mayoría y mal para las minorías—no por diseño sino por estadística. Si el 80% de los datos provienen de un grupo, el sistema optimizará su rendimiento para ese grupo porque es la forma de minimizar el error total. La minoría es estadísticamente invisible.

“Los sistemas de reconocimiento facial han mostrado tasas de error significativamente mayores para personas de piel oscura y mujeres que para hombres de piel clara. La investigación de Joy Buolamwini demostró que los conjuntos de datos usados para entrenar estos sistemas sobrerrepresentaban rostros masculinos de piel clara. El sistema no fue diseñado para discriminar; fue entrenado con datos que no representaban equitativamente a la población. El resultado es el mismo: una tecnología que funciona mejor para unos que para otros, desplegada como si funcionara igual para todos.”

1.3 Sesgo de Medición

El sesgo de medición ocurre cuando las variables usadas como proxy no capturan adecuadamente el concepto de interés. Es la Ley de Goodhart (Módulo III) aplicada a la equidad: cuando mides un proxy en lugar del concepto real, optimizas el proxy a expensas de lo que importa.

“Un sistema de salud utilizó el gasto sanitario histórico como proxy de la necesidad médica para priorizar pacientes. Parecía razonable: los pacientes más enfermos gastan más en salud. Pero no consideró que ciertos grupos tiene sistemaáticamente menos acceso al sistema sanitario y, por lo tanto, gastan menos no porque estén más sanos sino porque enfrentan más barreras. El proxy «gasto» no mide «necesidad»; mide «acceso.» El resultado: el sistema subestimó la necesidad médica de pacientes de grupos desfavorecidos y los desplazó en la cola de prioridad.”

2. Armas de Destrucción Matemática

Cathy O’Neil, matemática y científica de datos, acuñó el término «armas de destrucción matemática» (WMDs, por sus siglas en inglés) para describir algoritmos que cumplen tres condiciones: son opacos (las personas afectadas no pueden ver cómo funcionan), operan a escala (afectan a millones), y crean daño (producen resultados injustos o destructivos). Cuando las tres condiciones se cumplen, el algoritmo se convierte en un instrumento de daño sistémico que se autorrefuerza.

El mecanismo de autorreforzamiento es un bucle de retroalimentación positiva (Módulo III): el algoritmo produce un resultado injusto, ese resultado se convierte en dato para el siguiente ciclo de entrenamiento, y el sistema aprende a reproducir la injusticia con mayor confianza. Es el efecto cobra (Módulo III) aplicado a la equidad: la intervención diseñada para mejorar una situación la empeora a través de dinámicas de segundo orden que nadie anticipó.

“Un algoritmo de vigilancia policial predictiva identifica ciertos barrios como «de alto riesgo» basándose en datos históricos de arrestos. La policía envía más patrullas a esos barrios. Más patrullas producen más arrestos. Más arrestos confirman la predicción del algoritmo. El algoritmo refuerza su clasificación. Más patrullas. Más arrestos. El ciclo se perpetúa. ¿El barrio tiene más crimen, o tiene más vigilancia? Los datos no pueden distinguir entre ambos—pero el algoritmo trata las dos cosas como si fueran lo mismo. El sesgo histórico se convierte en profecía autocumplida.”

Para la Arquitectura de la Intención, O’Neil plantea una pregunta que conecta directamente con el Módulo II: ¿la intención detrás del algoritmo está correctamente formulada? El sistema de vigilancia predictiva tiene una intención declarada («reducir el crimen») y una formulación operativa («predecir dónde ocurrirán arrestos»). Pero arrestos no es lo mismo que crimen—es una medida de la actividad policial, no de la actividad criminal. La intención está mal formulada desde la raíz: el fin es seguridad pública; el medio elegido (predecir arrestos) es un proxy sesgado que refuerza lo que pretende resolver.

3. La IA como Instrumento Político

Kate Crawford, en Atlas of AI, amplía la perspectiva: los sesgos algorítmicos no son solo errores técnicos corregibles; son manifestaciones de estructuras de poder. La IA no es neutral: es un sistema que clasifica, ordena, incluye y excluye—y cada una de esas acciones es política. Quién construye el sistema, con qué datos, para qué propósito, y quién queda fuera de esas decisiones son preguntas de poder, no de ingeniería.

Crawford identifica tres dimensiones del poder algorítmico. El poder de clasificación: los sistemas de IA imponen categorías sobre la realidad—solvente/insolvente, sano/enfermo, relevante/irrelevante—y esas categorías determinan qué oportunidades recibe cada persona. El poder de optimización: la elección de qué métrica optimizar es una elección de valores—maximizar retención no es lo mismo que maximizar bienestar, aunque a veces se presenten como equivalentes. Y el poder de infraestructura: las decisiones algorítmicas se invisibilizan dentro de sistemas técnicos que aparentan neutralidad, haciendo más difícil su cuestionamiento.

“Un modelo de lenguaje que genera descripciones de puestos de trabajo tiende a producir lenguaje «masculino» para roles técnicos y «femenino» para roles de cuidado—no porque fue programado así sino porque su corpus de entrenamiento refleja patrones lingüísticos de una sociedad con roles de género arraigados. Cuando una empresa usa ese modelo para redactar ofertas de empleo, el sesgo del corpus se convierte en sesgo de reclutamiento. La metáfora del amplificador (Tema 1) opera aquí con precisión: el modelo amplifica patrones sociales preexistentes a escala organizacional.”

La contribución de Crawford al curso es conectar el sesgo algorítmico con la ética del Módulo VII y con la pragmática del Módulo IV: las clasificaciones que impone un algoritmo son actos de habla performativos (Austin). Cuando el sistema clasifica a alguien como «de alto riesgo,» no describe una realidad preexistente; crea una realidad: esa persona pierde acceso a crédito, empleo u oportunidades. La clasificación no observa; interviene. Y toda intervención es un acto político que debe gobernarse como tal.

4. La Imposibilidad de la Equidad Única

Aquí el tema alcanza su punto más incómodo. La investigación en equidad algorítmica (algorithmic fairness) ha producido un resultado que desafía la intuición: existen múltiples definiciones matemáticas de equidad, y algunas de las más importantes son mutuamente incompatibles. No es que no hayamos encontrado la definición correcta; es que no puede existir una única definición que satisfaga todos los criterios que consideramos justos. Elegir es renunciar.

4.1 Tres Definiciones de Equidad

Paridad demográfica: el sistema debe producir la misma tasa de resultados positivos para todos los grupos. Si aprueba al 60% de un grupo, debe aprobar al 60% de los demás. Suena justo. Pero no distingue entre candidatos calificados y no calificados dentro de cada grupo—puede aprobar a candidatos no calificados de un grupo y rechazar a candidatos calificados de otro para mantener la paridad.

Igualdad de oportunidades (equalized odds): el sistema debe tener las mismas tasas de error para todos los grupos—la misma tasa de falsos positivos y falsos negativos. Si se equivoca, debe equivocarse por igual. Suena justo. Pero puede producir tasas de aprobación muy diferentes entre grupos si los grupos tienen tasas base diferentes.

Calibración: cuando el sistema dice «70% de probabilidad,» la tasa real debe ser 70% para todos los grupos. La confianza del sistema debe ser igualmente precisa independientemente del grupo. Suena justo. Pero es compatible con que los grupos reciban tasas de aprobación muy diferentes y con tasas de error muy diferentes.

El resultado matemático demostrado por Chouldechova (2017) y Kleinberg, Mullainathan y Raghavan (2016) es contundente: cuando las tasas base difieren entre grupos—y casi siempre difieren por razones históricas, sociales y estructurales—estas definiciones no pueden satisfacerse simultáneamente. Elegir paridad demográfica viola la calibración. Elegir calibración viola la paridad. Elegir igualdad de oportunidades no garantiza ninguna de las otras dos. No hay solución técnica porque el problema no es técnico: es un conflicto de valores.

5. De los Sesgos Cognitivos a los Sesgos Algorítmicos

El hilo rojo que conecta el Módulo I con este tema es que los sesgos algorítmicos son frecuentemente sesgos cognitivos codificados, amplificados y automatizados. El sesgo de confirmación del analista que seleccionó las variables. El anclaje del gerente que definió los umbrales. La heurística de representatividad que llevó a usar un proxy inadecuado. El sesgo del statu quo que hizo que nadie cuestionara los datos históricos. Cada sesgo humano se transmite al algoritmo a través de las decisiones de diseño—y allí se congela, escala y automatiza.

Pero hay una diferencia crucial: los sesgos cognitivos son individuales, contextuales y corregibles en tiempo real. Un humano puede darse cuenta de su sesgo y cambiar de opinión. Un algoritmo aplica su sesgo con consistencia mecánica a cada caso, sin fatiga, sin duda, sin la posibilidad de que la persona afectada le explique su circunstancia particular. La escala transforma la naturaleza del sesgo: lo que en un humano es una tendencia corregible se convierte en el sistema en una política inmutable.

“Un gestor de crédito humano con sesgo inconsciente podría rechazar a un candidato cualificado de un grupo minoritario. Pero si ese candidato vuelve con más documentación, el gestor puede reconsiderar. Un algoritmo de crédito con el mismo sesgo rechaza a miles de candidatos idénticos sin posibilidad de apelación, sin conocer sus circunstancias, sin que ninguno pueda explicar por qué su caso es diferente. La consistencia que hace al algoritmo eficiente es la misma que lo hace inhumano.”

Para el arquitecto de intención, esto establece un principio de diseño fundamental: cuando un sistema algorítmico afecta a personas, el diseño debe incluir mecanismos de apelación, explicación y revisión humana. La automatización total de decisiones con impacto humano—sin supervisión, sin recurso, sin transparencia—no es eficiencia; es abdicación de la responsabilidad que la Arquitectura de la Intención existe para preservar.

6. Aplicación Práctica: El Sistema de Selección de TalentFlow

TalentFlow es una plataforma de selección de personal que usa ML para filtrar currículums. Recibe 10.000 aplicaciones mensuales y las reduce a 200 para entrevistas. El sistema fue entrenado con datos de contratación de los últimos cinco años y tiene una precisión del 82% en predecir qué candidatos superan el período de prueba. La empresa lo presenta como «selección objetiva basada en datos.» Una auditoría revela problemas sistémicos.

6.1 Diagnóstico de Sesgo

Sesgo histórico: Los datos de entrenamiento reflejan las decisiones de los gerentes de contratación de los últimos cinco años. Si esos gerentes tuvieron preferencias implícitas—por universidades específicas, por trayectorias lineales, por candidatos que «encajaran» con la cultura existente—el sistema codificó esas preferencias como criterios de éxito.

Sesgo de representación: La empresa opera en tecnología, donde históricamente ciertos perfiles demográficos están sobrerrepresentados. El sistema aprendió que esos perfiles son «normales» y todo lo demás es desviación. No discrimina explícitamente; discrimina estadísticamente.

Sesgo de medición: El criterio de éxito es «superar el período de prueba.» Pero superar el período de prueba mide la compatibilidad con la cultura existente, no el potencial de contribución. Es un proxy que favorece la conformidad sobre la diversidad de perspectivas.

Bucle autorreforzante: El sistema selecciona perfiles similares a los históricos. Esos perfiles refuerzan la cultura existente. La próxima generación de datos de entrenamiento refleja esa cultura reforzada. El sistema estrecha progresivamente el perfil «ideal» hasta la homogeneidad.

El sistema cumple los tres criterios de O’Neil: es opaco (los candidatos no saben por qué fueron rechazados), opera a escala (10.000 aplicaciones mensuales) y produce daño (excluye sistemáticamente a candidatos valiosos con perfiles no convencionales).

6.2 Rediseño con Responsabilidad Ética

1. Auditar los datos históricos antes de entrenar. ¿Reflejan contrataciones equitativas o perpetuan sesgos de los gerentes? Separar las decisiones históricas de un criterio independiente de calidad del candidato.

2. Definir éxito más allá de supervivencia. Reemplazar «superar el período de prueba» por métricas de contribución real: impacto en proyectos, innovación aportada, satisfacción del equipo. Medir lo que importa, no lo que es fácil de medir.

3. Elegir explícitamente un criterio de equidad. Decidir—con intervención de RRHH, legal y la dirección—qué definición de equidad priorizar y documentar los trade-offs aceptados. No delegar esta decisión al equipo técnico.

4. Preservar la intervención humana. El sistema filtra; el humano decide. Ningún candidato debe ser rechazado exclusivamente por decisión algorítmica. El sistema reduce de 10.000 a 500; los reclutadores humanos deciden los 200 que pasan a entrevista.

5. Hacer el sistema apelable. Los candidatos rechazados deben poder solicitar una revisión humana. La automatización sin recurso es inaceptable cuando afecta oportunidades de vida.

6.3 Principios de Diseño Derivados

Principio 1: Los datos históricos reflejan decisiones humanas, no verdades objetivas. Auditar los datos es auditar las decisiones de quienes los generaron.

Principio 2: La elección de la métrica de éxito es la decisión más importante del diseño. Un proxy incorrecto produce un sistema que optimiza lo equivocado con total precisión.

Principio 3: La equidad no es un problema técnico con solución única. Es un conflicto de valores con trade-offs que deben gobernarse explícitamente, no delegarse al algoritmo.

Principio 4: Cuando un algoritmo afecta a personas, el diseño debe incluir transparencia (explicar por qué), apelación (permitir recurso) y supervisión humana (mantener la responsabilidad donde debe estar).

Principio 5: La «objetividad» de un algoritmo es un framing (Módulo V). Los algoritmos codifican decisiones humanas; llamarlos objetivos es ocultar la responsabilidad detrás de la aritmética.

7. Glosario de Términos Clave

8. Reflexión Final y Autoevaluación

Antes de pasar al último tema de este módulo (Limitaciones de los Modelos), verifica que puedes diagnosticar, evaluar y gobernar los sesgos algorítmicos con rigor.

9. Bibliografía y Lecturas Recomendadas

Lecturas Esenciales

• O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown.

• Crawford, K. (2021). Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press.

• Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.

Lecturas Complementarias

• Chouldechova, A. (2017). «Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments.» Big Data, 5(2), 153–163.

• Kleinberg, J., Mullainathan, S. & Raghavan, M. (2016). «Inherent Trade-Offs in the Fair Determination of Risk Scores.» arXiv:1609.05807.

• Buolamwini, J. & Gebru, T. (2018). «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.» Conference on Fairness, Accountability and Transparency.

• Barocas, S. & Selbst, A. (2016). «Big Data’s Disparate Impact.» California Law Review, 104(3), 671–732.

Próximo Tema: El último libro de este módulo aborda Limitaciones de los Modelos: los modos de fallo específicos de los sistemas de IA actuales—alucinación, servilismo, sensibilidad al prompt, incapacidad de razonamiento causal—y cómo el arquitecto de intención diseña workflows que compensan esas limitaciones. Con Mitchell y Russell completarás tu comprensión de la herramienta: qué puede hacer, dónde falla, y cómo usar esa comprensión para gobernar sin ser gobernado.