Isabel Castaneda suspendió español de nivel superior — su lengua materna — porque un algoritmo lo decidió. Había pasado dos años de bachillerato en Colorado calculando cuántos créditos universitarios podía acumular a través del Bachillerato Internacional antes de que empezase la matrícula. Cuando la OBI canceló los exámenes de primavera en 2020 y los sustituyó por un modelo algorítmico de calificación, la máquina le puso suspensos. La OBI se negó a explicar el modelo y cobraba tasas por su proceso de apelación. Si ese mismo algoritmo le hubiese cobrado de más en la tarjeta de crédito, habría podido llamar al banco, reclamar el cargo y recuperar el dinero en cuestión de días — gratis, con un 90 % de probabilidad de éxito. Ese derecho existe en Estados Unidos desde 1974. El derecho a recurrir una decisión algorítmica sobre tu educación, tu atención sanitaria, tu empleo o tu libertad no existe en ningún sitio — ni en Estados Unidos, ni apenas en la Unión Europea. En un artículo de 2021 en la Columbia Law Review, Margot Kaminski y Jennifer Urban cartografían esa distancia, argumentan por qué hay que cerrarla y construyen el marco más detallado hasta la fecha sobre cómo debería ser el derecho a impugnar las decisiones de la IA.
La forma particular del fallo de una máquina
Las personas que toman decisiones pueden equivocarse, ser parciales o arbitrarias. Los algoritmos también — pero fallan de un modo estructuralmente distinto, y las salvaguardias jurídicas habituales no se trasladan.
El caso de Castaneda no fue una anomalía. Ese mismo verano, Inglaterra, Gales e Irlanda del Norte usaron otro algoritmo para asignar las notas de acceso a la universidad; casi el 40 % de los estudiantes recibió calificaciones inferiores a las previstas por sus profesores. Las autoridades las revirtieron solo tras protestas callejeras. En Idaho, un algoritmo de asignación de horas de cuidados a domicilio para personas con discapacidades graves no tenía en cuenta la diabetes y codificaba mal la parálisis cerebral. Centenares de pacientes vieron recortada su asistencia. Una paciente contó a The Verge que ni ella ni la trabajadora social que introdujo sus datos podían “comprender del todo lo que estaba ocurriendo.” El proveedor del software ignoraba el error con la diabetes. En Massachusetts, un algoritmo del sistema hospitalario Mass General Brigham asignaba a los pacientes negros puntuaciones renales más favorables que a pacientes blancos con la misma enfermedad, lo que reducía la probabilidad de que fueran derivados a un trasplante.
No son averías al azar. Kaminski y Urban sostienen que el fallo algorítmico tiene una forma propia. Tres rasgos lo distinguen.
Primero: el procesamiento por categorías. Los algoritmos clasifican a las personas en grupos usando reglas fijadas en la fase de diseño por programadores que quizá nunca conocieron a las poblaciones que el sistema iba a procesar. Un algoritmo de detección de fraude del programa SNAP de cupones de alimentación marcaba las compras por importes redondos. En las tiendas de la comunidad somalí-americana, donde era costumbre comprar la carne al peso exacto en dólares, la marca significaba algo distinto de lo que los diseñadores habían asumido. Kaminski y Urban llaman a esto el “problema de la cola larga” — el caso raro que el sistema nunca entrenó, salvo que para quien lo vive no tiene nada de raro.
Segundo: la opacidad. Los algoritmos actuariales — de derivación estadística, relativamente interpretables — al menos permiten ver qué factores se ponderaron. Los sistemas de aprendizaje automático de caja negra a menudo no pueden explicar sus propias respuestas, ni siquiera a quienes los diseñaron.
Tercero: la eliminación del juicio humano del circuito. Un trabajador social puede ejercer discrecionalidad o compasión. Un algoritmo, no. Como dijo el abogado de los pacientes de Idaho: cuando se depende exclusivamente de los algoritmos, “reducimos la humanidad de una persona a un número.”
Un derecho escrito a lápiz
El RGPD reconoció un derecho a impugnar ciertas decisiones automatizadas en 2018. Ocho años después, sigue siendo en gran medida una aspiración: indeterminado, poco aplicado y apenas probado ante los tribunales.
El artículo de Kaminski y Urban es el primero que examina en profundidad el derecho de impugnación del RGPD para un público estadounidense. Su hallazgo central: el artículo 22 dice que las personas deben poder impugnar ciertas decisiones automatizadas y después no dice casi nada sobre qué significa eso. No define qué es una impugnación adecuada. No fija plazos. No establece los fundamentos sobre los que un recurso puede prosperar. Las directrices de la Junta Europea de Protección de Datos repiten el texto legal y ofrecen, como ejemplo de cumplimiento, “facilitar un enlace a un proceso de apelación en el momento en que se comunique la decisión.”
Esta vaguedad no es nueva. La ley francesa de protección de datos de 1978 ya reconocía a los ciudadanos el derecho a “impugnar los datos y la lógica utilizados.” La Directiva europea de 1995 contenía un precepto precursor — el artículo 15 — que Lee Bygrave describió como “de gala pero sin adónde ir.” El artículo 22 del RGPD añadió lenguaje de impugnación explícito, pero durante los primeros años del reglamento siguió siendo un “tigre de papel.” El primer tribunal en toda Europa que reconoció un derecho de explicación al amparo del artículo 22 fue un juzgado neerlandés, en 2021.
Estados Unidos carece de algo comparable a escala federal. La Ley de Responsabilidad Algorítmica de 2019 habría exigido evaluaciones de riesgo pero no reconocía derechos individuales de impugnación. La Ley de Derechos de Privacidad de California encargó a una agencia la regulación de las decisiones automatizadas; no llegó a un derecho de recurso. Lo que hay son leyes tecnológicamente neutras — procedimiento administrativo, legislación antidiscriminación, garantías sectoriales — que en contextos concretos pueden estirarse para cubrir decisiones de IA. Las cargas probatorias son formidables y la cobertura, fragmentada.
Mientras tanto, el derecho a reclamar un cargo erróneo en la tarjeta de crédito — regulado por la Ley de Facturación Justa de Crédito de 1974 — funciona millones de veces al año, con el consumidor ganando en torno al 80-90 % de los casos. La pregunta que Kaminski y Urban plantean es estructural: ¿por qué las decisiones algorítmicas no pueden recurrirse con la misma eficacia que los errores de facturación?
Por qué hay que poder discutir con una máquina
El argumento teórico a favor de un derecho individual de impugnación de la IA se apoya en tres tradiciones — exactitud, Estado de derecho y dignidad — y cada una es más afilada cuando parte de un fracaso concreto que de una abstracción.
Los tenderos somalí-americanos no necesitaban una teoría del proceso debido. Necesitaban que alguien escuchase cuando decían que la alerta de fraude era errónea. Su rehabilitación llegó a través de la impugnación individual — no de una auditoría sistémica, no de una acción colectiva, sino de recursos individuales que sacaron a la luz un error que ningún auditor había pensado en buscar. Este es el argumento de la exactitud: los recursos individuales atrapan los fallos que el sistema no puede ver, porque la persona que está dentro de la cola larga sabe algo que el algoritmo ignora.
Consideremos ahora un ejemplo hipotético que Kaminski y Urban toman de Ed Felten: un algoritmo que descubre que el riesgo crediticio correlaciona con el color de los calcetines. Los calcetines rosas obtienen mejor crédito que los azules. Aunque la correlación sea estadísticamente sólida, la regla parece irracional. Y si el color de los calcetines correlaciona con el género o la raza, puede ser además discriminatoria. Ninguna auditoría la detectaría necesariamente a menos que alguien supiera que debía buscar el color de los calcetines. Una persona a la que se le deniega el crédito y pregunta por qué puede sacar a la superficie tanto la irracionalidad como la discriminación. Este es el argumento del Estado de derecho: la impugnación somete un sistema de toma de decisiones a coherencia, racionalidad y equidad obligándole a explicarse caso por caso.
Reducimos la humanidad de una persona a un número. — Abogado de pacientes, citado en Kaminski & Urban (2021)
Y los pacientes de Idaho. Personas que perdieron autonomía, que pasaban hambre, que temían la institucionalización — porque un algoritmo codificó mal sus patologías y nadie supo cómo recurrirlo. La frase de su abogado es el argumento de la dignidad en estado puro: “reducimos la humanidad de una persona a un número.” Buena parte de la doctrina estadounidense descarta la dignidad como concepto demasiado vago para fundar un derecho. Kaminski y Urban señalan el Informe HEW — un documento estadounidense de 1973, texto fundacional del derecho de privacidad en EE. UU. — que ya reclamaba que las personas pudieran impugnar las etiquetas algorítmicas. La tradición de la dignidad en Estados Unidos existía antes de que Europa la codificara. Fue progresivamente reducida a medida que el derecho de privacidad se replegó hacia un modelo de notificación y consentimiento que trasladaba toda la carga al individuo.
El principal oponente del artículo es Aziz Huq, quien sostiene que el proceso individual es esencialmente un instrumento utilitario para garantizar la exactitud sistémica — y que las acciones colectivas y la regulación ex ante lo hacen de forma más eficiente. Kaminski y Urban replican que esto confunde la función del proceso. Recurrir una decisión que te afecta no es una herramienta de depuración del sistema. Es una forma de participación, de reconocimiento de que la decisión se tomó sobre una persona y no contra un dato. Las auditorías pueden ser más baratas. No son lo mismo.
Cuatro formas de construir un derecho a recurrir
La contribución más duradera del artículo es una matriz 2x2 de diseños de impugnación — normas frente a estándares en un eje, procedimiento frente a fondo en el otro — puesta a prueba contra cuatro regímenes jurídicos que ya existen.
Dos decisiones de diseño configuran todo mecanismo de impugnación. Primera: ¿es el mecanismo una norma (procedimientos precisos fijados de antemano) o un estándar (el derecho existe, los detalles quedan en manos de quien lo aplique)? Segunda: ¿es el enfoque procedimental (cómo impugnar) o sustantivo (los fundamentos sobre los que se puede ganar)?
Cuadrante 1 — Artículo 22 del RGPD. Un estándar con enfoque procedimental. Las empresas deben permitir recursos; casi nada está especificado sobre en qué deben consistir. Los Estados miembros lo han desarrollado de formas radicalmente distintas: el Reino Unido impuso plazos de un mes con respuesta escrita, Eslovenia lo ancló al derecho antidiscriminatorio, Hungría y Francia prohibieron las decisiones automatizadas basadas en categorías especiales de datos.
Cuadrante 2 — Notificación y retirada de la DMCA. Una norma con enfoque procedimental. La ley prescribe cada elemento: qué debe contener la notificación de retirada, con qué rapidez debe actuar la plataforma, qué debe incluir la contranotificación. Pero el fondo — la infracción de derechos de autor — rara vez se examina en la práctica. Las plataformas retiran el contenido ante cualquier notificación conforme sin hacer un análisis jurídico. El mecanismo de contranotificación, diseñado para que los afectados restauren contenido retirado indebidamente, apenas se usa. Los profesionales lo llaman letra muerta.
Cuadrante 3 — Derecho al olvido de la UE. Un estándar con enfoque sustantivo. El Tribunal de Justicia en Google Spain (2014) estableció un test de ponderación entre privacidad y acceso público, pero no fijó procedimiento. Google construyó su propio proceso de revisión. Los reguladores elaboraron criterios gradualmente. No hay mecanismo para que el público argumente que la información debería seguir siendo localizable.
Cuadrante 4 — Ley de Facturación Justa de Crédito. Una norma con enfoque sustantivo. Define “error de facturación” con precisión suficiente para limitar la discrecionalidad y especifica plazos y procedimientos. Los consumidores ganan el 80-90 % de las veces. El sistema funciona en parte porque “error de facturación” es fácil de definir — un lujo del que no se dispone para conceptos como “discriminación algorítmica.”
Por qué la tarjeta de crédito dice que sí y la plataforma de derechos de autor ni mira
Tanto la DMCA como la FCBA tienen normas de procedimiento precisas. Una funciona. La otra no. La diferencia está en la estructura de incentivos — quién carga con el coste de equivocarse.
La DMCA tiene un proceso de diseño impecable sobre el papel. Elementos obligatorios para las notificaciones, plazos especificados, mecanismo de contranotificación. En la práctica, sesga abrumadoramente hacia la retirada. Las plataformas se enfrentan a indemnizaciones de hasta 150.000 dólares por obra infringida, de modo que retiran primero y piensan después. Un estudio empírico encontró que el 31 % de las notificaciones a Google Search eran cuestionables; el 70 % de las enviadas a Google Image Search estaban fundamentalmente viciadas. A pesar de ello, las contranotificaciones son extraordinariamente raras.
La razón es el riesgo asimétrico. Quien envía la notificación declara que cree de buena fe que hay infracción — sin juramento sobre la reclamación de fondo. Quien envía la contranotificación debe jurar bajo pena de perjurio que el material no es infractor y aceptar la jurisdicción de los tribunales federales estadounidenses. Un representante de una plataforma dijo a los investigadores: “El proceso te obliga a mantenerte al margen de los juicios de valor.” La arquitectura de riesgos del sistema enfría la misma impugnación que supuestamente permite.
La FCBA funciona al revés. Investigar una reclamación cuesta dinero real a la entidad de tarjetas: revisar registros, examinar pruebas, redactar una respuesta. Reembolsar el cargo es barato. La ley hace obligatoria la investigación una vez presentada la reclamación. El cálculo se inclina hacia la resolución temprana. Las entidades fallan a favor del consumidor el 80-90 % de las veces — no porque la ley les exija generosidad, sino porque les sale más barato que la alternativa.
La lección de diseño que extraen Kaminski y Urban: un mecanismo de impugnación vale exactamente lo que vale su estructura de incentivos. Procedimiento sin los incentivos adecuados produce la DMCA — un sistema donde la contranotificación es letra muerta y domina la parte más fuerte. Procedimiento con los incentivos adecuados produce la FCBA — un sistema donde el consumidor gana la mayoría de las veces y el sistema goza de legitimidad.
Un umbral mínimo, no un techo
Para Estados Unidos, Kaminski y Urban proponen un derecho de impugnación de alcance general — una base que se aplique en todos los sectores, con refuerzo específico allí donde la legislación vigente ya tiene tradiciones más profundas.
Para que un derecho a recurrir las decisiones de la IA funcione en la práctica, hacen falta tres cosas a la vez.
Notificación significativa. No un enlace enterrado en una política de privacidad, sino información lo bastante precisa para que la persona sepa qué decisión se ha tomado, con qué base y cómo recurrirla. El RGPD exige informar de que una decisión implica tratamiento automatizado y facilitar “información significativa sobre la lógica aplicada.” La mayoría de los Estados miembros lo han interpretado con generosidad. Francia es la excepción: sus normas para el sector público exigen que los funcionarios expliquen a la persona afectada, en detalle, cómo se ha aplicado el tratamiento algorítmico a su caso concreto. Es el extremo más exigente del espectro — y, posiblemente, el mínimo para que la impugnación signifique algo.
Motivación genuina. No un resumen del método general del algoritmo, sino una explicación suficientemente específica para que la persona identifique qué ha fallado en su caso. El argumento de Frederick Schauer — que la motivación compromete a quien decide con un resultado, permite el control de calidad y muestra respeto por la persona afectada — se aplica con especial fuerza a decisiones de máquinas que no vienen, por naturaleza, con razones adjuntas.
Transparencia sistémica. La DMCA opera como una caja negra: no hay obligación de que las plataformas publiquen sus políticas, sus marcos de decisión ni sus resultados. El Consejo de Europa ha recomendado que las empresas hagan público el número y tipo de reclamaciones recibidas. Sin esa visibilidad, no hay forma de saber si un sistema de impugnación es justo — ni siquiera si funciona.
Para Estados Unidos, el derecho debería funcionar como un umbral mínimo. De alcance general. Vinculado a la tecnología, no a un sector concreto. Aplicable allí donde la IA tome decisiones con efectos significativos. Complementado por normas sectoriales en justicia penal, crédito, vivienda y empleo, donde la legislación vigente ya tiene tradiciones de garantías procesales más desarrolladas. Aplicable no solo a decisiones “exclusivamente” automatizadas — un adverbio demasiado fácil de esquivar insertando a una persona que se limite a sellar — sino a cualquier decisión en la que la IA desempeñe un papel significativo. La Oficina del Comisionado de Privacidad de Canadá ya ha recomendado este alcance más amplio.
El modelo no debería ser ni el estándar indeterminado del RGPD ni la norma de procedimiento preciso pero sustantivamente vacía de la DMCA. Algo más cercano a la FCBA: claro en cuanto al fondo, suficientemente especificado en cuanto al procedimiento para ser utilizable, integrado en un entorno regulatorio con sanciones reales, y diseñado para que dar una audiencia justa le salga más barato a quien decide que ignorarte.
El artículo se publicó en 2021. El Reglamento IA era una propuesta de la Comisión. El artículo 22 no había sido interpretado por ningún tribunal. Cinco años después, la UE ha añadido los artículos 85 y 86. Estados Unidos sigue sin tener nada.
El artículo 22 del RGPD está en vigor desde 2018. Su primera interpretación judicial llegó tres años más tarde. La contranotificación de la DMCA existe desde 1998 y apenas se usa. El proceso de devolución de cargos de la FCBA existe desde 1974 y se utiliza millones de veces al año.
La diferencia entre estos resultados no es una diferencia de arquitectura jurídica. Es una diferencia de diseño — concretamente, de si el diseño hace que a quien tiene el poder le salga más barato escucharte que ignorarte. Esa es la pregunta que Kaminski y Urban dejan sobre la mesa. Ni el RGPD ni el Reglamento IA la han respondido todavía.