Dos maneras de poner el derecho en código

En 2020, Oxford University Press publicó en acceso abierto un manual de 341 páginas. Lo escribió Mireille Hildebrandt, catedrática de derecho y tecnología en la Vrije Universiteit Brussel. Mientras lo redactaba dirigía un proyecto del Consejo Europeo de Investigación titulado «Contar como ser humano en la era del derecho computacional». El libro se llama Law for Computer Scientists and Other Folk y, según su propia autora, salió de ocho años enseñando derecho a estudiantes de máster en informática en la Universidad Radboud. Se lee como un manual. Es también otra cosa. Es un argumento sostenido: la protección jurídica moderna es una prestación del texto impreso, y el paso a un entorno de datos y código la somete a tensión. Hay dos vías para atravesar esa tensión. Una preserva la protección. La otra la destruye mientras pretende imponerla. La distinción que Hildebrandt traza entre legalidad por diseño y protección jurídica por diseño es la aportación analítica central del libro, y la parte más pertinente para quien trabaja en comparación regulatoria entre la Unión Europea y los Estados Unidos.

Por qué «por diseño» no es una sola cosa

La fórmula se ha deslizado al inglés regulatorio como si designara una técnica única. El primer movimiento de Hildebrandt es insistir en que designa dos. La diferencia entre ambas es la diferencia entre un sistema que protege y un sistema que disciplina.

El vocabulario del «por diseño» entró en el derecho europeo a través del artículo 25 del Reglamento General de Protección de Datos (RGPD). Ese precepto obliga a los responsables del tratamiento a aplicar medidas técnicas y organizativas apropiadas, concebidas para hacer efectivos los principios de protección de datos. Desde entonces la fórmula se ha multiplicado. El Reglamento de IA de la UE obliga ahora a los proveedores de sistemas de alto riesgo a integrar la supervisión humana en el diseño, en virtud de su artículo 14.1 Privacidad por diseño, seguridad por diseño, ética por diseño, equidad por diseño, diseño sensible a los valores. La fórmula se ha desprendido de su referente técnico original y se ha vuelto una atmósfera regulatoria. Casi nada impide que signifique lo que el hablante quiera que signifique.

La tesis de Hildebrandt es que ese uso laxo oculta una distinción real y consecuente. La forma más rápida de captarla es con un ejemplo concreto.

Imagina un sistema que decide automáticamente si una persona recibe o no una prestación social. Una manera de «integrar el derecho» en ese sistema sería traducir la regla a código ejecutable — se concede si la renta es menor a X y la edad mayor a Y — y dejar al código operar. Sus controles cierran las alternativas antes de que el caso se presente. Hildebrandt llama a esta versión legalidad por diseño (LbD, por sus siglas en inglés): el uso del código para imponer ex ante — antes de que el sistema actúe — el cumplimiento de la norma.

Hay otra manera de hacerlo. No intenta que el sistema imponga la regla, sino que el sistema deje en pie aquello que hace que una regla sea protectora. Concretamente: que la persona pueda preguntar por qué se le denegó la prestación y obtener una respuesta motivada; que pueda recurrir esa decisión ante alguien que la revise; que un cálculo automatizado «correcto» no pueda anular un derecho fundamental que la regla, en sus orillas, tenía la función de proteger. Hildebrandt llama a esta segunda versión protección jurídica por diseño (LPbD).

Tres condiciones es lo que la LPbD preserva. La impugnabilidad — la posibilidad efectiva de llevar una decisión ante un foro que la revise. El debido proceso — el conjunto de garantías procesales que rodean toda decisión consecuente (ser oído, conocer los motivos, disponer de tiempo para responder). Y la sustancia de los derechos fundamentales, que es distinta de su forma: un sistema puede cumplir formalmente con un derecho — haber pedido consentimiento, haber informado al usuario — sin respetar aquello que el derecho protegía en realidad.

Las dos versiones se entienden mejor reformuladas como dos preguntas distintas. La LbD pregunta: ¿cómo hago que el sistema cumpla la regla?. La LPbD pregunta: ¿cómo hago que el sistema deje en pie las cosas que hacen que la regla proteja?. Son preguntas estructuralmente diferentes, aunque ambas se vistan con la misma fórmula. Confundirlas es exactamente lo que el libro entero intenta desarmar.

Antes de seguir, considera un caso. Si un sistema cumple perfectamente con su especificación técnica, pero la persona afectada no puede entender por qué le fue denegado nada ni sabe ante quién quejarse, ¿está operando bajo LbD o bajo LPbD? La intuición rápida no siempre es la correcta. Volveremos a esa pregunta al examinar el AI RMF del NIST en la coda.

Con la distinción instalada, las dos versiones se reconocen rápido en la práctica. El paradigma de la LbD son los contratos inteligentes — smart contracts — sobre tecnologías de registro distribuido (TRD): el contrato se redacta, las condiciones disparan la ejecución, la ejecución ocurre, y la cuestión del cumplimiento se disuelve en la cuestión de si el código se ejecutó. Los paradigmas de la LPbD son los artículos 22, 25 y 35 del RGPD: obligaciones jurídicas que exigen construir sistemas en los que las protecciones del derecho de protección de datos permanezcan operativas, no sistemas que son el derecho en alguna forma literalizada.

La diferencia importa en la práctica al menos por dos razones.

La primera es que la LbD reclama una garantía que no puede entregar. Las normas jurídicas, redactadas en lenguaje natural, son irreductiblemente multi-interpretables. Todo código que pretenda imponerlas ha tenido que escoger una interpretación. El ejemplo concreto que ofrece Hildebrandt es la obligación contractual de realizar una tarea «en un plazo razonable». No hay algoritmo para lo razonable; lo razonable es lo que los tribunales deciden ex post — después del hecho —, a la luz del caso concreto. Un contrato inteligente que codifique lo razonable como un número específico de horas no ha impuesto el contrato. Ha sustituido un contrato distinto, menos protector y menos sensible a las circunstancias.

La segunda es que la LbD desplaza la arquitectura institucional que confiere al derecho su fuerza protectora desde el principio: los tribunales que interpretan la norma, las legislaturas que deciden su alcance, los públicos que impugnan su aplicación. Una vez que el código se ejecuta, no queda nada con lo que discutir.

El derecho en el espacio del libro, el derecho en el ciberespacio

La distinción solo cobra sentido sobre el telón del argumento mayor con el que se abre el libro. La protección jurídica tal como hoy se conoce es producto de una infraestructura de información específica, y esa infraestructura está cambiando.

El primer capítulo de Law for Computer Scientists presenta una tesis sobre la relación entre el derecho y lo que Hildebrandt denomina infraestructuras de información y comunicación (ICI). Distingue cuatro. El espacio del habla es el de las culturas orales. El espacio del manuscrito es el del texto escrito a mano. El espacio del libro es el de la imprenta. Y luego está lo que llama el mundo onlife — el entorno hiperconectado donde la separación entre la vida en línea y la vida fuera de línea se disuelve, y los sistemas computacionales anticipan y actúan sobre el comportamiento humano en tiempo real.2

Cada ICI ofrece un tipo distinto de normatividad. Las culturas orales viven de expectativas no escritas y de la memoria del grupo. El espacio del manuscrito vive de registros sujetos a la variación del copista. El espacio del libro vive de las elaboradas jerarquías de derecho codificado, tratados y jurisprudencia que la imprenta hizo económicamente viables. El mundo onlife vive de algo todavía no estabilizado.

Llegamos al corazón del libro: una tesis fuerte sobre de dónde viene el carácter protector del derecho moderno. Hildebrandt la formula así: el derecho positivo moderno — el derecho de las legislaturas, los tribunales y la democracia constitucional — es una prestación del espacio del libro.

La fórmula es deliberadamente material. No dice «inspirado por» el libro. Dice prestación: algo que la imprenta hizo posible, y que sin la imprenta no existiría como lo conocemos. Es una tesis fuerte, y conviene examinarla con cuidado. Hildebrandt la apoya en tres rasgos interconectados del texto impreso.

Primer rasgo: estabilidad más ambigüedad. Un texto impreso queda fijado. Sobrevive a su autor; pueden leerlo generaciones posteriores. Pero la fijación del texto no resuelve su significado: el lenguaje natural es estructuralmente ambiguo, y ninguna formulación se aplica a sí misma. Si el punto no es inmediatamente obvio, considera el caso clásico de Hart. Un estatuto dice «todo vehículo en el parque». ¿Incluye una bicicleta? ¿Un triciclo de juguete? ¿Una ambulancia que entra para atender una urgencia? El texto está fijado. El alcance no lo está. Y nunca puede estarlo.

Segundo rasgo: la práctica que se genera. La conjunción de estabilidad y ambigüedad obliga a una práctica concreta: la interpretación iterada del mismo texto por lectores sucesivos. Glosa sobre glosa. Jurisprudencia sobre jurisprudencia. Conviene resistir la tentación de pensar que es un subproducto accidental: es, en realidad, lo que hace que el derecho impreso funcione como protección y no solo como mandato. Sin la práctica, el texto sería instrucción; con ella, es derecho.

Tercer rasgo: la arquitectura institucional. La práctica interpretativa exigió, para institucionalizarse, una figura específica — una judicatura independiente. La pregunta clave es por qué independiente. La alternativa lo aclara: si quien interpreta la regla es el mismo soberano que la dictó, no hay interpretación contra el soberano. Y sin interpretación contra el soberano, no hay protección frente a él. A lo largo de siglos, la judicatura se fue distanciando del autor de la norma, hasta adquirir la legitimidad para hacer aquello que en un principio le estaba vedado: interpretar el derecho contra quien lo había dictado.

Antes de seguir, intenta articular la tesis en tus propios términos. ¿Por qué, según Hildebrandt, el carácter protector del derecho moderno no puede separarse de la tecnología que lo soporta? Si la respuesta que se te ocurre suena a «porque la imprenta facilitó las cosas», conviene releer el tercer rasgo con la pregunta en mente. La tesis es más fuerte que eso. La imprenta no facilitó la protección — la hizo posible. Y eso significa que un cambio de infraestructura puede deshacerla.

El carácter protector del derecho moderno no es separable, en esta lectura, de ninguna de las tres condiciones. Proviene de que la regla está fijada en texto y, a la vez, no cerrada en su significado. De que el significado puede impugnarse. De que la impugnación es oída por una institución estructuralmente distinta del autor de la regla. Ninguno de esos rasgos es automático. Cada uno es el logro de una infraestructura histórico-técnica específica.

Lo que sucede cuando la ICI cambia es la cuestión a la que se dedica el resto del libro. Hildebrandt es cuidadosa al no sostener que el paso a los sistemas computacionales sea inherentemente destructor de la protección jurídica. El argumento es más exigente. Los sistemas computacionales pueden construirse de modo que sostengan la protección jurídica, pero solo bajo dos condiciones. La primera es que quienes los construyen entiendan qué es la protección jurídica. La segunda es que las protecciones del derecho estén explícitamente incorporadas en su arquitectura — no como añadido ético, no como capa de cumplimiento, sino como parte del diseño. El libro es, en esta lectura, un argumento extenso de que las decisiones de diseño no son triviales, y de que equivocarlas resulta, desde fuera, indistinguible de acertarlas.

Lo que el derecho impulsado por texto hace

La respuesta predilecta de Hildebrandt a la pregunta «¿qué es el derecho?» es «¿qué hace?». La respuesta, en su lectura, es tres cosas a la vez, y la protección que ofrece proviene de la tensión irresuelta entre ellas.

El libro se estructura en torno a la definición de derecho de Gustav Radbruch — jurista alemán de la primera mitad del siglo XX —, formulada a partir de tres valores constitutivos: la certeza jurídica, la justicia y la instrumentalidad del derecho como medio para los fines fijados por el legislador.3 La certeza jurídica es la previsibilidad y la estabilidad de la regla. La justicia es la exigencia de que se traten igual los casos iguales, y de que el merecimiento se corresponda con lo que lo provoca. La instrumentalidad es la orientación del derecho hacia los fines de política pública que su proceso democrático ha elegido. Los tres valores se solapan parcialmente y son a menudo incompatibles. Una decisión previsible puede ser injusta. Una decisión justa puede ser imprevisible. La instrumentalidad del derecho puede tirar contra cualquiera de las otras dos, o contra ambas.

El argumento de Hildebrandt es que esa tensión irreductible no es un defecto del derecho moderno sino la fuente de su carácter protector. Como los tres valores no pueden resolverse en abstracto, toda decisión jurídica ha de justificarse como un intento de servir a los tres a la vez. La justificación es lo que vuelve impugnable la decisión. La impugnabilidad es lo que da a quien recibe la decisión una relación procesal con ella. La relación procesal es lo que distingue la protección jurídica de la mera instrucción. Una decisión que simplemente ocurre, sin una justificación que un tribunal pueda examinar después, no es una decisión jurídica en el sentido moderno. Es otra cosa.

La implicación para los sistemas computacionales es la operativa. Un sistema que toma decisiones consecuentes sobre personas — que concede o deniega crédito, selecciona o rechaza candidatos a un empleo, marca o libera a personas en prisión preventiva — hace el trabajo que hace la decisión jurídica, en el sentido de que determina resultados de relevancia jurídica. Pero si no puede articular una justificación, en una forma que la persona afectada pueda impugnar ante una institución estructuralmente distinta del operador del sistema, la protección que el derecho moderno ofrece no ha sobrevivido al paso al código. El sistema puede ser eficiente. Puede ser preciso según la métrica que sus diseñadores hayan elegido. No se encuentra bajo el imperio de la ley.

Este es el argumento que recorre, por debajo, el artículo 22 del RGPD, al que Hildebrandt trata como la respuesta jurídica más directa al problema. El artículo 22 establece una prohibición por defecto de las decisiones «basadas únicamente en el tratamiento automatizado, incluida la elaboración de perfiles» que produzcan efectos jurídicos o significativamente similares. Las excepciones — necesidad contractual, autorización legal, consentimiento explícito — vienen acompañadas de salvaguardas obligatorias: el derecho a obtener intervención humana, el derecho a expresar el punto de vista propio y el derecho a impugnar la decisión.4 La arquitectura del precepto no es casual. Es la arquitectura del derecho del espacio del libro trasladada a un escenario donde quien toma la decisión inmediata no es una persona, sino un sistema.

La legalidad por diseño exagera su alcance

El primer ejemplo desarrollado es el derecho contractual. La elección es ya un argumento: Hildebrandt escoge el caso en el que la legalidad por diseño parece más fácil, para mostrar que incluso ahí fracasa.

Un contrato inteligente sobre un registro distribuido es, en su forma idealizada, un conjunto de cláusulas traducidas a código que se ejecuta cuando se cumplen condiciones especificadas. La promesa que hace la tecnología — articulada repetidamente por sus defensores en la segunda mitad de la década de 2010 — es que el cumplimiento contractual pasa a ser autoejecutable, sin necesidad de confianza e inmune a la manipulación ex post. La parte a la que se le debe la prestación no necesita demandar. La parte que debe la prestación no puede negarse. El código se ejecuta.

El ejemplo que Hildebrandt desarrolla es un contrato inteligente entre empleador y empleado para el transporte de mercancías entre dos puntos «en un plazo razonable». La prestación fuera de la cadena — la conducción efectiva — requiere lo que la tecnología denomina un oráculo: una interfaz informática que informa al código si la condición contractual se ha cumplido. El oráculo necesita un disparador no ambiguo. «Razonable» no lo es. Para que el contrato sea autoejecutable, alguien tiene que especificar de antemano qué cuenta como razonable: un número de horas, una tolerancia de desviación, una definición de causa aceptable de retraso. El acto de especificar es un acto de interpretación. La interpretación se ha sustraído al ámbito del derecho contractual, donde la razonabilidad es un concepto disputado cuya aplicación depende de las circunstancias del caso. Se ha relocalizado en el ámbito del código, donde es un único número fijo.

No se trata de un fallo de implantación. Es una propiedad estructural de todo intento de traducir una norma jurídica multi-interpretable a código ejecutable. La traducción exige seleccionar una única interpretación. Y una vez fijada en código deja de responder a las consideraciones contextuales que daban a la norma original su alcance protector. El contrato inteligente no ha hecho cumplir la obligación jurídica: ha sustituido una obligación distinta, más rígida y menos protectora. Y lo ha hecho sin los frenos institucionales — la deliberación democrática sobre el alcance, la interpretación judicial sobre la aplicación — que de otro modo disciplinarían la sustitución.

La LbD parece un término inadecuado para lo que realmente se consigue. Mientras esto se tenga presente, e incorporando frenos y contrapesos, los contratos inteligentes y la regulación inteligente pueden no obstante contribuir al cumplimiento.

— Hildebrandt

El veredicto de Hildebrandt es calibrado. No dice que los contratos inteligentes carezcan de sitio. Dice que llamarlos «cumplimiento jurídico por diseño» exagera lo que pueden hacer. Mientras los frenos y contrapesos — incluidos los recursos jurídicos que permiten impugnar el contrato subyacente ante un tribunal — se preserven, la tecnología puede contribuir al cumplimiento. No puede sustituir a la arquitectura institucional que define qué significa cumplir con una obligación jurídica en primer término.

El mismo argumento se extiende a la regulación inteligente: el uso de sistemas de registro distribuido para autoejecutar políticas regulatorias. La confusión es aquí más peligrosa que en el contrato privado. Los contratos inteligentes operan al menos entre partes identificadas que han consentido nominalmente la sustitución. La regulación inteligente opera sobre el público general. Traducir una política regulatoria a código autoejecutable exige una decisión interpretativa sobre lo que la política significa. Esa decisión funde las funciones legislativa y ejecutiva, y se anticipa a la función adjudicativa. El resultado, sostiene Hildebrandt, no debe entenderse como una forma de derecho. Debe entenderse como administración pública, y como toda administración pública debe permanecer impugnable ante un tribunal. El principio de legalidad — la regla que en los sistemas continentales europeos somete la actuación administrativa a la ley — exige que quien queda sujeto a una decisión pueda obtener una justificación susceptible de ser impugnada. El código autoejecutable que no preserva esa posibilidad ha salido del imperio de la ley.

Lo que exige la protección jurídica por diseño

Si la LbD es la versión que fracasa, la LPbD es la versión que funciona. Pero solo bajo dos condiciones, ambas nombradas explícitamente en el libro.

Hemos llegado a la parte operativa. Si Hildebrandt rechaza la legalidad por diseño y defiende la protección jurídica por diseño, ¿qué exige concretamente esta segunda? La pregunta no es banal. Si la respuesta fuera blanda — «construir con ética», «considerar los valores humanos» — la propuesta entera perdería filo, porque cualquier empresa podría declarar que cumple y nadie podría desmentirlo.

Hildebrandt es inusualmente directa aquí, y conviene reconstruir su argumento en dos movimientos.

Primero descarta la opción ética. ¿Por qué no basta con que los ingenieros que diseñan los sistemas sean éticos? Por dos razones que merecen detenimiento. La primera es de mercado: los compromisos éticos no nivelan el terreno de juego. La empresa que decide construir con ética puede verse expulsada por la que no lo decide. La segunda es constitucional, y es la más cortante: hacer depender la protección de los derechos fundamentales de la buena voluntad de un consejo de administración privado es, sencillamente, abdicar de la democracia constitucional. La protección no puede depender de quien debe ser constreñido por ella. El sentido entero de cifrar las protecciones en la ley reside en que la protección no dependa de la buena voluntad de aquellos a quienes constriñe.

Con eso despejado, los dos requisitos formales aparecen.

Requisito uno: legitimidad de origen. El alcance de la obligación de diseño tiene que determinarse mediante participación democrática. ¿Qué significa operativamente? Que alguien — el legislador, una asamblea participativa, el mecanismo constitucional que sea — ha decidido qué cuenta como derecho fundamental en este caso, y cómo debe traducirse a exigencias técnicas. La decisión no la toma el ingeniero del sistema. Tampoco el consejo de administración de la empresa que lo despliega. La toma el procedimiento constitucional autorizado para tomarla.

Requisito dos: impugnabilidad ex post. Quien queda sujeto a la obligación debe poder llevar su aplicación ante un tribunal. No basta con que la regla exista; tiene que haber un foro donde discutirla cuando se aplica mal. Sin ese foro, la regla puede haberse escrito democráticamente y aplicado autocráticamente, y la diferencia se borra.

Ambos requisitos son condiciones de legitimidad. Son también condiciones de eficacia: sin ellos, la obligación de diseño carece de mecanismo institucional alguno por el cual hacerse cumplir, corregirse o actualizarse. Una obligación que ningún actor puede exigir es una obligación que en la práctica no existe.

Detente un momento antes de seguir. ¿Cuál de los dos requisitos crees que resulta más fácil de descuidar en la práctica regulatoria actual? Cuando se examine, en la coda, el régimen de evaluación de la conformidad del Reglamento de IA — con sus normas armonizadas, su marcado CE, sus estándares técnicos —, la pregunta volverá. Y la respuesta no será obvia.

La arquitectura importa. Cada uno de los tres preceptos hace un trabajo que los otros no pueden hacer solos. La evaluación de impacto (EIPD, por sus siglas en español) obliga al responsable a articular, por anticipado, cuáles son los riesgos del sistema y qué salvaguardas se han construido para abordarlos. Y a actualizar esa articulación cuando los riesgos cambian. La protección de datos por diseño y por defecto obliga a que las salvaguardas se incorporen en la arquitectura técnica y organizativa del tratamiento, no se añadan después en la capa orientada al usuario. La prohibición de las decisiones puramente automatizadas preserva un derecho individual de impugnación frente a las salidas más consecuentes del sistema. Los dos primeros operan sobre el sistema. El tercero opera sobre la decisión individual. La combinación es lo que hace protectora la arquitectura.

Esta es la arquitectura que el Reglamento de IA de la UE, en sus disposiciones sobre alto riesgo, ha ampliado. El artículo 14 del Reglamento de IA exige que los sistemas de alto riesgo se diseñen con supervisión humana integrada. El artículo 13 exige transparencia hacia el responsable del despliegue. Los artículos 26 y 86 obligan a los responsables del despliegue a informar a las personas afectadas y, en algunos casos, a ofrecer explicaciones.5 El marco opera junto al artículo 22 del RGPD, al que el Reglamento de IA no desplaza. El RGPD sigue ofreciendo el derecho individual horizontal a impugnar las decisiones puramente automatizadas. El Reglamento de IA añade exigencias de tipo regulación de producto a los proveedores y responsables del despliegue de los sistemas. Si esta superposición produce una combinación operativa, o si el régimen de normas técnicas del Reglamento de IA acaba deslizándose de vuelta hacia algo más cercano a la LbD, es la pregunta abierta de los próximos años.

Ética, código y la fuerza del cierre

El capítulo de cierre del libro es el que la propia Hildebrandt describe como el que «agita la imaginación». Es también el más afilado sobre lo que está en juego.

El argumento es directo y consecuente. El derecho proporciona cierre sobre cuestiones disputadas de un modo en que la ética no puede ni debe hacerlo. La razón es estructural: la democracia constitucional excluye la imposición de una concepción ética particular como derecho de todos. El procedimiento mediante el cual el derecho llega al cierre — promulgación legislativa, ejecución administrativa, revisión judicial, todo ello bajo el imperio de la ley — es el mecanismo de cierre que la democracia constitucional autoriza. La ética, por contraste, es el reino de la reflexión. Sus productos son argumentos, no normas exigibles. No es un defecto de la ética: es un rasgo.

Lo que cambia en el mundo onlife es que existe ahora una tercera fuente de cierre. El código informático, incrustado en sistemas algorítmicos de toma de decisiones, puede cancelar alternativas en el plano arquitectónico. El sistema que concede o deniega crédito cierra la cuestión del crédito para la persona solicitante, decida o no un tribunal lo mismo. El cierre es real. Tiene la fuerza de la tecnología. Y — este es el movimiento que da título al capítulo — cuando el cierre lo proporciona código bajo la rúbrica de la «ética», adquiere la legitimidad de un compromiso ético al tiempo que opera con la fuerza de la imposición técnica. El resultado, en la fórmula de Hildebrandt, es que el «diseño ético» se convierte en competidor de la protección jurídica en lugar de contribución a ella. La caracterización que ofrece Ben Wagner de esta práctica como ethics-shopping y ethics-washing — la compra de marcos éticos a medida y el blanqueamiento ético — describe el mismo problema desde otro ángulo.

Mientras que la ética no es competidora del derecho, los sistemas algorítmicos de toma de decisiones lo son precisamente.

— Hildebrandt

El argumento no es antiético. Es metaético. Las democracias constitucionales incorporan en su arquitectura fundacional una relación particular entre derecho y ética. El imperio de la ley crea un espacio para que la ciudadanía desarrolle sus propios compromisos éticos y actúe conforme a ellos, dentro de límites que protegen un espacio equivalente para las demás personas. La función de fijar los límites es del derecho. La función de crear el espacio es del derecho. La ética opera dentro de ese espacio. Cuando el código empieza a fijar los límites sin atravesar los procedimientos por los que esa función se desempeña legítimamente en una democracia, la relación estructural se invierte. La arquitectura de la democracia constitucional queda amenazada — no por intención maliciosa, sino por la sustitución de un mecanismo de cierre por otro sin que nadie haya decidido que la sustitución debía producirse.

El ejemplo al que Hildebrandt vuelve a lo largo del capítulo es la evaluación algorítmica de riesgo en la justicia penal. Específicamente, el sistema COMPAS — Correctional Offender Management Profiling for Alternative Sanctions —, empleado por tribunales estadounidenses para evaluar el riesgo de reincidencia y, por extensión, para informar las decisiones de libertad condicional y sentencia.6 El caso le resulta útil no porque sea el peor escenario, sino porque es la ilustración más limpia. El módulo didáctico Detain/Release del Berkman Klein Center, que Hildebrandt cita extensamente, demuestra empíricamente algo concreto: cuando los jueces reciben una puntuación de riesgo, comienzan a «corregir» sus decisiones contra ella sin entender la exactitud de la puntuación ni las probabilidades a las que sus categorías corresponden. El poder de encuadre de la herramienta, en la fórmula del módulo, «se traga el aire de la sala». La puntuación no es derecho. No tiene la legitimidad del derecho. Tiene la fuerza de la tecnología, y la fuerza basta para alterar, de forma sistemática, las decisiones de los jueces humanos a los que supuestamente solo aconseja.

La prescripción final es contenida. Hildebrandt no propone retirar los sistemas algorítmicos de apoyo a la decisión de la administración pública o la justicia penal. Propone que se usen para desafiar el juicio jurídico en lugar de para sustituirlo. Para mantener a los tribunales y a la administración «ágiles y afilados» en lugar de escalar y agilizar sus decisiones hasta convertirlas en algo que se parece al juicio sin desempeñarlo. La propuesta depende de una colaboración sostenida entre juristas y científicos de la computación. El libro termina, en efecto, con una invitación.

Coda — para qué sirve el libro

Dos cosas que el libro establece, una que deja productivamente abierta, y una nota sobre su utilidad específica para quien investigue la comparación entre el Reglamento de IA de la UE y el Marco de Gestión de Riesgos de IA del NIST.

Lo que el libro establece, en primer lugar, es que el carácter protector del derecho moderno es contingente respecto de una infraestructura de información específica. Depende de las prestaciones del texto impreso, de las instituciones que crecieron en torno a esas prestaciones, y de las prácticas de interpretación iterada que esas instituciones sostuvieron. La contingencia no es una debilidad del análisis, sino su centro: la protección de este tipo no es un dato metafísico sino un logro histórico, y el paso a las infraestructuras computacionales la somete a una tensión que exige trabajo deliberado para ser abordada.

En segundo lugar, el libro establece que el trabajo por hacer tiene una estructura precisa. Hay dos formas de poner el derecho en código. Una — la legalidad por diseño, el sueño de las reglas autoejecutables — promete en exceso, se extralimita y termina sustituyendo a la arquitectura institucional que dio al derecho su fuerza protectora desde el principio. La otra — la protección jurídica por diseño — fija dos requisitos formales (determinación democrática del alcance, garantía judicial de la impugnabilidad) y los emplea para disciplinar el diseño de los sistemas computacionales de modo que las protecciones del derecho sobrevivan dentro de ellos.

Lo que el libro deja productivamente abierto es la pregunta de si el Reglamento de IA ha escogido el lado correcto de la distinción. El régimen de alto riesgo del Reglamento contiene tanto elementos de LbD como de LPbD. Su disposición sobre supervisión humana en el artículo 14 es reconociblemente LPbD: exige que los sistemas se diseñen de manera que la intervención humana significativa siga estando disponible, que el responsable del despliegue esté en condiciones de anular las salidas, que la persona afectada no quede expulsada de la arquitectura institucional por la velocidad de la máquina. Su régimen de evaluación de la conformidad, en cambio, puede deslizarse hacia la LbD: normas técnicas, marcado CE, normas armonizadas que traducen los requisitos sustantivos a especificaciones que un sistema cumple o no cumple. Si la superposición de estos mecanismos produce una arquitectura de LPbD operativa, o colapsa en una capa procedimental sobre lo que es funcionalmente LbD, dependerá de cómo se redacten las normas, de cómo las lean los tribunales y de cómo se resuelva en la práctica, a lo largo de la próxima década, la relación entre el Reglamento de IA y los recursos individuales horizontales del RGPD bajo el artículo 22.

La nota sobre la utilidad es específica. Para quien se pregunte si una agencia federal estadounidense que opere bajo el Marco de Gestión de Riesgos de IA del NIST (AI RMF) puede acreditar el cumplimiento sustancial de las exigencias del Reglamento de IA de la UE, la distinción de Hildebrandt es un diagnóstico de primer orden. El AI RMF no es, por construcción, ni LbD ni LPbD. Es un instrumento voluntario de gestión de riesgos: un proceso orientado a identificar, medir, gestionar y gobernar los riesgos vinculados a la IA en el plano del sistema y de la institución. Sus cuatro funciones — govern, map, measure, manage — operan en la cara sistémica de la arquitectura. No contienen, ni están concebidas para contener, un derecho individual de impugnación, una prohibición sustantiva vinculada a un derecho fundamental, ni una relación procesal entre la persona afectada y la decisión. La arquitectura es la arquitectura de la gestión de riesgos. No la arquitectura de la protección jurídica por diseño.

Esto no significa que el AI RMF no pueda contribuir al régimen de cumplimiento que exige una obligación de alto riesgo del Reglamento de IA. Puede. Contiene muchos de los elementos que el artículo 9 del Reglamento exige a un sistema de gestión de riesgos, y la construcción paralela es reconocible desde ambos lados. Lo que el AI RMF no puede hacer, por sí solo, es proveer la capa de LPbD — la impugnabilidad, las prohibiciones sustantivas, la relación procesal individual con la decisión — que el Reglamento de IA hereda del RGPD e incorpora en sus propios preceptos.

La pregunta para un estudio comparado no es, por tanto, si el AI RMF «cubre» el Reglamento de IA en algún sentido abstracto. Es si el entorno regulatorio en el que opera una agencia federal estadounidense suministra la capa de LPbD a través de algún otro instrumento. Los candidatos son varios. La Administrative Procedure Act — la ley federal que regula el procedimiento administrativo, equivalente funcional de las leyes continentales sobre procedimiento administrativo común. Las doctrinas constitucionales de debido proceso aplicables a la acción estatal. Leyes sectoriales como la Fair Credit Reporting Act (FCRA), la Equal Credit Opportunity Act (ECOA) o la Fair Housing Act, que establecen prohibiciones sustantivas y recursos individuales en mercados concretos. Y, en el caso del Memorándum M-24-10 de la Oficina de Gestión y Presupuesto (OMB) y sus sucesores, los requisitos federales de contratación que han comenzado a operacionalizar obligaciones de tipo LPbD dentro del poder ejecutivo.

El marco que ofrece Hildebrandt no es, en este sentido, una polémica sobre cuál de los lados tiene razón. Es una tipología que hace posible trazar la comparación sin confundir el trabajo sistémico de gobernanza que ambos regímenes hacen con el trabajo de protección jurídica para el que, por ahora, solo uno de ellos ha sido construido. El AI RMF del NIST es excelente en lo primero. Nunca fue construido para lo segundo. Si lo segundo puede ser suministrado por lo que lo rodea es la pregunta que el libro de Hildebrandt da, a quien investiga, las herramientas para formular.