Revista de Derecho Público: Teoría y Método
Marcial Pons Ediciones Jurídicas y Sociales
Vol. 7 | 2023 pp. 151-174
Madrid, 2023
DOI:10.37417/RPD/vol_7_2023_1313
© Leonor Moral Soriano
Recibido: 03/30/2023 | Aceptado: 12/05/2023
Editado bajo licencia Creative Commons Attribution 4.0 International License.

CRIATURAS EMPÍRICAS EN UN MUNDO NORMATIVO: LA INTELIGENCIA ARTIFICIAL Y EL DERECHO*

Empirical Creatures in a Normative World: AI and Law

Leonor Moral Soriano

Profesora Titular de Derecho Administrativo
Universidad de Granada

I believe in law. That is, I believe that there is a distinct sphere of human experience which we can construct as a specific domain of understanding an activity, to which the name “law” is appropriate and hallowed by usage.

Neil MacCormick 1

Resumen: El interés de la ciencia jurídica por la irrupción de tecnologías de inteligencia artificial parece centrarse en las ilimitadas capacidades e innumerables aplicaciones que tales tecnologías tienen en el derecho. Esta contribución quiere revelar los límites de la IA en el derecho y sostener que la IA es una criatura empírica que en tal medida desentona en un mundo normativo (el del derecho). Para ello, me centraré en un aspecto nuclear del derecho: la argumentación jurídica. En concreto analizaré el uso de sistemas de toma de decisiones automatizadas en la motivación de actos administrativos. El objeto de estudio debe ser abordado desde el derecho administrativo como sistema normativo y desde la teoría de la argumentación jurídica como marco conceptual para la aplicación del derecho. El objetivo de este marco teórico no es asimilar la IA a normas jurídicas o encontrar su acomodo en el sistema normativo, sino reivindicar que el contenido normativo (práctico, de deber ser) del razonamiento jurídico determinará el uso que hagamos de la IA.

Palabras CLAVE: sistemas de decisiones automatizadas, motivación de actos administrativos, teoría de la argumentación jurídica, contexto de descubrimiento y contexto de justificación.

Abstract: The interest of legal science in artificial intelligence technologies seems to focus on the unlimited capacities and innumerable applications that they have in law. This contribution wants to reveal the limits of AI in law and argues that AI is an empirical creature that does not fit in a normative world (the world of law). For this, I will focus on a nuclear feature of law: legal argumentation. Specifically, I will analyze the use of automated decision-making systems in the justification of administrative acts. This object must be studied from the perspective of administrative law as a normative system, and from the theory of legal argumentation as a conceptual framework for the application of law. The aim of this theoretical framework is not to assimilate AI to legal norms, neither to find its accommodation in the normative system; it rather claims that the normative content (in practical terms) of legal reasoning will determine the use we make of AI.

Keywords: automated decision making systems, motivation of administrative acts, legal argumentation theory, context of discovery and context of justification.

Sumario: 1. INTRODUCCIÓN: 1.1. Marco conceptual (1): El Derecho administrativo como sistema normativo. 1.2. Marco conceptual (2): la motivación del acto administrativo como actividad de argumentación jurídica.— 2. DEL JUEZ ROBOT, LA ADMINISTRACIÓN PÚBLICA ROBOT Y OTROS INGENIOS. EL CONTEXTO DEL DESCUBRIMIENTO Y EL CONTEXTO DE LA JUSTIFICACIÓN.— 3: LA ADMINISTRACIÓN Y EL JUEZ ASISTIDOS POR IA. JUSTIFICACIÓN INTERNA Y JUSTIFICACIÓN EXTERNA.— 4: SISTEMAS DE ADM EN LA JUSTIFICACIÓN JURÍDICA.— 5: CONCLUSIÓN.— 6: BIBLIOGRAFÍA

1. INTRODUCCIÓN

El interés de la ciencia jurídica por la irrupción de tecnologías de inteligencia artificial parece centrarse en las ilimitadas capacidades e innumerables aplicaciones que aquella tienen en el derecho. Como el martillo al que todo se le vuelven clavos, así la IA aterrizaría en la ciencia jurídica para resolver los problemas jurídicos más acuciantes y mediáticos. A juicio de los más alarmistas, la IA estaría llamada a preservar la propiedad lógica de la universalidad de las normas jurídicas frente a la acción despiadada de jueces irremisiblemente sesgados. Es más, la IA nos promete nada menos que alcanzar decisiones jurídicas adaptadas a cada individuo (BEN-SHAHAR y PORAT 2021) 2, algo que, supuestamente, nada tendría que ver con la valoración que recurrentemente viene haciendo el operador jurídico de los elementos relevantes de cada caso a la hora de aplicar el derecho. Ironías aparte, estamos a las puertas del triunfo del relativismo y del realismo jurídico, y desconozco si somos conscientes de ello.

Este artículo quiere ser un contrapunto a esa visión porque quiere revelar los límites de la IA en el derecho y sostener que la IA es una criatura empírica que no es propia de un mundo normativo (el del derecho). Solo concibiendo así la relación entre IA y derecho podremos desarrollar una inteligencia jurídica liderada por juristas (GOLZ y GILMORE 2018) y enfocada en los problemas que los operadores jurídicos resuelven. Con este propósito, me centraré en un aspecto nuclear del derecho: la argumentación jurídica. En concreto analizaré el uso de sistemas de toma de decisiones automatizada (ADM) en la motivación de actos administrativos. El objeto de estudio debe ser abordado desde el derecho administrativo como sistema normativo y desde la teoría de la argumentación jurídica como marco conceptual para la aplicación del derecho. Es en este amplio contexto donde quiero afrontar la reflexión acerca de la IA concentrándome en cuestiones relativas a la teoría del derecho (cuáles sean las limitaciones del sistema jurídico) y teoría de la argumentación jurídica (cómo se aplica a cada caso). El objetivo de este marco teórico no es asimilar la IA a normas jurídicas o encontrar su acomodo en el sistema normativo, sino reivindicar que el contenido normativo (práctico, de deber ser) del razonamiento jurídico determinará el uso que hagamos de la IA.

1.1. Marco conceptual (1): El Derecho administrativo como sistema normativo

Es innegable que la utilización de sistemas ADM en las decisiones administrativas plantea serios interrogantes en relación con el tratamiento de los datos (tipos de datos) y la transparencia, lo que implica abordar estas cuestiones desde la (rica) perspectiva del acceso a la información pública. La transparencia es un pilar del Estado de Derecho y está vinculado a un requisito esencial del mismo: el control de la actividad, porque solo si conocemos las razones a las que apela un operador jurídico, podremos controlarlas y posiblemente rebatirlas. La obligación de motivar un acto o de justificar una decisión es consustancial al control de la actividad pública, al derecho a la tutela judicial efectiva, y al sometimiento de nuestros poderes públicos a la ley y al derecho. Motivar una decisión jurídica indicando cuáles son los argumentos que la respaldan es una exigencia (también para los sistemas ADM) que se sitúa así en el corazón de nuestro Estado de Derecho.

Esta exigencia de motivación es consustancial al sistema normativo que conforma el derecho administrativo (SCHMIDT-ASSMANN 2003). Jennifer RASO (2021) ha propuesto en su contribución al libro colectivo Artificial Intelligence and the Law in Canada, utilizar el derecho administrativo como sistema de normas y principios de referencia a la hora de estudiar las decisiones administrativas basadas en ADM 3. En una línea similar, para PONCE SOLÉ (2019) los retos del uso de la inteligencia artificial deben abordarse desde los principios de la buena administración, y CERRILLO i MARTÍNEZ (2019) nos recuerda cuáles son los principios de funcionamiento de la administración pública que deben guiar la utilización de la IA. Las reglas y principios a los que me refiero aquí abarcan el procedimiento administrativo como garantía 4 que, no lo olvidemos, es un cauce ordenado de actuaciones que tiene como finalidad asegurar que la decisión sea procedente, conforme a derecho, y la más apropiada; y ello con más razón cuando se trata de una decisión discrecional. Por lo demás, este sistema de reglas y principios ha de incluir el sometimiento al principio de atribución de competencias, así como las exigencias de notificación del acto administrativo, acceso al expediente, audiencia al interesado y, como se ha indicado, motivación del acto administrativo.

1.2. Marco conceptual (2): la motivación del acto administrativo como actividad de argumentación jurídica

Es precisamente la exigencia de motivación de los actos administrativos la que nos obliga a analizar el papel de la IA también desde el punto de vista de la Teoría de la argumentación jurídica (TAJ en adelante); es decir, desde la perspectiva de la justificación de las decisiones jurídicas. El alcance que tiene este enfoque es mayor de lo que pudiera intuirse, porque la TAJ como teoría del razonamiento jurídico involucra necesariamente una reflexión sobre qué es el derecho. En fin, una teoría del razonamiento jurídico consiste en establecer el contenido del derecho en un caso determinado para alcanzar la decisión debida.

Puede ser que el término “motivación del acto administrativo” nos confunda sobre la naturaleza de la actividad que se lleva a cabo: la justificación de la decisión jurídica. Quizás el desconcierto haya cundido porque hablamos de motivación del acto administrativo cuando, en rigor, una razón no es lo mismo que un motivo.

La distinción entre razones (para la acción) y motivos ha sido aceptada por todos los filósofos que estudian el tema (como nos indica María ÁLVAREZ, 2016): Joseph RAZ 1975, Derek PARFIT 1997, y Jonathan DANCY 2000 son los autores más destacados en este campo. Una razón normativa es una razón para actuar, mientras que un motivo es una razón por la que alguien hace algo. De hecho, etimológicamente, los motivos hacen referencia a lo que nos mueve a hacer algo, y en este sentido, están íntimamente relacionados con una dimensión puramente psicológica. El ejemplo que entre nosotros propone GARCÍA FIGUEROA (2014) y que recoge también ÁLVAREZ (2016) lo aclara perfectamente: cuando Otelo mata a Desdémona convencido de que ella le ha sido infiel, “cabe decir que Otelo mató a Desdémona motivado (es decir, movido) por los celos, pero resultaría extraño decir que el moro de Venecia quitó la vida a Desdémona justificado por los celos” (GARCÍA FIGUEROA 2014: 142).

Desenmascarada la ambigüedad razones/motivos, motivar el acto administrativo es justificarlo, argumentarlo, fundamentarlo en razones para la acción pertenecientes a un sistema normativo, el del derecho administrativo en el caso que nos ocupa. Exigir que los actos administrativos estén motivados (i.e., justificados, argumentados, fundamentados) es inherente a toda actividad jurisdiccional y lo es típicamente de las decisiones jurídicas. Los órganos administrativos al igual que los jueces son operadores de un sistema normativo, el jurídico, y deben fundamentar sus decisiones dentro de este sistema normativo, aportando no solo los hechos relevantes sino las razones apropiadas (leyes, reglamentos, precedentes, principios jurídicos, valores, etc.). ¿Cuál es el papel entonces de la IA y en concreto de los sistemas de ADM en este universo normativo?

2. DEL JUEZ ROBOT, LA ADMINISTRACIÓN PÚBLICA ROBOT OTROS INGENIOS. EL CONTEXTO DEL DESCUBRIMIENTO Y EL CONTEXTO DE LA JUSTIFICACIÓN

Los sistemas de ADM son tecnologías de IA diseñadas para asistir o incluso sustituir los juicios que hacemos los humanos. Aplicada a la esfera del derecho, esta tecnología es utilizada por operadores jurídicos y singularmente por jueces y administraciones públicas en su actividad jurídica. En estas circunstancias podría ser posible, y a veces inquietante, la figura de un juez robot, un futurible por el que se expresan nuestros temores (o esperanzas 5) sobre la irrupción de esta compleja tecnología en el razonamiento jurídico. Mayor impacto, aunque solo sea por el número de ciudadanos afectados, tiene el uso de ADM en la actuación administrativa. En efecto, herramientas basadas en reglas, regresiones, analítica predictiva, machine learning o deep learning, son algunas de las tecnologías que pueden conformar los sistemas de ADM y que la administración pública ya está utilizando (por la vía de asistencia o de reemplazo) para decidir, es decir, para adoptar actos jurídicos.

Analicemos primero su uso como reemplazo del juicio humano. ¿Hay jueces robots? Para responder a este interrogante, cabe acudir a una distinción clásica, propia del acervo de la filosofía de las ciencias y que, bajo esta formulación, se la debemos a Hans Reichenbach, destacado miembro del Círculo de Viena. Reichenbach abogó por diferenciar dos contextos del conocimiento científico: el contexto del descubrimiento y el contexto de la justificación. Para el filósofo alemán hay una distinción entre el proceso para llegar a un descubrimiento y articularlo (de facto) y el contexto de la defensa de la corrección del resultado, de su validación (de jure). El ejemplo clásico para explicar la distinción es el del químico Kekulé: su idea de cómo representar la estructura molecular del benceno mediante un anillo hexagonal se le ocurrió cuando dormitaba frente a su chimenea y veía las llamas bailando en forma de serpientes. Este dato es relevante para explicar cómo se llegó a la hipótesis (contexto del descubrimiento), pero no lo es para evaluar los hechos y razones necesarias en el contexto de la justificación de la teoría.

Sólo la validación, el contexto de justificación, puede someterse a la lógica de la investigación, es decir, al juicio de corrección, y de ahí que, como subraya Popper, la cuestión de cómo un individuo haya tenido una idea, ya sea un tema musical o una teoría científica, será relevante para la psicología, pero es irrelevante para el análisis lógico del pensamiento científico (POPPER 2002 [1934/1954]: 7-8).

La distinción de ambos contextos (descubrimiento y justificación) se ha trasladado desde el ámbito de las ciencias naturales al de las ciencias sociales, y en particular al derecho, cuyo objeto es la justificación de unas singulares proposiciones normativas (de deber ser): las decisiones jurídicas.

En el contexto del descubrimiento de una decisión jurídica (ya sea una decisión judicial o un acto administrativo) se refieren las causas que han movido al operador a adoptar una decisión. Éstas pueden ser de índole psicológica, social, cultural, incluso digestiva. En 1747 Julien Offray de la Mettrie escribió L’homme machine. Su propósito era mostrar al ser humano como un artefacto mecánico movido por causas fisiológicas y psicológicas 6. En su relato, el señor Steiger, juez en Wittighofen, íntegro e indulgente, no escapaba de los efectos que la dieta operaba sobre su labor jurisdiccional, de manera que hacía al inocente culpable si tenía que tomar la decisión tras la cena. Esta “teoría de la digestión”, como festivamente se la ha denominado, nos sugiere que la decisión judicial depende de qué manjares haya comido el juez o cuán pesada haya sido su última ingesta; pero también de cuál sea su lugar de nacimiento o su ideología, dónde haya estudiado, o qué idiomas hable. A fin de conocer el impacto que tienen los datos biográficos en las decisiones judiciales, CHEN (2019) ha analizado millones de decisiones judiciales estadounidenses para establecer correlaciones entre el sentido de la decisión judicial y factores como la fecha de nacimiento de los demandados, el nombre de las partes y del juez, el timbre de la voz (atractiva, masculina, ininteligible), el sexo, etc. 7

Con ejercicios como éste intentamos, hoy con la ayuda de la IA, refutar la idea de que el razonamiento jurídico, y especialmente el judicial, sea objetivo. Esta es la línea seguida por realistas jurídicos como Jerome FRANK (1930). El realista estadounidense argumenta que las decisiones judiciales están infestadas de sesgos, que la biografía del juez es esencial para explicar sus decisiones y que la sentencia escrita es un ejercicio de racionalización a posteriori de los factores subjetivos que mueven al juez. En fin, estos factores subjetivos y personales juegan un papel en las decisiones judiciales ya que son parte inescindible de la descripción completa que debe hacer el juez para tomar su decisión. Asimismo, algunos filósofos que rechazan la distinción entre contextos de descubrimiento y de justificación, como Thomas Khun, sostienen que las predisposiciones axiológicas (ciertos prejuicios valorativos) no pueden eliminarse de las decisiones.

Desde luego, puede que estemos interesados en conocer los motivos por los que el operador jurídico decide determinadas cuestiones de derecho, de la misma manera que nos interesa conocer las causas por las que un puente se ha caído (el ejemplo es de Golding); desde esta perspectiva, estaríamos apelando a las razones que explican la acción, y entre ellas encontraremos razones biográficas, sociales y culturales (GOLDING 1986: 136). Pero puede que también nos interese conocer las razones prácticas, es decir, las razones que justifican/argumentan/fundamentan una determinada decisión en cuestiones de derecho. La exigencia de conocer las razones que fundamentan la decisión jurídica es consustancial al Estado de derecho, porque sólo observando tal exigencia podremos en su caso rebatirla (en vía administrativa o en vía jurisdiccional, o incluso ante el Tribunal Constitucional), y nos podremos defender frente al ejercicio de los poderes del Estado. Éste es el contexto de la justificación: el relativo a las razones jurídicas, donde se prescinde de las circunstancias del hallazgo y del proceso mental que ha llevado tal decisión.

Desde luego, el juez robot movido por sistemas de ADM es muy diferente al hombre máquina de la Mettrie movido por una fisiología simplista. Quizás algunos vean en el juez robot a un agente desprovisto de sesgo alguno y ajeno a cualquier condicionante de índole subjetivo, un operador capaz de adoptar decisiones que, por ser automatizadas, serán más justas. Bajo esa hipótesis, se acabará con sentencias dispares sobre casos idénticos, garantizando que la igualdad formal sea, efectivamente, la primera premisa de la justicia. Se superarán asimismo las limitaciones de tiempo y conocimiento del juez humano, porque la máquina podrá en segundos procesar miles de datos y encontrar correlaciones que, de otra forma, pasarían desapercibidas. El juez robot sería, en fin, la feliz superación del juez Steiger. Con todo, en ambos casos la actuación práctico-jurídica se sitúa en el contexto del descubrimiento.

Para explicarlo hay que acudir a otra dicotomía ya clásica en la filosofía: la utilizada para clasificar las direcciones de ajuste. El precursor de esta noción es Tomás de Aquino, quien afirmó que la verdad es la correspondencia entre la cosa (res) y la mente (intellectus) 8. La idea sería retomada por Jonh Langshaw Austin y desarrollada John SEARLE (1983: 7 y 1999: 101) para quien la mente (la palabra) nos relaciona intencionalmente con el mundo. SEARLE distingue entre (i) ajustar nuestra mente al mundo (dirección de ajuste de la mente al mundo), y (ii) ajustar el mundo a nuestra mente (la dirección de ajuste del mundo a la mente). 9

La dirección de ajuste de la mente (o la palabra) al mundo está presente en la tecnociencia y especialmente en la informática: transitando por ella se describe la realidad. Nos dice qué es normal; se nos explica cómo funciona el algoritmo, o qué correlaciones existen entre los datos analizados. Sin embargo, la dirección de ajuste del mundo a la mente (o la palabra) es la propia de los sistemas normativos como el derecho: se nos dice lo que debería ser. Se nos dice cómo debe ser el mundo, no cómo es; se nos da cuenta de lo normativo y no debemos confundir normalidad con normatividad 10, o Sein con Sollen (KELSEN 1991 [1960]).

Estas dos direcciones de ajuste se hallan separadas en un plano conceptual (GARCÍA FIGUEROA 2017: 113). Sin embargo, esto no significa que no haya lugar para la IA en el derecho. Muy al contrario, el papel de la IA en el derecho en general, y su papel en las decisiones administrativas en particular, debe ser analizado teniendo en cuenta que se trata de herramientas descriptivas empleadas en un ámbito prescriptivo. Son criaturas de otro mundo que también sirven al normativo.

En otras palabras, es importante comprender que los patrones de conducta, las previsiones, los resultados de un proceso de ADM obtenidos mediante tecnologías como el aprendizaje profundo, nos procuran premisas descriptivas y ello supone un límite importante al papel que desempeñan los sistemas de ADM en la argumentación jurídica. La Ley de Hume 11 establece un serio límite de la IA en el derecho: es imposible derivar enunciados prescriptivos exclusivamente de premisas descriptivas; por tanto, es imposible derivar una decisión jurídica (juicio de deber) solamente de una razón o premisa descriptiva. Esto significa que los sistemas de ADM son conceptualmente incapaces de justificar / argumentar / fundamentar decisiones jurídicas (actos administrativos o decisiones judiciales) por sí solos 12.

HUERGO LORA (2020: 35) parece intuir esta división cuando sostiene que en el mundo de los algoritmos predictivos y de las predicciones basadas en datos las decisiones serán sustituidas por correlaciones descubiertas tras analizar grandes cantidades de datos, además nos indica que “son desplazados los criterios “racionales”, derivados de principios o argumentos, porque las predicciones algorítmicas sustituyen la causalidad por la correlación”. En definitiva, el peligro no es la automatización de la actividad decisoria (que tiene sus ventajas en términos de eficiencia y desventajas en términos de sesgo de automatización, entre otros); el riesgo radica más bien, en que el realismo jurídico campe a sus anchas a rebufo del uso de la IA en el derecho. Si lo relevante son las correlaciones que descubren las máquinas, los patrones imperceptibles para los humanos y las inferencias a partir del análisis de millones de datos, entonces el razonamiento jurídico será irracional, y tal irracionalidad se extenderá sobre todo el fenómeno jurídico (GARCÍA FIGUEROA 2014: 145) hasta convertir al derecho en “papel mojado”.

3. LA ADMINISTRACIÓN Y EL JUEZ ASISTIDOS POR IA. JUSTIFICACIÓN INTERNA Y JUSTIFICACIÓN EXTERNA

Incluso al lego en derecho, la idea de un juez robot o una administración pública robotizada le suele resultar inquietante. Significativamente, las reservas morales y objeciones que tal hipótesis plantea parecen disiparse cuando aducimos que el papel de la IA y de los sistemas de ADM, en particular, es la de asistir al operador jurídico, porque será el juez o el titular de un órgano administrativo quien decidirá, en última instancia auxiliándose en su caso de herramientas de IA.

En efecto, en el procedimiento de toma de decisiones, las administraciones públicas pueden utilizar sistemas de ADM basados en distintas tecnologías, seleccionando una u otra según la fase del procedimiento 13. En este sentido HOFMAN (2021: 4) indica que si bien los sistemas de ADM apenas se han utilizado de principio a fin en todas las fases de un procedimiento administrativo, hoy en día es más frecuente encontrarlos en las etapas iniciales de la actuación administrativa: en la planificación de la actuación y en la instrucción del expediente (como se tendrá ocasión de ver en el caso de las actas de inspección automatizadas de la Seguridad Social).

Ulrik ROEHL (2022) ha identificado hasta seis tipos de uso de los sistemas de ADM en la actuación administrativa dependiendo del nivel de autonomía atribuido a la IA, es decir, del uso que el operador jurídico haga de la tecnología 14. Esta clasificación funcional (no normativa) realmente identifica distintos niveles de interacción entre el humano y el sistema de ADM utilizado, entre el operador jurídico y el algoritmo:

Tipo A: automatización mínima. El operador jurídico decide sobre todos los aspectos de expediente administrativo y recibe la asistencia de tecnologías como un procesador de texto. Utilizará una check-list, instrucciones y otro tipo de estándares decisorios que no están volcados en algoritmos.

Tipo B: recuperación y tratamiento de datos. La decisión es compartida entre el operador jurídico y la tecnología. Ésta recaba, graba y presenta los datos relevantes para resolver el expediente. Por ejemplo, la concesión de becas al estudio requiere de una tecnología que examine las solicitudes y extraiga los datos relevantes de las bases de datos de la administración pública.

Tipo C: pasos procedimentales a seguir. Igualmente se produce una decisión compartida entre el operador y la tecnología. En este caso, la tecnología además de recuperar y seleccionar los datos relevantes, sugiere los siguientes pasos en el procedimiento. Por ejemplo, la tecnología utilizada en Estados Unidos para resolver las ayudas a los niños con discapacidad pertenece a esta categoría ya que el sistema discrimina las solicitudes: las clasifica de modo que para los casos más sencillos se hace una recomendación automática de decisión, mientras que, se sugiere para los casos más complejos la evaluación por el operador jurídico.

Tipo D: decisiones asistidas. La decisión es compartida entre el operador jurídico y la tecnología. Ésta recaba, graba y presenta algunos o todos los datos relevantes de un expediente y además sugiere un número limitado de soluciones o incluso una decisión específica. El ejemplo anterior sirve aquí también en tanto que la máquina propone o recomienda las decisiones posibles que puede adoptar el operador jurídico.

Tipo E: decisiones automatizadas. La tecnología, no el operador jurídico, es el autor principal de la decisión. Todos los aspectos se confían a la tecnología que opera automáticamente a partir de estadísticas y correlaciones, utilizando tecnología de machine learning supervisado en la que los humanos evalúan los resultados antes de ser volcados en el proceso de toma de decisión; pero sin la asistencia del funcionario en el proceso de toma de decisión. Siguiendo el ejemplo de la concesión de becas, tras la recuperación y cruce de datos, el algoritmo decide la cuantía de la beca sin intervención del operador jurídico basándose en correlaciones pretéritas que han sido supervisadas. Otro ejemplo lo ofrece la tecnología que identifica y notifica a los ciudadanos la deuda contraída por haber recibido beneficios sociales indebidos. En tal caso, si el ciudadano no impugna la notificación en un determinado plazo, la tecnología comienza el procedimiento para hacer efectivo el cobro de la deuda. Algunos aspectos de estas decisiones automatizadas podrían incluso inscribirse en el siguiente tipo de tecnología.

Tipo F: Decisiones autónomas. De nuevo aquí el autor principal de la decisión es la tecnología. Todos los aspectos de la decisión administrativa se confían a la tecnología basadas en sistemas dinámicos de deep learning (de caja negra), en los que el operador jurídico no interviene en el proceso de toma de la decisión.

Cualquier decisión administrativa asistida por ADM es una decisión adoptada por un operador jurídico (ROEHL 2022: 49), incluso en el ámbito de las decisiones de los tipos E y F 15. Y no podría ser de otro modo. Los sistemas de ADM son utilizados en el contexto de argumentación jurídica donde lo relevante, recuérdese, es fundamentar normativamente una decisión, aportar las razones para la acción. Insisto: ¿cuál es entonces el papel de la IA, esta criatura empírica, en el mundo normativo de la argumentación jurídica? 16.

Afrontar la argumentación jurídica como una actividad (práctico-discursiva) de exposición de razones que justifican una decisión, supone alejarse del contexto de descubrimiento y adentrarse en el contexto de justificación. Pues bien, estos dominios están constituidos por distintas premisas (tanto jurídicas como extra-jurídicas) que se integran en la estructura de un razonamiento lógico deductivo. De esta manera, la justificación jurídica presenta dos niveles: la justificación interna y la justificación externa. Esta distinción en la TAJ se la debemos al filósofo polaco Jerzy WRÓBLEWSKI (1979), quien inspira el trabajo de Neil MACCORMICK (1978), si bien el filósofo escocés se refiere a ella como justificación de primer orden o deductiva, y justificación de segundo orden. Robert ALEXY también distingue ambos niveles de justificación jurídica: “[E]n la justificación interna se trata de ver si la decisión se sigue lógicamente de las premisas que se aducen como fundamentación; el objeto de la fundamentación externa es la corrección de estas premisas” (1989: 214) 17.

La justificación interna se expresa en términos lógicos-deductivos; su estructura es la del modelo de subsunción de hechos concretos en un supuesto de hecho genérico que contiene una norma jurídica (prótasis) y al que se le imputan ciertas consecuencias (apódosis). Es el silogismo jurídico 18:

(x) Fx ➝ Gx
Fa

Ga

Este esquema es insuficiente en los casos difíciles que se presentan, entre otros, cuando:

(1) La norma contenga propiedades alternativas como nuestro art. 28 de la LRJSP “Sólo podrán ser sancionadas por hechos constitutivos de infracción administrativa [quienes] resulten responsables de los mismos a título de dolo o culpa”.

(2) La aplicación requiera el complemento de otras normas aclarativas, limitativas, o extensivas. Por ejemplo, los reglamentos ejecutivos tienen esa función. Pensemos en el art. 61 de la Ley General de Telecomunicaciones establece que el Gobierno desarrollará mediante real decreto la determinación de los niveles únicos de emisión radioeléctrica tolerable y que no supongan un peligro para la salud pública. En efecto, lo hace mediante Real Decreto 138/1989, que se remite a los límites tolerables y métodos de medida reconocidos en por UNE, el organismo de normalización español.

(3) Sean posibles diversas consecuencias jurídicas.

(4) En la formulación de la norma se usen expresiones que admiten diversas interpretaciones, como los conceptos jurídicos indeterminados. En estos casos, se utilizan tantas premisas como sean necesarias para garantizar la robustez del razonamiento lógico-deductivo y evitar los saltos en el razonamiento. El resultado son cadenas lógicas más o menos complejas.

Del mismo modo que no podemos confiar la actividad jurídica al contexto de descubrimiento (somos algo más que un aparato digestivo, muy a pesar de cierto realismo jurídico), tampoco podemos echarnos a los brazos del formalismo que sostiene que la argumentación jurídica puede reducirse a un silogismo jurídico. Y esto es así porque una visión formalista del razonamiento jurídico (reducido a la deducción lógica), forma parte de un marco teórico más amplio cuyos elementos básicos están superados en el paradigma jurídico (occidental) actual: el rol neutral y legalista del operador jurídico, la visión omnicomprensiva y legalista del derecho, y la visión formal, pasiva y lógica de la aplicación del derecho. Como no podemos establecer un modelo de aplicación del derecho independiente de la concepción que tengamos del derecho (GARCÍA FIGUEROA 2014: 161), el formalismo en la aplicación del derecho responde también a una concepción del derecho que hoy apenas se comparte 19.

A título de ejemplo, un excesivo formalismo está detrás de la decisión adoptada por la Xunta de Galicia en relación con la concesión de ayudas a mujeres emprendedoras desempleadas 20. Se denegó a la solicitante una ayuda por montante de 5.000€ para poner en marcha una pequeña empresa porque había contraído una deuda de 5,88€ con la Agencia Tributaria, y la norma establece que no pueden ser elegibles los solicitantes deudores a la Agencia Tributaria. Cuando se impugnó la decisión en vía contencioso-administrativa el Tribunal Superior de Justicia de Galicia (STSJ 3884/2019) falló a favor de la demandante, y formuló un razonamiento jurídico que entrelaza varias razones:

— La relevancia de las políticas públicas del caso, a saber, la aplicación rigurosa de las normas tributarias, por un lado, y la promoción del empleo y la igualdad por otro.

— El origen de la deuda (insignificante): un recargo del 5% sobre una deuda principal que se pagó previamente.

— El hecho de que el recargo no es autoliquidable, es decir, no se puede pagar hasta que se liquide la deuda principal.

— La inexistencia de deuda cuando la Administración Pública notificó la denegación de la ayuda (la solicitante la liquidó antes de la notificación del acto desestimatorio).

Con estos argumentos jurídicos, el Tribunal Superior de Justicia de Galicia supera el rígido enfoque formalista en la aplicación de las normas jurídicas mostrado por el órgano administrativo, sobre todo cuando la argumentación se reduce al silogismo jurídico.

Entre otros muchos, tanto Neil MacCormick (nada sospechoso de irreflexivo antipositivismo) como Robert Alexy se han encargado de identificar los límites del razonamiento deductivo en el sentido de que no logra justificar las premisas utilizadas en la justificación interna. Es entonces cuando debemos acudir a la justificación externa. Robert ALEXY (1989: 222) enumera así las premisas que podemos utilizar en la justificación jurídica interna: (1) reglas de derecho positivo; (2) enunciados empíricos; y (3) premisas que no son enunciados empíricos ni reglas de derecho positivo. Para justificar las reglas de derecho positivo se acude a la conformidad con los criterios de validez del ordenamiento; para justificar premisas empíricas se utilizan medios de prueba y distintas formas de proceder que van desde la presunción a las reglas de carga de la prueba en el proceso; finalmente, para justificar premisas que no son ni reglas de derecho positivo ni enunciados empíricos se acude a la argumentación jurídica.

4. SISTEMAS DE ADM EN LA JUSTIFICACIÓN JURÍDICA

Por tanto, esta clasificación de premisas relevantes en el nivel interno de la justificación incluye el derecho (el sistema de reglas de derecho positivo), los hechos (enunciados empíricos), y lo que no es ni lo uno ni lo otro. Por lo que interesa a este estudio, a esta última categoría pertenecen los principios éticos de la IA responsable (trustworthy AI) que señala la Comisión Europea: respeto de la autonomía humana, previsión del daño, equidad, y explicabilidad. Se trata de mandatos normativos que no se pueden aplicar como las reglas de derecho y desde luego, son ajenos al mundo empírico de los hechos.

Por lo que se refiere a las reglas jurídicas o reglas de derecho positivo (utilizando la terminología de ALEXY 1989), algunos autores han defendido que los sistemas de ADM son legislación y por lo tanto su código se puede entender como reglas de derecho. BOIX PALOP (2020) es un muy cualificado defensor de esta tesis al sostener que los algoritmos utilizados por la administración pública en el proceso de toma de decisiones son regulaciones jurídicas, puesto que cumplen las funciones propias de una norma jurídica. También en el derecho italiano, el Consejo de Estado (similar a nuestra Sala Tercera del Tribunal Supremo) en sentencia de 8 de abril de 2019 ha establecido que el algoritmo es una regla jurídica general sujeta a los mismos principios de transparencia y accesibilidad que se aplican a las normas 21.

Esta conclusión es muy tentadora cuando el sistema de ADM utiliza tecnología de árbol de decisión que sigue la estructura “si —> entonces”. Por ejemplo, al igual que los algoritmos, los procedimientos administrativos “se componen de pasos dotados de un contenido determinado, que han de seguirse para llegar a una solución” (HUERGO LORA 2020: 27) 22. Ahondando en esta línea, James MOHUN y Alex ROBERTS han propuesto (desde la plataforma que proporciona la OCDE) la noción de “Rules as Code” (2020), con el fin de que las normas jurídicas tengan dos versiones: una versión en lenguaje natural, y otra versión oficial en lenguaje matemático de forma que sea consumible por la máquina. Se logra así, sostienen sus promotores, que las normas jurídicas (escritas en lenguaje natural) sean entendidas y aplicadas por los sistemas informáticos de manera coherente, y que se eliminen las discordancias entre una determinada línea de acción y su ejecución (por una máquina, se entiende).

Por lo tanto, aparentemente podemos asimilar los sistemas de ADM a reglas jurídicas. Sin embargo, esta es precisamente la tesis que he intentado desenmascarar aquí acudiendo a la diferencia entre Sein y Sollen, entre premisas descriptivas y premisas prescriptivas: no podemos confundir lo empírico con lo normativo.

Para ilustrarlo de nuevo, podemos acudir al conocido asunto BOSCO: un algoritmo diseñado para comprobar si los solicitantes tienen derecho al bono social en materia de energía 23, y para calcular el monto del descuento a aplicar. No parece una herramienta de IA muy sofisticada 24, ni su programación parece que pudiera apartarse de la norma jurídica que establece claramente los requisitos y las cuantías de las ayudas. Sin embargo, la organización CIVIO detectó casos en los que los solicitantes, cumpliendo los requisitos legales exigidos para disfrutar del bono social, no eran elegibles para BOSCO 25. Estaba claro que el algoritmo de BOSCO arrojaba resultados incompatibles con las normas jurídicas, cosa que pudiera ser debida a que estuviera mal diseñado, o incluso a que no pudiéramos introducir datos relevantes desde el punto de vista jurídico en la secuencia de comandos (HUERGO LORA 2020: 28). En estos casos, el resultado será inválido jurídicamente, y podremos impugnar la decisión porque no se ajusta a derecho. En definitiva, es la conformidad con la norma jurídica lo que justifica el uso de los algoritmos de árbol de decisión o incluso de sistemas expertos en la justificación de una decisión jurídica, por lo que nos podemos aventurar a pensar que es la norma jurídica, y no el algoritmo, la que justifica la decisión.

Desde el punto de vista de la TAJ, los sistemas de ADM serían considerados como enunciados empíricos. Después de todo, también estas premisas necesitan justificación (en el nivel externo). Para ello podemos acudir tanto a reglas de derecho como a enunciados que no son ni enunciados empíricos ni reglas de derecho (principios éticos, por ejemplo), pero en todo caso, si no queremos confundirlo todo, hay que distinguir los métodos de fundamentación utilizados (ALEXY 1989: 223).

Del peligro de esta confusión da buena muestra el uso de sistemas de ADM basados en machine learning, y sobre todo en el aprendizaje profundo. En estos casos, la máquina hace conexiones entre la ingente cantidad de datos que la alimentan, y los procesa en capas intermedias ocultas, hasta llegar a la capa de salida: la decisión, entendida como un enunciado empírico (no prescriptivo). Pues bien, cabe recelar de la aplicación de esta tecnología en el ámbito jurídico, y muy particularmente en el ámbito de la justificación de las decisiones jurídicas, porque adolece de falta de transparencia. No sabemos cómo funciona, por lo que desconocemos qué lleva a un sistema de ADM a alcanzar una decisión concreta. Monika ZALNIERIUTE et al. (2021) sostienen que esta opacidad es consecuencia de las limitaciones humanas para entender y explicar cómo opera la IA basada en datos, especialmente los sistemas de caja negra 26. A esta falta de transparencia (GUTIÉRREZ DAVID la denomina “opacidad inherente”, 2021: 177) hay que añadir el desconocimiento de su utilización, o incluso su utilización en etapas previas a la iniciación de un expediente administrativo, con lo que su control por el interesado será más difícil, acarreando una evidente merma de garantías en el procedimiento administrativo.

Un ejemplo de uso de esta tecnología opaca por parte de la administración pública española lo ofrece el Real Decreto 688/2021, de 3 de agosto, por el se modifica el Reglamento general sobre procedimientos para la imposición de sanciones por infracciones de orden social y para los expedientes liquidatarios de cuotas de las Seguridad Social (RGPSOS en adelante). Esta modificación incluye la inspección automatizada (arts. 43 y ss.) como resultado de la incorporación de un sistema de ADM. Evidentemente, ello facilita el análisis y cruce de datos provenientes de distintas administraciones públicas como la Agencia Tributaria, el Servicio Público de Empleo, y el Instituto Nacional de la Seguridad Social, entre otros; y como resultado, el sistema arroja probabilidades de incumplimientos legales a partir de las cuales se puede evacuar la correspondiente acta de infracción automatizada o incluso iniciar un expediente sancionador 27.

Las actas de infracción automatizadas deben reflejar los hechos comprobados, con expresión de aquellos que sean relevantes a los efectos de la tipificación de la infracción, de la determinación de los medios utilizados para la comprobación de los hechos que fundamentan el acta y de la indicación expresa de que se trata de una actuación administrativa automatizada incoada en su momento mediante expediente administrativo (art. 45 RGPSOS) 28. Como este uso de las actas de infracción automatizadas ya opera en ámbitos como las infracciones de tráfico, quizás pase desapercibida la extraordinaria innovación que supone (GOERLICH PESET 2021): el sistema de ADM elige objetivos y detecta el fraude a partir de perfiles que elabora la máquina. Más aún, en la motivación del acto automatizado la norma no contempla la obligación de indicar que en la actividad administrativa se haya utilizado un sistema de ADM ni, menos aún la obligación de consignar el algoritmo utilizado 29. Nos encontramos así ante una actividad administrativa opaca porque, en primer término, está lejos del alcance de entendimiento humano [a esta opacidad derivada de la tecnología se refiere Monika ZALNIERIUTE et al. (2021)] y, en segundo lugar, porque la falta de transparencia (opacidad inherente según GUTIÉRREZ DAVID 2021: 177) hace imposible el control por parte del interesado (aunque hay que reconocer que el juez no está mucho más preparado).

La falta de transparencia de los sistemas de ADM vulnera la obligación de motivar una decisión jurídica, una obligación que en el Estado de Derecho permite a los administrados conocer las razones que justifican la decisión y poder así recurrirla. Quizás por ello GUTÍEREZ DAVID aplica el concepto de caja negra a la actividad administrativa asistida por sistemas de ADM “no sólo a los algoritmos de machine learning o deep learning, sino a cualquier modelo total o parcialmente automatizado de toma de decisiones, al margen del tipo de algoritmo implementado, cuando no es posible verificar la corrección y la adecuación a derecho de las decisiones adoptadas por el modelo” (GUTIÉRREZ DAVID 2021: 166).

A fin de resolver el problema de transparencia de cajas negras administrativas, las soluciones planteadas van desde el acceso completo al código base, el acceso parcial, y la más novedosa, y aún en desarrollo, la IA explicable (XAI). PONCE SOLÉ (2019) aboga por considerar los algoritmos y códigos como información pública; VALERO TORRIJOS (2016) defiende el derecho de los ciudadanos a obtener información para conocer programas, órgano de control y supervisión, datos empleados, y antecedentes 30. GUTIÉRREZ DAVID (2021) considera además que es la legislación de transparencia la que debe garantizar la interpretabilidad, explicabilidad y justificación de las decisiones basadas en sistemas ADM.

Por su lado, Michèle FINCK (2019: 14) sostiene que el acceso total a los datos y al modelo de IA utilizado tiene que superar dos importantes escollos: primero, sólo una minoría de ciudadanos podría entender los datos y los comandos del algoritmo; segundo, la propiedad intelectual y la protección de datos podría revelarse como impedimento a la hora de acceder al sistema de ADM utilizado. Por ello, es la explicabilidad la vía actualmente elegida por la ingeniería informática para resolver el problema de transparencia, si bien estamos en los albores de esta tecnología. En proyectos como DARPA XAI 31 las máquinas entienden el contexto y el entorno en el que operan y, con el tiempo, construyen modelos explicativos que les permiten caracterizar los fenómenos del mundo real. Estos pueden estar basados en factores técnicos, en explicaciones contrafácticas (WACHTER et al. 2018) o bien en sistemas de compliance (HILDEBRANDT 2011). Por ejemplo, en medicina, LIME, Salency Maps, o Grad-CAM son algunos de los sistemas de XAI para la detección del cáncer, que explican el diagnóstico al que llega la máquina destacando en la imagen aquellas zonas que han sido determinantes para que la máquina alcance a la decisión.

La explicabilidad nos devuelve al mundo empírico: explicamos cómo funciona la ley de la gravedad de la misma manera que explicamos cómo funciona un sistema de IA y cómo se ha llegado a un resultado concreto. Sin embargo, de nuevo, no debemos confundir el mundo del cómo funciona un invento (empírico, conformado por premisas descriptivas) con el mundo de porqué adoptamos una decisión (normativo, y conformado por premisas prescriptivas). En otras palabras, para explicar necesitamos premisas descriptivas, mientras que para justificar / fundamentar / argumentar necesitamos, además, premisas prescriptivas 32. Tener clara esta distinción evita la reducción del discurso jurídico a un discurso empírico (ALEXY 1989: 225).

Volviendo al ámbito de la toma de decisiones automatizadas o semi-automatizadas por la administración pública, el operador jurídico, que razona en términos práctico-jurídicos, debe tener clara la distinción entre la explicabilidad y justificación jurídica. Se debe explicar la tecnología del sistema ADM utilizado para conocer cómo se atribuye más peso o relevancia al perfil elaborado a partir de casos precedentes, o la relevancia atribuida a determinados aspectos del caso concreto, o el peso de un derecho fundamental en conflicto con otros derechos que acuden al caso. Todo esto se puede explicar, y es el cometido de la XAI. Ahora bien, hay que justificar por qué se utilizan sistemas de ADM en un concreto acto administrativo, por qué se atribuye relevancia a determinados elementos del caso mientas se excluyen otros, o por qué el peso de los derechos fundamentales es diferente según las particularidades del caso.

La exigencia de justificación jurídica (externa) de los sistemas de ADM en cuanto proveedores de enunciados empíricos, nos conduce a dos exigencias de la argumentación. La primera tiene que ver con el enfoque preventivo (más que reactivo) hacia la IA en general y los sistemas de ADM en particular: la evaluación de impacto previa a la que deben ser sometidos los desarrollos tecnológicos (COTINO HUESO 2022a). Sólo así se podrá analizar y describir las operaciones del desarrollo (explicación) y también considerar su necesidad, la proporcionalidad y la evaluación de riesgos. La segunda exigencia es la relativa a la necesaria la intervención humana, supervisión de los resultados, y la reevaluación de su funcionamiento (COTINO HUESO 2022b: 77).

5. CONCLUSIÓN

Entendamos a los algoritmos como lo que son, criaturas empíricas, y su papel en la argumentación jurídica como la que corresponde a los enunciados empíricos.

En esta contribución he querido llamar la atención sobre un hecho que suele pasar desapercibido cuando nos plateamos el acomodo los sistemas de ADM en la actividad administrativa: estamos tratando un problema de utilización de enunciados empíricos en la argumentación jurídica 33. El tema no es nuevo en absoluto, pero en este estudio se ha abordado desde la perspectiva de la TAJ fundada por Robert Alexy con Theorie der juristischen Argumentation, y por Neil MacCormick con Legal Reasoning and Legal Theory. La argumentación jurídica es una garantía de la racionalidad del razonamiento jurídico donde se entrelazan la razón teórica que diferencia lo verdadero y lo falso, y la razón práctica que trata con lo que debo hacer como individuo (moralmente) o lo que debemos hacer como comunidad (políticamente) (GARCÍA FIGUEROA 2014: 87), pero también con lo que debemos hacer en el plano altamente institucional del derecho.

Si aceptamos que el derecho es argumentación, y que la actividad argumentativa es una actividad discursiva, entonces esta actividad requiere inexorablemente de seres humanos aportando razones que fundamenten una decisión normativa. Por eso, los sistemas de ADM serán siempre instrumentos que, con limitaciones, pueden ponerse al servicio del operador jurídico para justificar su decisión (el acto administrativo) y por lo tanto para someterlos al control de racionalidad como cualquier otro argumento utilizado en el discurso jurídico. Si los sistemas de ADM se sustraen de la actividad argumentativa, si pensamos que la incorporación de tecnologías de cajas negras sustituye el razonamiento jurídico, entonces habremos abrazado alguna variante del realismo jurídico, enalteciendo el contexto de descubrimiento y repudiando el paradigma de la racionalidad argumentativa.

La IA y en concreto los sistemas de ADM no son el bálsamo de Fierabrás cervantino, no sirven como solución para todo y menos aún podrían trasladarnos a una situación discursiva ideal. Los sistemas de ADM no vienen a subsanar los límites de la argumentación jurídica, esa actividad discursiva conducida por seres humanos y sujeta a limitaciones de tiempo y conocimiento. Más bien, nos permite reflexionar sobre la esencia de la argumentación jurídica, y sobre las limitaciones que la propia naturaleza del derecho impone a la IA.

6. BIBLIOGRAFÍA

Robert ALEXY (1989). Teoría de la argumentación jurídica, Manuel ATIENZA e Isabel ESPEJO (trad.), Centro de Estudios Constitucionales, Madrid.

Maróa ÁLVAREZ (2016). “Reasons for Action: Justification, Motivation, Explanation”, The Stanford Encyclopedia of Philosophy (Winter 2017 Edition), Edward N. ZALTA (ed.), URL: https://plato.stanford.edu/archives/win2017/entries/reasons-just-vs-expl/

Elizabeth ANSCOMBE (1958). “On Brute Facts”, en Analysis 18, núm. 3, pp. 69-72.

Patrick ATIYA and Robert SUMMERS (1987). Form and Substance in Anglo-American Law, Clarendon, Oxford.

Andrés BOIX PALOP (2020). “Los algoritmos son reglamentos: La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, en Revista de Derecho Público: Teoría y Método, Marcial Pons Ediciones Jurídicas y Sociales Vol. 1 , 2020 pp. 223-270.

Omar BEN-SHAHAR, y Ariel PORAT (2021). Personalized Law: Different Rules for Different People, Oxford University Press, Oxford.

Bruno CELANO (1994). Dialettica della giustificazione pratica: saggio sulla Legge di Humne, Giappichelli, Torino.

Agustí CERRILLO i MARTÍNEZ (2019). “El impacto de la inteligencia artificial en el Derecho administrativo. ¿Nuevos conceptos para nuevas realidades técnicas?”, en Revista General de Derecho, núm. 50, pp. 1-29.

Daniel CHEN (2019). “Judicial analytics and the great transformation of American Law”, en Artificial Intelligence and Law, núm. 27, pp. 15-42.

Cary COGLIANESE y David LEHR (2017). “Regulating by Robot: Administrative Decision Making in the Machine-Learning Era”, en The Georgetown Law Journal, núm.105, pp. 1147-1223.

Lorenzo COTINO HUESO (2022a). “Nuevo paradigma en las garantías de los derechos fundamentales y una nueva protección de datos frente al impacto social y colectivo de la inteligencia artificial”, en Lorenzo COTINO HUESO (dir.), Derechos y garantías ante la inteligencia artificial y las decisiones automatizadas, Aranzadi, Pamplona.

Lorenzo COTINO HUESO (2022b). “Sistemas de inteligencia artificial con reconocimiento facial y datos biométricos. Mejor regular bien que prohibir mal”, en El cronista del Estado Social y Democrático de Derecho, núm. 100, pp. 68-79.

Mariano Florentino CUÉLLAR (2016). Cyberdelegation and the Administrative State, en Stanford Public Law Working Paper No. 2754385, http://ssrn.com/abstract=2754385

Jonathan DANCY (2000). Practical Reality, Clarendon Press, Oxford.

Finale DOSHI-VELEZ, et al. (en prensa). Accountability of AI under the Law: The Role of Explanation, Berkman Klein Center for Internet & Society at Harvard Law School. (última lectura 2023, en https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3064761#)

Mamede Said Maia FILHO, and Tainá Aguiar JUNQUILLO, (2018). “Projeto Victor: perspectivas de aplicação da inteligência artificial ao direito”, Revista de Direitos e Garantias Fundamentais 19(3), pp. 218-237. https://doi.org/10.18759/rdgf.v19i3

Michèle FINCK (2019). Automated Decision-Making and Administrative Law, Max Planck Institute for Innovation and Competition Research Paper, No. 19-10.

Jerome FRANK (1930). Law and the Modern Mind, Coward-Mccann, New York.

Alfonso GARCÍA FIGUEROA (2014) Teoría de la argumentación. Funciones, fines y expectativas, en Marina GASCÓN ABELLÁN y Alfonso GARCÍA FIGUEROA (eds.), Argumentación Jurídica, Tirant lo Blanch, Valencia.

Alfonso GARCÍA FIGUEROA (2019). “Luís Recaséns Siches. El Jusfilósofo demediado (1903-1977)”, en A. L. López Villaverde (ed.), 80 años del exilio de los juristas españoles acogidos en México, Tirant lo Blanch, Valencia.

Alfonso GARCÍA FIGUEROA (2017). Praxis. Una introducción a la moral, la política y el Derecho, Atelier, Barcelona.

Manuel GARCÍA-PELAYO y ALONSO (1968). Del mito y de la razón en la historia del pensamiento político, en Revista de Occidente, Madrid.

José María GORERLICH PESET (2021). “Decisiones administrativas automatizadas en materia social: algoritmos en la gestión de la Seguridad Social y en el procedimiento sancionador”, en Labos, núm. 2, pp. 22-42. doi: https://doi.org/10.20318/labos.2021.6215

Martin P. GOLDING (1986). “A Note on Discovery and Justification in Science and Law”, en Nomos, Vol. 28, JUSTIFICATION, pp. 124-140, URL: https://www.jstor.org/stable/24219262

Naschston GOLTZ y Joel GILMORE (2018). “The Work of Law in the Age of Artificial Intelligence, or How is the Academy Dealing with the “Fourth Revolution?”, en Robotics, Artificial Intelligence & Law, núm. 1, pp. 27-32.

Daniel GONZÁLEZ LAGIER (2023). “Neuroética, moral y el paso del “ser” al “deber ser”, en Guillermo LARIGET (dir.), La metaética puesta a punto, Ediciones UNL, Santa Fe, pp. 298 y ss.

María Estrella GUTIÉRREZ DAVID (2021). “Administraciones inteligentes y acceso al código fuente y los algoritmos públicos. Conjurando riesgos de cajas negras decisionales”, en Derecom, núm. 30, pp. 143-228, http://www.derecom.com/derecom/

Mireille HILDEBRANDT (2011). “Legal Protection by Design: Objections and Refutations”, en Legisprudence, num. 5, pp. 223-248.

Herwig HOFMAN (2021). “An Introduction to Automated Decision-Making and Cyber-Delegation in the Scope of EU Public Law”, University of Luxemburg Law Working Paper Series, núm. 8.

Alejandro HUERGO LORA (2020). “Una aproximación a los algoritmos desde el derecho administrativo”, en Alejandro HUERGO LORA (dir.), La regulación de los algoritmos, Aranzadi, Pamplona, pp. 23-87.

Hans KELSEN (1991) [1960]. Teoría pura del derecho, Roberto VERNENGO (trad.), Porrúa, México.

Neil MACCORMICK (1999). My Philosophy of Law, en Luc. J. Wintgens (ed.), The Law in Philosophical Perspectives, Springer, 1999, pp. 121-146.

Neil MACCORMICK (1978). Legal Reasoning and Legal Theory, Clarendon Law Series, Oxford.

Isaac MARTÍN DELGADO (2009). “Naturaleza, concepto y regimen jurídico de la actuación administrativa automatizada”, en Revista de Administración Pública, núm. 180, pp. 353-386.

James MOHUM y Alex ROBERTS (2020). Cracking the code: Rulemaking for humans and machines, OECD Working Papers on Public Governance, n. 42. https://dx.doi.org/10.1787/3afe6ba5-en

Leonor MORAL SORIANO (2008). “Precedents: Reasoning by Rules and Reasoning by Principles”, en Northern Ireland Legal Quarterly, núm. 59, pp. 33-42.

Alaba NOGUEIRA LÓPEZ (2020). “Derechos en la ciudad, vulnerabilidad y derecho a la vivienda”, comunicación en el Congreso de la AEPDA, 2020 (Primera sesión): http://www.aepda.es/AEPDAEntrada-2518-XV-CONGRESO-DE-LA-AEPDA.aspx

Derek PARFIT (1997). “Reasons and Motivation”, Proceedings of the Aristotelian Society, (Supplementary Volume), núm. 71, pp. 99–129.

Begoña PÉREZ BERNABEU (2021). “El principio de explicabilidad algorítmica en la normativa tributaria española: hacia un derecho a la explicación individual”, en Revista española de derecho financiero, núm. 192, pp. 143-178.

Juli PONCE SOLÉ (2019). “Inteligencia artificial, Derecho administrativo y Reserva de Humanidad: Algoritmos y Procedimiento Administrativo Debido Tecnológico”, en Revista General de Derecho Administrativo, núm. 50.

Karl POPPER (2002) [1934/1959]. The Logic of Scientific Discovery, London and New York: Routledge; original published in German in 1934; first English translation in 1959.

Jennifer RASO (2021). AI and Administrative Law, en Florian MARTIN-BARITEAU y Teresa SCASSA, (eds.) Artificial Intelligence and the Law in Canada, LexisNexis, Toronto.

Joseph RAZ (1975). Practical Reasoning and Norms, London: Hutchinson & Co., reprinted, Oxford University Press, 1990 and 1999.

Cristina REDONDO (1999). Reasons for action and the law, Dordrecht, Springer.

Hans REICHENBACH (1938). Experience and Prediction. An Analysis of the Foundations and the Structure of Knowledge, The University of Chicago Press, Chicago.

Manuel Jesús RODRÍGUEZ PUERTO (2021). “¿Puede la inteligencia artificial interpretar normas jurídicas? Un problema de razón práctica”, en Cuadernos Electrónicos de Filosofía del Derecho, núm. 44, pp. 74-96.

Ulrik ROEHL (2022). Understanding Automated Decision-Making in the Public Sector: A Classification of Automated, Administrative Decision-Making, en JUELL-SKIELSE, G., LINDGREN, I., y ÅKESSON, M. (eds.), Service Automation in the Public Sector. Progress in IS. Springer, Cham, pp. 35-63. https://doi.org/10.1007/978-3-030-92644-1_3

Eberhard SCHMIDT-ASSMAN (2003). La teoría general del Derecho administrativo como Sistema. Objeto y fundamentos de la construcción sistemática, Mariano BACIGALUPO et al. (trads.), Marcial Pons, Barcelona.

John SEARLE (1983). Intentionality: An Essay in the Philosophy of Mind, Cambridge University Press, Cambridge.

John SEARLE (1979). A Taxonomy of Illocutionary Acts, Cambridge University Press, Cambridge.

Harry SURDEN (2019). “Artificial Intelligence and Law: An Overview”, en Georgia State University Law Review, núm. 35, pp. 1306-1337.

Jason TASHEA (2017). “Courts are Using AI to Sentence Criminals. That must stop now”, en https://www.wired.com/2017/04/courts-using-ai-sentence-criminals-must-stop-now/

Julián VALERO TORRIJOS (2020). “The Legal Guarantees of Artificial Intelligence in Administrative Activity: Reflections and Contributions from the Viewpoint of Spanish Administrative Law and Good Administration Requirements”, en European Review of Digital Administration & Law, Vol, 1, núm. 1-2, pp. 55-61.

Julián VALERO TORRIJOS (2016). “La tramitación del procedimiento administrativo por medios electrónicos”, en Marcos ALMEIDA CERRADA y Luís MÍGUEZ MACHO (dirs.), La actualización de la administración electrónica, Andavira, Santiago de Compostela.

Sandra WACHTER, et al. (2018). “Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR”, en Harvard Journal of Law & Technology, 2018 (https://arxiv.org/abs/1711.00399)

Jerzy WRÓBLEWSKI (1979). “Legal Syllogism and Rationality of Judicial Decision”, en Rechtstheorie, núm. 5, pp. 33-46.

Monika ZALNIERIUTE, et al. (2021). Automating Government Decision-Making: Implications for the Rule of Law, en S. de Souza, M. Spohr (eds.), Technology, Innovation and Access to Justice: Dialogues on the Future of Law, Edinburgh University Press, Edinburgh, pp. 91-111.

---