Revista Española de Derecho Europeo
92 | Octubre – Diciembre 2024
pp. 9-41
Madrid, 2024
DOI: 10.37417/REDE/num92_2024_2670
© Marcial Pons Ediciones Jurídicas y Sociales
© Mario Hernández Ramos
ISSN: 1579-6302
Recibido: 16/09/2024 | Aceptado: 14/10/2024
EL MARCO JURÍDICO REGULATORIO EUROPEO DE LA INTELIGENCIA ARTIFICIAL. LA RELACIÓN DE COMPLEMENTARIEDAD ENTRE EL REGLAMENTO DE LA UE Y LA CONVENCIÓN MARCO DEL CONSEJO DE EUROPA
THE EUROPEAN REGULATORY LEGAL FRAMEWORK FOR ARTIFICIAL INTELLIGENCE. THE COMPLEMENTARY RELATIONSHIP BETWEEN THE EU REGULATION AND THE COUNCIL OF EUROPE FRAMEWORK CONVENTION
Mario Hernández Ramos*
RESUMEN: La inteligencia artificial es una tecnología que está afectando a todos los niveles de una manera profunda. Es imprescindible que su utilización y los efectos que produce sean objeto de regulación tanto para limitar sus riesgos e impactos como para centrar su desarrollo en la dignidad humana. Europa ha tomado la iniciativa regulatoria, por parte de sus dos organizaciones más significativas desde el punto de vista de los derechos fundamentales: la Unión Europea y el Consejo de Europa. Ambas han aprobado en 2024 de manera paralela dos normas que entendemos perfectamente complementaria: el Reglamento de inteligencia artificial de la Unión Europea y la Convención Marco sobre inteligencia artificial y derechos humanos, democracia y Estado de Derecho.
PALABRAS CLAVE: inteligencia artificial; convención marco, Unión Europea; consejo de Europa.
ABSTRACT: Artificial intelligence is a technology that is affecting all levels in a profound way. It is imperative that its use and the effects it produces are subject to regulation both to limit its risks and impacts and to focus its development on human dignity. Europe has taken the regulatory initiative through its two most significant organisations from the point of view of fundamental rights: the European Union and the Council of Europe. Both have adopted in 2024 in parallel two regulations that we understand to be perfectly complementary: the EU Regulation on Artificial Intelligence and the Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law.
KEYWORDS: artificial intelligence; framework convention; European Union; council of Europe;
SUMARIO: INTRODUCCIÓN.— 1. PANORAMA REGULATORIO GENERAL DE LA IA: 1.1. Las iniciativas de soft law; 1.2. Las iniciativas de hard law. El protagonismo europeo.— 2. SEMEJANZAS: 2.1. Objetivo. Regular los efectos de la IA desde la dignidad humana; 2.2. Enfoque. La evaluación del riesgo y del impacto de la IA; 2.3. Definición de IA; 2.4. Limitaciones en el ámbito de aplicación.— 3. DIFERENCIAS: 3.1. Base y naturaleza jurídica; 3.2. Ámbito de aplicación; 3.3. Contenido: especificación de los sistemas prohibidos y de alto riesgo. Creación de un sistema de gobernanza: 3.3.1. Diferencias de contenido; 3.3.2. Prácticas prohibidas y de alto riesgo; 3.3.3. Sistema de gobernanza. 3.5. Entrada en vigor y aplicabilidad.— 4. RELACIÓN DE COMPLEMENTARIEDAD ENTRE LOS DOS INSTRUMENTOS.— 5. CONCLUSIÓN.— BIBLIOGRAFÍA
El surgimiento de nuevas tecnologías, especialmente con un gran potencial para alterar cualquier componente o elemento de una sociedad de una manera significativa como es el caso de la inteligencia artificial (en adelante IA) demanda la creación de una regulación jurídica en aras de la seguridad jurídica, del principio de legalidad y de la observancia de los derechos fundamentales de la ciudadanía. No en vano esta tecnología es la protagonista de la Cuarta Revolución industrial en la que nos encontramos 1.
Los problemas jurídicos ocasionados por la ausencia de regulación de Internet durante los primeros años de su existencia, tanto a nivel nacional como internacional, ayudaron a extraer algunas conclusiones que están siendo tenidas en cuenta para regular la IA. Por ejemplo, el carácter transnacional de los efectos de la IA ha sido objeto de mucho menos debate como el que suscitó la regulación de Internet. En efecto, hay pocas dudas de que una regulación nacional sobre sistemas de IA no sería muy útil debido precisamente al mencionado carácter transnacional de sus efectos. Tanto las empresas como los operadores tecnológicos han demandado insistentemente unas reglas comunes que enmarquen su actividad y sobre todo su labor de innovación y desarrollo, estableciendo una igualdad de condiciones para la competencia ente ellas (level playing field) a nivel mundial o al menos lo más amplio posible.
Se ha sucedido de esta manera una multitud de ejercicios regulatorios desde diferentes disciplinas, niveles y perspectivas en consonancia con el carácter transversal, horizontal y transfronterizo de la IA.
En este trabajo, tras ofrecer una panorámica muy breve del escenario regulatorio mundial, nos centraremos en explicar y comparar las dos normas más avanzadas y jurídicamente vinculantes que ya han sido aprobadas y están en proceso de entrar en vigor y ser aplicables en el escenario de las democracias occidentales. Ambas son europeas.
La primera, se trata del Reglamento de la UE en materia de IA, o Reglamento de IA, (en adelante Reglamento) publicado en el Diario Oficial de la UE el 12 de julio de 2024 2. La segunda es la Convención Marco del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho (en adelante Convención Marco) 3. Tras analizar las semejanzas y diferencias entre ambas, se apuntará la interesante relación de complementariedad que permitirá que en el territorio europeo el uso de los sistemas de IA esté sometidos a una regulación garantista con los derechos fundamentales de las personas, los principios del Estado de Derecho y las instituciones y procesos democráticos.
Durante bastantes años desde que comenzó esta nueva primavera de la IA 4 parecía que solo iba a ser objeto de una autorregulación por el sector privado o normativas de tipo soft law 5.
Las organizaciones internacionales tomaron la iniciativa aprobando regulaciones, pero sin tener una naturaleza jurídica vinculante. Destaca el papel de la OCDE y la aprobación de la Recomendación del Consejo sobre IA, adoptada el 22 de mayo de 2019 6. La UNESCO también desarrolla una labor muy intensa e interesante 7. De hecho, este organismo especializado de Naciones Unidas presume, en el mejor sentido de la palabra, de haber constituido el marco para que sus 193 Estados integrantes hayan aprobado la primera norma mundial sobre la ética de la IA: la “Recomendación sobre la ética para la inteligencia artificial”, de 23 de noviembre de 2021 8.
En el ámbito del Consejo Europeo son varias las instituciones o comités que han elaborado sus propias recomendaciones, informes o documentos de trabajo en materia de IA, prestando especial atención a los derechos humanos. Destacan las recomendaciones de la Asamblea Parlamentaria relacionadas con derechos humanos, como por ejemplo para evitar la discriminación causada por el uso de IA 9, o en materia de justicia penal 10, entre otras 11; o del Comité de Ministros sobre el impacto en los derechos humanos por los sistemas algorítmicos 12. De manera particular merece una reseña especial, por ser una de las primeras en esta materia, por su claridad y utilidad, la recomendación elaborada por el Alto Comisionado para los Derechos Humanos titulada de manera gráfica “Unboxing Artificial Intelligence: 10 steps to protect Human Rights” 13. Por último, y sin ningún ánimo de exhaustividad, no puede dejar de mencionarse la “Carta Ética Europea sobre el uso de la IA en los sistemas judiciales y su entorno” 14 elaborada por la Comisión Europea para la Eficiencia de la Justicia (CEPEJ).
También en el marco de la UE son abundantes las recomendaciones e informes de instituciones y organismos en materia de IA 15, destacando los trabajos del Grupo Expertos de Alto Nivel sobre IA creado por la Comisión Europea 16 , los informes y recomendaciones del Parlamento Europeo 17 y en concreto de su Comisión Especial sobre Inteligencia Artificial en la Era Digital (Comisión AIDA) 18, y por supuesto los informes del Supervisor Europeo de Protección de Datos (SEPD o EDPS por sus siglas en inglés) 19 y del Comité Europeo de Protección de Datos (CEPD o EDPB por sus siglas en inglés) 20.
A medida que avanza la década de los años 20 del siglo XXI se intensifican los esfuerzos regulatorios de una tecnología que afecta de manera horizontal a todos los niveles de la sociedad. Tanto es así que se discutió si nos encontrábamos ante el surgimiento de un Derecho Internacional sobre IA (lex specialis) o simplemente ante una carrera regulatoria 21, pues quien logre que se apruebe una primera regulación en IA consigue establecer los primeros estándares identificados con los intereses nacionales, influyendo de paso en el escenario regulatorio internacional.
Desde el punto de vista del soft law internacional, destaca el denominado Hiroshima AI Process, patrocinado por el G7 y aprobado el 30 de octubre de 2023, que incluye 12 principios rectores sobre IA generativa y un Código de Conducta 22; así como la Bletchley Declaration AI Safty Summit patrocinada por el Reino Unido, cumbre celebrada del 1 al 2 de noviembre de 2023 23.
Sin embargo, lo más característico de los últimos años ha sido la proliferación de proyectos normativos nacionales e internacionales de hard law, es decir, jurídicamente vinculantes.
Desde la dimensión nacional, destaca la labor desarrollada en EEUU con la aprobación de la Orden Ejecutiva sobre el desarrollo y la utilización segura y fiable de la IA dictada por el Presidente Biden el 30 de octubre de 2023 24; de China, con la aprobación de 3 normas sobre recomendación algorítimica (2022), sobre deepfakes (2023) y sobre IA Generativa (2023) 25 o de Canadá 26. Además, hay sobre la mesa varias iniciativas nacionales en fase de proyecto que en un futuro cercano acabarán cristalizando en normas jurídicas nacionales, como es el caso de Reino Unido, Brasil, India, Israel, Japón, o Corea del Sur 27.
Pero desde una óptica de naturaleza jurídicamente vinculante, hay dos iniciativas protagonistas, una desde una óptica eminentemente de Derecho internacional patrocinada por una organización internacional clásica, como es el Consejo de Europa; y otra desde una óptica más nacional, de Derecho interno, impulsada por una organización supranacional como es la Unión Europea. Dado el diferente ámbito, propósito y objeto regulatorio, sendos proyectos son totalmente complementarios y ambas organizaciones y los Estados parte se esfuerzan en tareas de coordinación para que así sea.
Por parte del Consejo de Europa, el Comité de Ministros ha establecido dos comités ad hoc sobre inteligencia artificial, el Committee ad hoc on AI (en adelante CAHAI) cuyo mandato expiró el pasado diciembre de 2021 28 y el Committee on AI (CAI) 29 constituido a continuación hasta noviembre de 2025, con el objetivo de “elaborar un marco jurídico adecuado sobre el desarrollo, el diseño y la aplicación de la inteligencia artificial, basado en las normas del Consejo de Europa en materia de derechos humanos, democracia y Estado de Derecho, que favorezca la innovación, que puede estar compuesto por un instrumento jurídico vinculante de carácter transversal, que incluya, en particular, principios comunes generales, así como otros instrumentos vinculantes o no vinculantes para hacer frente a los retos relacionados con la aplicación de la inteligencia artificial en sectores específicos, de acuerdo con las decisiones pertinentes del Comité de Ministros”.
El CAHAI elaboró un Estudio de viabilidad de elementos de un marco jurídico sobre el diseño, el desarrollo y la aplicación de la IA basado en las normas del Consejo de Europa, aprobado el 17 de diciembre de 2020 30, en el que se señalaban los elementos principales para un marco jurídico que regulara el diseño, desarrollo y aplicación de la IA, en relación con los derechos humanos, la democracia y el Estado de Derecho. Este estudio en la actualidad sirve de base para los trabajos del CAI cuyo objetivo es la elaboración de una propuesta de instrumento jurídico de regulación de IA de carácter horizontal en el marco de las competencias del Consejo de Europa, objetivo culminado en mayo de 2024 y que se encuentra ahora mismo en la fase de firma y ratificación por las partes para su entrada en vigor. Un valor añadido muy interesante del CAI es que no solo está integrado por los 46 Estados parte del Consejo de Europa, sino que trabajan y forman parte los Estados observadores del Consejo de Europa (Estados Unidos, México, Canadá, Santa Sede, Japón e Israel), aunque otros países externos, principalmente de Iberoamérica se han unido al CAI, como Australia, Argentina, Costa Rica, Perú y Uruguay, y la Unión Europea representada por la Comisión Europea. En este sentido, el Convenio Marco establece estándares en materia de IA, derechos humanos, democracia y Estado de Derecho en gran parte del mundo occidental, al que seguramente se irán incorporando más Estados 31.
Por su parte, la UE también ha tomado la iniciativa de una manera decidida en cuanto a la elaboración de un instrumento jurídico vinculante. El 21 de abril de 2021 se presentó la propuesta de Reglamento de la UE por el que se establecen normas armonizadas en materia de IA y se modifican determinados actos legislativos de la UE, COM(2021) 206 final, de 21 de abril de 2021. El 12 de julio de 2024 fue finalmente publicado en el DOUE tras un proceso de negociación entre el Consejo y el Parlamento Europeo muy intenso.
A diferencia de la Convención Marco del Consejo de Europa, el Estado de Derecho y la democracia no suponen el principal objeto de preocupación de este Reglamento, dados los diferentes objetivos de sendas organizaciones internacionales. Como se explicará más adelante, la base jurídica de este Reglamento es el art. 114 TFUE (adopción de medidas para garantizar el establecimiento y el funcionamiento del mercado interior); pero ello no obsta para que la Comisión Europea incluyera entre los objetivos de este Reglamento cuestiones relacionadas, por ejemplo, con los derechos humanos. En este sentido, la Comisión Europea pretendió garantizar “que los sistemas de IA introducidos y usados en el mercado de la UE sean seguros y respeten la legislación vigente en materia de derechos fundamentales y valores de la Unión”; por otro lado, “mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y los requisitos de seguridad aplicables a los sistemas de IA”. Es decir, los derechos y otras materias de Derecho Público tienen su importancia, su protección vertebra todo el proyecto, pero no son el objeto principal del instrumento.
Es importante enfatizar que durante la elaboración del Reglamento y de la Convención Marco las relaciones entre el Consejo de Europa y la Unión Europa han sido continuas para que los dos textos estuvieran alineados y no contuvieran disposiciones contradictorias.
Además, desde que el CAI presentó el primer borrador de la Convención Marco en agosto de 2022, la Comisión Europea recibió el mandato del Consejo (UE) para representar a los 27 Estados miembro en la negociación del CAI 32 para evitar discrepancias entre los dos textos a pesar de su objeto convergente, propiciando además una aplicación homogénea del Derecho de la UE en los 27 Estados miembro. En virtud del principio de cooperación leal que preside las relaciones entre la UE y los Estados miembro, las reuniones de coordinación entre los Estados y la UE se desplegaron y siguen desplegándose en dos escenarios, tanto a nivel europeo (concretamente en el Grupo de Telecomunicaciones y Sociedad de la Información, del Consejo UE), como en el Consejo de Europa, en las reuniones de coordinación que la Comisión mantiene periódicamente con las delegaciones nacionales ante el CAI.
En este punto surge la pregunta de si era necesario que dos organizaciones internacionales europeas impulsaran la redacción de un instrumento jurídico para regular los efectos de la utilización de la IA. Para dar respuesta a esta pregunta es imprescindible analizar las semejanzas y diferencias entre ambas.
Ambas normas conciben como objeto de regulación no la tecnología en sí, sino los efectos que la misma pueda producir. Dicha regulación está inspirada por un entendimiento de la IA centrada en el ser humano (human centered AI) 33, es decir, quedarán proscritos aquellos efectos que atenten contra los intereses y valores humanos y socaven los principios constitucionales occidentales. De esta manera, se diferencian claramente de otros ejercicios regulatorios ambiciosos pero cuya motivación se desvía de la promoción del ser humano en pos de otros intereses. En consecuencia, ambas normas están atentas a conceder una posición central a dos principios que deben estar presente y acotar los efectos de una tecnología que puede emular casi todos los comportamientos del ser humano y por tanto ostenta la potencialidad para reemplazarle dada su característica posibilidad de actuar de manera autónoma y aprendiendo por sí misma; estos principios son la dignidad humana y la autonomía personal, sin dejar de lado, además, el resto de valores y principios constitucionales como los derechos fundamentales, la democracia y el Estado de Derecho.
En el art. 1 del Reglamento IA se señala el objetivo de esta norma jurídica que, a juzgar por la redacción, es doble. Por un lado, el objetivo pretendido es “mejorar el funcionamiento del mercado interior”; por otro lado, se pretende “promover la adopción de una inteligencia artificial (IA) centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta 34, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, frente a los efectos perjudiciales de los sistemas de IA en la Unión, así como prestar apoyo a la innovación.” La centralidad del ser humano del Reglamento está claramente enunciada en el artículo señalado, pero no es el caso ni del principio de dignidad humana ni de autonomía personal que no se contiene en el texto articulado sino solo se señalan en los considerandos 35.
Por su parte, en la Convención Marco la centralidad del ser humano se enuncia de manera más explícita, concediéndole una importancia más destacada al señalarse claramente como objetivo “Garantizar que las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial sean plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho” (art. 1.1) Además, los principios de dignidad humana y autonomía personal se consagran en el articulado, consagrándose así su carácter jurídicamente vinculante: “Cada Parte adoptará o mantendrá medidas para respetar la dignidad humana y la autonomía individual en relación con las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial.” 36
La segunda semejanza concreta aún más el objeto de regulación de estos instrumentos normativos, adoptando un enfoque que parte de una afirmación ampliamente compartida tanto por la industria como por la academia: no es necesario regular todo uso de todo sistema de IA, sino simplemente aquellos que impliquen un riesgo de impacto o perjuicio significativoo, llegando a prohibirse determinados usos de IA que produzcan perjuicios inasumibles o intolerables en los derechos fundamentales y demás intereses constitucionales, concretamente en el caso del Reglamento a la salud y a la seguridad, y en el caso de la Convención Marco a la democracia y al Estado de Derecho. El riesgo es definido en el Reglamento IA como “la combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicio” 37.
Este enfoque es tan determinante que condiciona la estructura misma del Reglamento IA, pues buena parte del mismo se desarrolla estructurando su contenido en función del riesgo y el impacto, distinguiendo entre prácticas de IA prohibidas por suponer un riesgo inaceptable, sistemas de alto riesgo, sistemas de IA para los que se establecen obligaciones que ayuden a minimizar este riesgo y sistemas que suponen un riesgo mínimo o inexistente. El Capítulo II se centra en las “Prácticas de IA prohibidas” 38, el Capítulo III sobre “Sistemas de alto riesgo” 39 y el Capítulo IV sobre “Obligaciones de transparencia de los proveedores y responsables del despliegue de determinados sistemas de IA” 40
Por el contrario, la Convención Marco del Consejo de Europa no adopta una explicitación de su estructura o contenido con base en el riesgo e impacto, a pesar de recoger este enfoque de manera muy clara en el art. 1 afirmando que las medidas que las partes de la Convención deben adoptar para darle efecto “se graduarán y diferenciarán según sea necesario en vista de la gravedad y la probabilidad de que se produzcan efectos adversos en los derechos humanos, la democracia y el Estado de Derecho a lo largo de todo el ciclo de vida de los sistemas de inteligencia artificial.” 41 Además, en el Capítulo V “Evaluación y mitigación de riesgos e impactos adversos” se establece un marco de gestión de riesgos e impactos exigiendo que cada Parte adopte o mantenga “medidas para la identificación, evaluación, prevención y mitigación de los riesgos que plantean los sistemas de inteligencia artificial, teniendo en cuenta las repercusiones reales y potenciales para los derechos humanos, la democracia y el Estado de Derecho” que deberán graduarse y diferenciarse en función de una serie de circunstancias y criterios detallados en el art. 16, incluyéndose incluso la posibilidad de establecer moratorias o directamente prohibiciones respecto de ciertos usos cuando se considere sean “incompatibles con el respeto de los derechos humanos, el funcionamiento de la democracia o el Estado de Derecho” 42.
La definición de IA ha sido uno de los problemas más difíciles a los que los redactores de ambos textos han tenido que hacer frente, debido a que no existe una definición universalmente aceptada, ni siquiera o en especial en el ámbito tecnológico, de lo que se entiende por IA. Por supuesto que hay muchas propuestas, elaboradas desde muchos puntos de vista, disciplinas y ámbitos, pero ninguna que concite el acuerdo unánime. A lo largo de los años y en los diferentes borradores elaborados se han presentado muchas propuestas que han ido cambiando en muchas ocasiones debido a los desarrollos tecnológicos.
Contar con una definición jurídica es esencial, pues solo así se podrán aplicar las medidas y requisitos que sendas normas establecen a los sistemas de IA. Los principios de legalidad y de seguridad jurídica, en consecuencia, exigen una definición explícita y clara. Y sendas normas contienen una definición, pero ha de precisarse que dicha definición es funcional, es decir, en los textos no se define esta tecnología, sino lo que debe entenderse por esta tecnología a los efectos de estas normas. Tanto la Convención Marco como el Reglamento advierten con claridad del carácter funcional de la definición antes de iniciarla anteponiendo a la misma las palabras “a los efectos del presente Convenio” 43 y “a los efectos del presente Reglamento” 44.
En la elaboración de las definiciones cobró mucha importancia, tanta que constituyó la referencia principal para las dos organizaciones europeas, los trabajos que estaba desarrollando la OCDE precisamente sobre la definición de la IA 45. Sin duda, estos trabajos facilitaron una convergencia de las definiciones contenidas en las dos normas, una convergencia que se buscó intencionadamente. En mayo de 2019, la OCDE propuso una primera definición de IA como parte de sus “Principios de la OCDE sobre la IA” 46. Esta definición inicial se basaba principalmente en el trabajo de los expertos Stuart RUSSEL y Peter NORVING 47, y definía a la IA como “un sistema basado en una máquina que puede, para un objetivo definido por el ser humano, hacer predicciones, recomendaciones o decisiones que influyen en entornos reales o virtuales. Los sistemas de IA están diseñados para funcionar con distintos niveles de autonomía”.
En noviembre de 2023, la OCDE revisó y actualizó su definición de IA 48 de la siguiente manera: “Un sistema de IA es un sistema basado en máquinas que, para objetivos explícitos o implícitos, infiere, a partir de la entrada que recibe, cómo generar salidas tales como predicciones, contenidos, recomendaciones o decisiones que pueden influir en entornos físicos o virtuales. Los sistemas de IA varían en sus niveles de autonomía y adaptabilidad tras su despliegue”.
Los principales cambios de esta nueva definición 49 se centraron en eliminar la referencia a “objetivos definidos por el ser humano”, dado que los sistemas de IA pueden aprender nuevos objetivos por sí mismos; se apuntó la variabilidad en los niveles de autonomía y adaptabilidad de los sistemas de IA; se incluyó el esencial y discutido concepto de “inferencia” basado en las entradas recibidas 50.
En el Reglamento de la UE se define sistema de IA como “un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales” 51.
Por su parte, en la Convención Marco se define un sistema de IA como “un sistema basado en máquinas que, para objetivos explícitos o implícitos, deduce, de la información que recibe, cómo generar resultados, como predicciones, contenidos, recomendaciones o decisiones que puedan influir en entornos físicos o virtuales. Los distintos sistemas de inteligencia artificial varían en sus niveles de autonomía y capacidad de adaptación tras su despliegue.” 52
Este ejercicio comparativo revela dos hallazgos interesantes: en primer lugar, efectivamente existe una similitud entre las tres definiciones fácil de constatar; en segundo lugar, y mucho más importante, esta similitud señala los elementos esenciales o imprescindibles que configuran un sistema de IA. Esto resulta de gran utilidad para cualquier persona interesada en conocer qué es la IA pues a día de hoy sigue sin existir una definición universalmente aceptada de IA por los expertos 53.
Tras señalar la importancia de entender los sistemas de IA basados en máquinas, se resaltan dos características esenciales de esta tecnología: su capacidad de actuar de manera autónoma, y su adaptabilidad.
La autonomía es la capacidad o habilidad de realizar tareas en entornos complejos sin la guía constante de un usuario, o en palabras de la OCDE “el grado en que un sistema puede aprender o actuar sin intervención humana tras la delegación de autonomía y automatización de procesos por parte de los humanos” 54. Por su parte, la adaptabilidad es, a grandes rasgos, la capacidad de mejorar el rendimiento aprendiendo de la experiencia. Hace referencia a la capacidad de seguir evolucionando tras su desarrollo inicial, modificando “su comportamiento a través de la interacción directa con la entrada y los datos antes o después de su despliegue” 55. Tanto para la autonomía como para la adaptabilidad se especifica que pueden darse en los sistemas en diferentes niveles, pudiendo abarcarse así en esta definición una mayor variedad de sistemas de IA.
Otro elemento esencial es que los sistemas de IA tienen unos objetivos, sean estos explícitos o implícitos 56. La importancia de este elemento es doble. Por un lado, ayuda a determinar el riesgo de impacto en los derechos fundamentales o cualquier otro interés constitucional. Por otro, permite hacer referencia a un concepto que utilizan los expertos en IA y que marca el funcionamiento de todo sistema de IA: la racionalidad. Un sistema de IA es, ante todo racional, más que inteligente, dada la vaguedad y mayor complejidad de este concepto. La racionalidad es “la capacidad de elegir la mejor acción posible para alcanzar un objetivo determinado, dados determinados criterios que es necesario optimizar y teniendo en cuenta los recursos disponibles.” 57 Esto es lo que, a nuestro entender, haría parecer como “inteligente” a un sistema de IA, pero la utilización de la palabra “inteligencia”, a pesar de ser una metáfora muy útil, puede provocar entendimientos equivocados en lo que realmente es esa tecnología 58. Por tanto, conocer este elemento y la importancia de la racionalidad permite desterrar falsos mitos y aclarar entendimientos erróneos sobre la IA, como la objetividad e imparcialidad de todo sistema de IA y de sus resultados 59, o la antropomorfización de la IA, es decir, creer que detrás de un sistema de IA hay una esencia o “alma” humana, un sistema que actúa basándose en un razonamiento o ejercicio lógico como hubiera hecho un ser humano; sin embargo, los sistemas de IA se asemejan a cotorras estocásticas 60, es decir, sistemas que parece que toman decisiones como los humanos, pero que solo replican un comportamiento sin sentido ni lógica interna, de manera estocástica 61.
Otro de los elementos esenciales, y fue objeto de un intenso debate su inclusión o no en el seno de ambas organizaciones internacionales, se trata del verbo “inferir”. El concepto de «inferencia» se refiere generalmente al paso en el que un sistema genera una salida a partir de sus entradas, normalmente después de su despliegue. Según la norma ISO 22989, «inferencia» se refiere tanto al proceso de razonamiento para derivar conclusiones a partir de premisas conocidas (hechos, reglas, modelos, características o datos brutos) como al resultado de ese proceso 62.
Si hay inferencia, es imprescindible que haya entradas (inputs) y resultados o salidas (outputs). Un input puede ser conocimientos (datos, por ejemplo), reglas o código que puede ser introducido tanto por humanos como por máquinas. Los outputs o resultados reflejan las funciones que desempeña el sistema de IA, como recomendaciones, predicciones o decisiones. Estos resultados revelan también el grado de autonomía del sistema de IA, siendo las predicciones el menos autónomo, como por ejemplo, predecir que una serie de píxeles recogidos por la cámara de un coche autónomo es un peatón, seguido por una recomendación, como por ejemplo la sugerencia de escuchar una canción o realizar una compra y terminando en las decisiones que revelan un mayor grado de autonomía, como por ejemplo, detener un coche autónomo ante un peligro 63.
Esta definición similar contribuye de manera muy importante a facilitar la complementariedad entre los dos textos y contribuye a afianzar un entendimiento más generalizado y homogéneo de esta tecnología en el ámbito de la regulación jurídica.
Aunque por diferentes motivos, ambas normas europeas coinciden en excluir de su ámbito de aplicación dos materias, pero con un alcance diferente y condicionantes: por un lado, la seguridad nacional y la defensa; por otro lado, la investigación. La razón de la exclusión de la investigación, con las limitaciones que se señalarán a continuación, obedece a no obstaculizar la innovación tecnológica, pues es un propósito que se enuncia en ambos textos dada la potencialidad beneficiosa de esta tecnología en todos los niveles. En cuanto a la seguridad nacional, sin entrar en la problemática de su definición y concreción de su ámbito, diferentes, por cierto, en cada país y en cada organización internacional, se prolongó a lo largo de todos los trabajos de elaboración de los dos textos una encendida discusión sobre la extensión de los requisitos, condicionamientos, límites y prohibiciones a las materias e intereses de seguridad nacional. Los argumentos a favor y en contra fueron variados y de diversa índole 64. En la elaboración del Reglamento de la UE se discutió mucho hasta qué punto la UE no comienza a tener ciertas competencias en la materia cuando se desarrolle en un ámbito digital. En el ámbito del Consejo de Europa la discusión quedó enmarcada en la evidencia de que los compromisos internacionales de respeto por los derechos humanos no podían ser obviados por la mera utilización de esta tecnología, más al contrario, se recordó insistentemente que la Convención Marco tendría que ser interpretada junto con las obligaciones de respeto de los derechos humanos que las Partes hubieran asumido, teniendo en cuenta una cada vez más dilatada jurisprudencia del Tribunal Europeo de Derechos Humanos en materias tales como terrorismo o espionaje masivo 65.
En el caso del Reglamento, huelga decir, a pesar de que así se apunta, que no será de aplicación a las materias que estén fuera del ámbito de aplicación del Derecho de la UE 66. Entre estas materias se encuentra la seguridad nacional con independencia “del tipo de entidad a la que los Estados miembros hayan encomendado el desempeño de tareas en relación con dichas competencias.” 67 Tampoco se aplicará a los sistemas de IA exclusivamente con fines militares, de defensa o de seguridad nacional. De manera adyacente, el Reglamento tampoco se aplicará a las autoridades públicas de terceros países u organizaciones internacionales cuando utilicen sistemas de IA en el marco de acuerdos o de la cooperación internacionales con fines de aplicación del Derecho y de cooperación jurídica de la UE o con uno o varios Estados miembros, “siempre que tal tercer país u organización internacional ofrezca garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas.” 68
El Reglamento tampoco se aplica a los sistemas o modelos de IA desarrollados y puestos en servicio específicamente con la única finalidad de investigación y desarrollo científico 69, ni a ninguna actividad de investigación, prueba o desarrollo antes de su introducción o puesta en servicio, con excepción de que se realicen las pruebas en condiciones reales 70.
Por su parte, la Convención Marco, asume, en primer lugar, las limitaciones de aplicabilidad del Estatuto del Consejo de Europa 71, concretamente la establecida en el art. 1.d) que excluye “las cuestiones relativas a la defensa nacional” del ámbito de aplicación del Consejo de Europa 72. De manera semejante al Reglamento, pero siempre que las Partes así lo deseen, las obligaciones de la Convención no se aplican a los sistemas de IA relacionadas con la protección de sus intentes de seguridad nacional 73, ni “a las actividades de investigación y desarrollo relativas a sistemas de inteligencia artificial que aún no se hayan puesto a disposición para su uso, a menos que las pruebas o actividades similares se lleven a cabo de manera que puedan interferir en los derechos humanos, la democracia y el Estado de Derecho” 74, sin perjuicio del establecimiento de entornos controlados con el objetivo de desarrollo, experimentación y prueba siempre bajo la supervisión de las autoridades competentes 75 y del intercambio de información fruto de la cooperación internacional sobre contextos de investigación 76.
Esta es una de las principales diferencias entre ambas normas que afecta a sus contenidos y enfoques.
El Reglamento se aprueba con base en dos preceptos que delimita su alcance y contenido, en concreto la protección de datos personales (art. 16 TFUE) y la garantía del funcionamiento del mercado interior (art. 114 TFUE). Esto se ve reflejado en el primero de los objetivos señalados por el Reglamento en su art. 1.1, que no es otro que “mejorar el funcionamiento del mercado interior”. Esta base competencial condiciona la regulación que se lleva a cabo de la utilización de la IA, por lo que no es de extrañar que materias más de corte constitucional como el Estado de Derecho o la democracia, a pesar de constituir valores a proteger por el Reglamento aparezcan enunciados en muy pocas ocasiones, y de una manera, como por ejemplo en el art. 1, incluyéndose dentro de la categoría de derechos fundamentales (derechos proxy) 77. A pesar de no ser objeto de estas páginas, es importante destacar una creciente preocupación y estudio sobre en qué medida es jurídicamente adecuado e incluso lícito que la UE regule categorías constitucionales sobre las que no tiene competencia explícita a través de las capacidades de regulación que le ofrece el establecimiento y la garantía del mercado único 78. Aunque con este Reglamento sobre IA se aprecia claramente cierto desacople de dos ámbitos jurídicos, Derecho Constitucional y Derecho de la UE, dado el carácter tan horizontal de la IA, también se aprecia en muchas otras materias, como por ejemplo todo lo relacionado con las regulaciones del mercado digital y el derecho a la libertad de expresión.
La base jurídica de la Convención Marco corresponde a la posibilidad de todo Estado de obligarse internacionalmente (arts. 94 y 96 CE), no existiendo una limitación material salvo las establecidas por la norma fundamental de cada Estado (art. 94 CE). La Convención Marco, por tanto, podría imponer obligaciones o compromisos en materia de derechos fundamentales, de democracia y de Estado de Derecho.
En cuanto a la naturaleza jurídica, el carácter jurídicamente vinculante de un Reglamento de la UE, marcado por su alcance general, la obligatoriedad de todos sus elementos y aplicable en cada Estado miembro (art. 288 TFUE), contrasta con el carácter de los compromisos contenidos en la Convención Marco, la mayoría de los cuales, por supuesto que jurídicamente vinculantes, son de carácter general que requieren de desarrollo y concreción a nivel nacional.
En el ámbito de aplicación se encuentra una de las principales diferencias entre las dos normas, en concreto, la Convención Marco establece una diferencia regulatoria entre el sector privado y el sector público que no existe en el Reglamento de la UE.
En esta materia puede apreciarse nítidamente que la regulación del Reglamento se hace desde la óptica del mercado, estableciendo su ámbito de aplicación a través de la determinación de las personas o entidades, con independencia de su carácter público o privado, que quedan afectadas por el Reglamento. En este sentido, el Reglamento se aplica a proveedores, importadores, distribuidores y responsables del despliegue de un sistema de IA 79, imponiendo su observancia fuera del territorio de la UE de dos maneras, en especial a los proveedores y a los responsables del despliegue. Por un lado, se garantiza la obligatoriedad “extraterritorial” del Reglamento exigiendo que “antes de comercializar sus sistemas de IA en la Unión, los proveedores establecidos fuera de su territorio deben designar, mediante un mandato escrito, a un representante autorizado que se encuentre en la Unión. El representante autorizado desempeña un papel fundamental a la hora de velar por la conformidad de los sistemas de IA de alto riesgo introducidos en el mercado o puestos en servicio en la Unión por esos proveedores no establecidos en la Unión y servir de persona de contacto establecida en la Unión.” 80 Por otro lado, también deben aplicar el Reglamento “los proveedores y responsables del despliegue de sistemas de IA que estén establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión” 81.
Por tanto, el Reglamento de la UE no distingue si el proveedor o el responsable del despliegue es una persona privada o una entidad u organismo público.
Sin embargo, en la Convención Marco se establece una diferencia radical respecto a la forma de cumplir las obligaciones establecidas entre el sector público y el sector privado. De hecho, esta diferenciación fue la cuestión más controvertida que fue objeto de negociación durante todos los años de trabajo del CAI y solo se llegó a un acuerdo en los últimos minutos de la última reunión plenaria.
Respecto de los poderes públicos, la Convención Marco es clara al establecer que cada parte la aplicará “a las actividades dentro del ciclo de vida de los sistemas de inteligencia artificial llevadas a cabo por autoridades públicas o agentes privados que actúen en su nombre”, sin ningún tipo de excepción o puntualización (excepto las señaladas anteriormente como la defensa, la seguridad nacional y la investigación) 82.
Sin embargo, para entender cómo y hasta qué punto la actividad del sector privado queda vinculada a las exigencias de la Convención Marco, se debe atender a tres preceptos de manera conjunta: en primer lugar, el art.1 que señala que el objetivo de esta norma es garantizar que las actividades de los sistemas de IA sean “plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho”, con independencia de que corresponda al sector público o al sector privado; en segundo lugar, al art. 3.1.b), que desarrolla en detalle la aplicabilidad de la Convención al sector privado, como se explicará a continuación; y, en tercer lugar, el art. 24, que establece la obligación de cada Parte de informar periódicamente sobre las actividades emprendidas para dar efecto a la vinculatoriedad de la Convención tanto respecto de las actividades de las autoridades públicas como del sector privado.
Respecto de las actividades llevadas a cargo por actores privados no incluidos en el art. 3.1.a), cada Parte solo tendrá la obligación de abordar los riesgos y los impactos surgidos de sus actividades (art. 3.1.b). Esta obligación se llevará cabo teniendo en cuenta tres cuestiones:
— la primera, ha de ser conforme con el objeto y propósito de la Convención. En este sentido, el art. 1.2 establece que cada Parte ha de adoptar o mantener medidas legislativas, administrativas o de otra naturaleza apropiadas para dar efecto a las obligaciones establecidas en esta Convención. Estas medidas serán graduadas y diferenciadas según sea necesario en vista de la gravedad y la probabilidad de impactos adversos en los derechos humanos, democracia y Estado de Derecho durante el ciclo de vida de los sistemas de IA, pudiendo incluir medidas horizontales aplicables con independencia del tipo de tecnología utilizada;
— la segunda supone que, al ratificar la Convención, cada Parte debe especificar en una declaración cómo pretende implementar esta obligación, ya sea aplicando los principios y obligaciones establecidos en los Capítulos II al VI de la Convención a actores privados, o tomando otras medidas adecuadas para el cumplimiento de las obligaciones establecidas en el art. 3.1.b). Esta declaración puede ser modificada en cualquier momento, o de cualquier manera;
— la tercera, como se ha apuntado anteriormente, cada Parte debe informar a la Conferencia de las Partes (Mecanismo de seguimiento de la Convención, desarrollado en el Capítulo VII) dentro de los dos primeros años y después periódicamente, de los detalles de las actividades desarrolladas para dar efecto al art. 3.1.a) y b) 83.
En definitiva, dentro del entendido de que el Estado o la parte firmante se compromete a que el sector privado observe las obligaciones que la Convención establece, se concede un amplio margen en cuanto a la forma de hacerlo, esto es, a través de figuras jurídicamente vinculantes o no.
Para terminar con este apartado, se debe señalar una diferencia entre el Reglamento y la Convención muy relevante, fruto de sus respectivas diferentes bases jurídicas.
Dado que la competencia de la UE para elaborar el Reglamento es la del mercado interior, el Reglamento no aplica a personas individuales no profesionales, como señala el art. 2(10): “El presente Reglamento no se aplicará a las obligaciones de los responsables del despliegue que sean personas físicas que utilicen sistemas de IA en el ejercicio de una actividad puramente personal de carácter no profesional.”
Esta limitación no existe para las obligaciones establecidas por la Convención que, si bien se dirigen primeramente a los Estados firmantes, dada su naturaleza de norma internacional, estos asumen la obligación de que ningún sistema de IA vulnere derechos fundamentales, con independencia del responsable, dada la elaborada doctrina consolidada en el Consejo de Europa de las obligaciones positivas de los Estados (positive obligations) 84.
El contenido de cada una de las normas es una de las diferencias que resultan más evidentes. No se trata únicamente de una diferencia cualitativa en cuanto a la extensión, dado que el Reglamento se compone de 180 considerandos, 113 artículos y trece anexos frente a los 36 artículos de la Convención Marco, sino de una diferencia cualitativa.
La Convención Marco no es un texto regulatorio, sino que se centra en establecer estándares y obligaciones a partir de principios generales a las Partes que lo firmen y ratifiquen sobre el uso de sistemas de IA con el único objetivo de garantizar que las actividades de estos sistemas sean plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho. Es una norma internacional de corte bastante clásico, de una buena calidad legislativa (o al menos en comparación con el Reglamento, como se explicará a continuación) en la que, por tanto, los Estados (y en este caso también la UE) son los únicos destinatarios de la Convención, y los que, a partir de su legislación interna, deben desarrollar estas obligaciones y la actividad del sector privado para dar cumplimiento al citado objetivo.
Para ello, la Convención Marco se compone de un Preámbulo y 36 artículos agrupados en 8 Capítulos, pudiendo resaltarse los siguientes aspectos. El Capítulo primero establece las Disposiciones generales que incluyen el objeto y la finalidad de la Convención (art. 1), su ámbito de aplicación (art. 3) y la definición de IA (art. 2). El Capítulo segundo abarca una serie de obligaciones generales para las partes de proteger los derechos humanos, la integridad de los procesos democráticos y el respeto por el Estado de Derecho (arts. 4-5). El Capítulo tercero trata de “principios relacionados con las actividades dentro del ciclo de vida de los sistemas de IA” (arts. 6-13) por los que se obligan a las partes a adoptar o mantener medidas adecuadas para respetar la dignidad humana y la autonomía personal (art. 7), asegurar la transparencia y supervisión (art. 8), la rendición de cuentas y responsabilidad de los sistemas de IA identificando el contenido generado por IA (art. 9), asegurando la igualdad, la no discriminación (art. 10), la intimidad y la protección de los datos personales (art. 11), promocionando la confiabilidad de los sistemas de IA (art.12) y la confianza en sus resultados y la innovación segura (art. 13). En el Capítulo cuarto se hace referencia a recursos efectivos y salvaguardias en caso de violación de derechos humanos (arts. 14 y 15). En el Capítulo quinto se establece un marco de medidas para identificar, evaluar, prevenir y mitigar los riesgos de un sistema de IA en cuanto a su potencial impacto en los derechos, democracia y Estado de Derecho (art. 16). El Capítulo sexto (arts. 17-22) se centra en la “Aplicación de la Convención”, señalando principios que deben respetarse como la no discriminación (art. 17), los derechos de las personas con discapacidad y de los niños (art. 18), la realización de consultas públicas (art. 19), la alfabetización capacidades digitales (art. 20) y la prohibición de considerar esta Convención como una limitación a otros textos de derechos fundamentales (art. 21) permitiendo a las Partes establecer medidas de protección más amplias (art. 22). El Capítulo séptimo “Mecanismos de seguimiento y cooperación” (arts. 23-26), además de fomentar la cooperación internacional entre las Partes y ayudar a Estados que no sean parte para actuar de manera coherente con lo establecido en la Convención, se dedica a establecer un mecanismo de seguimiento dentro del Consejo de Europa para seguir la implementación de las obligaciones de la Convención compuesta por representantes de las partes, llamado Conferencia de las Partes. Por último, el art. 26 impone la obligación de cada Parte de establecer mecanismos eficaces para supervisar el cumplimiento de las obligaciones de la Convención. Se acaba con un Capítulo de disposiciones (arts. 27-36) entre las que se incluyen la posibilidad de reforma de la Convención (art. 28), la firma y la entrada en vigor (art. 30), una cláusula federal (art. 33) y la prohibición de formular reservas (excepto la establecida en el art. 33.1) (art. 34).
En cambio, el Reglamento de la UE es una norma que intenta conjugar dos marcos regulatorios de naturaleza muy diferente. El primero tiene como objeto la protección de derechos fundamentales, de manera muy similar al Reglamento General de Protección de Datos Personales. El segundo pretende desarrollar una legislación de producto, esto es, un sistema de certificaciones para permitir poner en el mercado de la UE los productos de IA. Ambos marcos se entremezclan a lo largo del articulado y de los trece capítulos en los que se estructuran los 113 artículos, estando los dos primeros capítulos (Disposiciones generales y Prácticas de IA prohibidas) centrados claramente en la protección de los derechos, y los Capítulos del VI al XII dedicados al desarrollo de sistemas de certificación. Pero la tónica general es la entremezcla de ambos marcos (el ejemplo más evidente es el Capítulo III centrado en los sistemas de IA alto riesgo (arts. 6-49), con lo que se crea una norma bastante farragosa de leer y con una técnica legislativa bastante mejorable.
Desde el punto de vista del contenido, el Reglamento destaca por explicitar una serie de prácticas de IA prohibidas y de alto riesgo, que pueden ser modificadas posteriormente (art. 112) y por crear un sistema de gobernanza en torno al entramado regulatorio previsto que no se contiene en la Convención Marco.
En el Capítulo II (art. 5) se señalan una serie de prácticas que hoy en día estarían prohibidas, concretamente prácticas de manipulación, de explotación y de control social, por considerarse como sumamente perjudiciales e incorrectas al ser contrarias a los valores de la Unión de respeto de la dignidad humana, la libertad, la igualdad, la democracia y el Estado de Derecho y de los derechos fundamentales consagrados en la Carta de Derechos Fundamentales de la UE. De manera resumida, en el art. 5.1 se prohíben, en primer lugar, técnicas subliminales dirigidas a distorsionar el comportamiento para que la persona adopte comportamientos no deseados, socavando de esta manera la dignidad humana y su autonomía; en segundo lugar, las que exploten vulnerabilidades de un grupo específico de personas, derivadas de su edad, discapacidad o situación social o económica para alterar su comportamiento; en tercer lugar, las prácticas de “social scoring” o baremo social con trato desfavorable; en cuarto lugar, evaluaciones de riesgos con el fin de evaluar o predecir la probabilidad de que una persona física cometa una infracción penal, basándose únicamente en la elaboración del perfil de una persona física o en la evaluación de los rasgos y características de su personalidad, 85 ya que podría poner en cuestión el derecho a la presunción de inocencia 86; en quinto lugar, sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión, dado el sentimiento de vigilancia masiva que puede provocar en la ciudadanía y la potencialidad de vulneración masiva de derechos, incluido el derecho a la intimidad; en sexto lugar, sistemas de categorización biométrica que clasifiquen individualmente a las personas físicas sobre la base de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, convicciones religiosas o filosóficas, vida sexual u orientación sexual 87.
Mención aparte merece la prohibición a la identificación biométrica en tiempo real en lugares públicos 88, pues precisamente la redacción de esta prohibición, sus límites y excepciones supuso el principal obstáculo en las negociaciones entre el Parlamento Europeo y el Consejo y extendió los trílogos de negociación a duraciones históricas.
Son muchas las razones para prohibir la utilización de este tipo de prácticas con sistemas de IA, como por ejemplo, la afectación a la vida privada de una gran parte de la población, la sensación de estar bajo una vigilancia constante disuadiendo de manera indirecta el ejercicio de derechos fundamentales, como por ejemplo el de reunión, así como que los resultados pueden ser sesgados y discriminatorios por las posibles imprecisiones técnicas de los sistemas de IA en la identificación, por lo que en todo momento se ha de tener en cuenta la naturaleza de la situación y consecuencia de la utilización en los derechos y libertades de todas las personas implicadas
De la misma manera, es fácil comprender las potencialidades positivas de este uso, sobre todo por parte de las Fuerzas y Cuerpos de Seguridad de Estado en la garantía y aplicación del Derecho. Por eso, en el art. 5 se excepciona la prohibición cuando sea estrictamente necesario para la consecución de una serie de objetivos muy concretos: en primer lugar, la búsqueda selectiva de víctimas concretas de secuestro, trata de seres humanos o explotación sexual de seres humanos, así como la búsqueda de personas desaparecidas; en segundo lugar, para la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de una amenaza real y actual o real y previsible de un atentado terrorista; en tercer lugar, para localizar o identificar a una persona sospechosa de haber cometido un delito o de ejecutar una sanción penal por alguno de los delitos mencionados en el anexo II que se castigue con pena o medida de seguridad mínima de cuatro años 89.
Por todo ello, ha de tenerse en cuenta que la única finalidad con la que puede realizarse esta identificación biométrica es la de confirmar la identidad de la persona que constituya el objetivo específico, debiendo limitarse a lo estrictamente necesario en lo que se refiere al período de tiempo, así como al ámbito geográfico y personal, y teniendo en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores.
Asimismo, es imprescindible obtener una autorización para lo cual se debe conseguir una evaluación de impacto relativa a los derechos fundamentales, además de haber registrado el sistema de IA en la base de datos cuya creación exige el presente Reglamento. Dicha autorización ha de ser concedida de manera expresa y específica por una autoridad judicial, o por una autoridad administrativa independiente de un Estado miembro y cuya decisión sea vinculante, antes de utilizar el sistema de IA con el fin de identificar a una o varias personas.
Sin embargo, en casos muy excepcionales y por motivos de urgencia puede utilizarse por parte de las fuerzas y cuerpos de seguridad del Estado sin autorización. Debe existir una necesidad tan imperiosa que resulte efectiva y objetivamente imposible obtener una autorización antes de iniciar el uso del sistema de IA. En estos supuestos de emergencia la identificación biométrica se debe utilizar lo mínimo imprescindible, satisfaciendo las garantías oportunas y se debe solicitar su uso lo antes posible, explicando por qué no se solicitó y siempre en el plazo de 24 horas.
Para concluir, es interesante hacer notar que, a pesar de que el Reglamento permite el uso de la identificación biométrica bajo ciertas excepciones, en última instancia ha de ser cada Estado miembro en su legislación nacional quien autorice su utilización dentro del marco previsto en la norma europea.
Por su parte, la Convención Marco no identifica qué usos están prohibidos, sencillamente y en coherencia con el cuerpo normativo del Consejo de Europa y jurisprudencial del Tribunal Europeo de Derechos Humanos, se proscriben los sistemas de IA que vulneren los derechos fundamentales y los principios de Estado de Derecho y de la democracia, tras realizar, por un lado, juicios de proporcionalidad de las medidas que prevén el uso de sistemas de IA y vulneren dichos intereses jurídicos protegidos, teniendo en cuenta los principios ya clásicos de previsión de la norma, fin legítimo y necesidad en una sociedad democrática y, por otro, juicios de ponderación en la aplicación de las mismas.
El Capítulo tercero del Reglamento cataloga una serie de usos y sistemas como de alto riesgo que, por tanto, estarán sujetos a una serie de requisitos para su introducción en el mercado de la UE. En primer lugar, se señalan sistemas utilizados como componentes de seguridad de un producto o que el propio sistema de IA sea uno de dichos productos (art. 6.1.a); en segundo lugar, se señala una serie de sistemas, contenidos en el Anexo III, debido a que sus resultados tienen un riesgo relevante para la salud, la seguridad o los derechos fundamentales. En definitiva, se consideran sistemas de IA de alto riesgo los que formen parte de cualquiera de los siguientes ámbitos: en primer lugar, biometría, es decir, sistemas de identificación biométrica cuyo uso esté permitido por la normativa europea o nacional; en segundo lugar, gestión de infraestructuras críticas; en tercer lugar, educación y formación profesional; en cuarto lugar, empleo, gestión de trabajadores y acceso al autoempleo; en quinto lugar, acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servicios y prestaciones; en sexto lugar, actividades de las fuerzas y cuerpos de seguridad del Estado; en séptimo lugar, migración, asilo y gestión del control fronterizo; en octavo y último lugar, administración de justicia 90 y procesos democráticos 91.
Para terminar con este epígrafe, ha de señalarse que el Reglamento establece todo un sistema de gobernanza y supervisión de los sistemas de IA (Capítulo VII) a escala de la UE pero que ha de ser desarrollado en cada país, incluso estableciendo sanciones 92, para monitorizar el cumplimiento de la normativa desplegada en el Reglamento, y en especial para los sistemas de alto riesgo.
De manera sintética y sin ánimo de exhaustividad, pues una exposición en detalle excedería el propósito de estas páginas, este esquema de gobernanza y supervisión, desde el punto de vista orgánico, incluye un Comité Europeo de IA, en el que habrá un representante de cada Estado miembro 93, y unas autoridades nacionales competentes en cada Estado miembro, en concreto una autoridad notificadora y una autoridad de supervisión de mercado en relación con el Reglamento IA 94.
Respecto de sistemas de alto riesgo, en el Capítulo tercero se imponen una serie de obligaciones para los proveedores de estos sistemas de alto riesgo, que deben ir acompañados de documentación técnica, registros de actividad del sistema, aportando información al usuario y permitiendo la supervisión por personas. En concreto se prevé un sistema de control de riesgos (art. 9), una serie de prácticas de gobernanza y gestión de datos (art. 10), una documentación técnica para facilitar el compliance (art. 11), un sistema de registro de incidencias (art. 12), garantizar los resultados de los sistemas (outputs) sean comprensibles para los usuarios (art. 13) y medidas para garantizar la vigilancia humana (art. 14), a lo que hay que añadir la creación de una base de datos a nivel de la UE (art. 71).
La Convención Marco no establece un sistema de gobernanza tan exhaustivo como el del Reglamento, y tan solo prevé una Conferencia de las Partes para revisar el seguimiento de la aplicación de la Convención por las Partes 95, y unas autoridades nacionales con el cometido de supervisar el cumplimiento de las obligaciones de la presente Convención, otorgando una amplia discrecionalidad en cuanto a la modalidad e incluso cantidad de autoridades con competencia al respecto 96.
La forma en la que entra en vigor y puede aplicarse cada uno de estos instrumentos es muy diferente dada la naturaleza jurídica de cada norma. El Reglamento establece una aplicabilidad secuenciada en el tiempo en función de la materia para permitir a los proveedores adaptarse a las exigencias normativas. La Convención Marco hace depender la entrada en vigor y su aplicabilidad a la firma y ratificación de un número mínimo de Partes.
El Reglamento establece 97 que entrará en vigor a los 20 días de la publicación en el Diario Oficial de la UE; sin embargo, será aplicable veinticuatro meses a partir de la fecha de entrada en vigor. Dado que se publicó el 12 de julio de 2024 será aplicable a partir del 2 de agosto de 2026. No obstante, algunas normas relevantes serán aplicables antes, como las disposiciones generales (capítulo I) y las normas relativas a los sistemas de IA prohibidos (Capítulo II) que lo serán a partir del 2 de febrero de 2025 (6 meses a partir de la fecha de entrada en vigor); ciertas normas como las relativas a los modelos de IA de uso general (Capítulo V), a las autoridades notificantes (sección 4 del Capítulo III), a la gobernanza (Capítulo VII), las sanciones (Capítulo XII) y a la obligación de confidencialidad de las autoridades (art. 78) a partir del 2 de agosto de 2025 (12 meses a partir de la fecha de entrada en vigor); sin embargo, la clasificación de sistemas de alto riesgo (art. 6.1) y sus obligaciones correspondientes serán aplicables a partir del 2 de agosto de 2027 (36 meses a partir de la fecha de entrada en vigor), es decir, más tarde que la obligatoriedad de la generalidad del Reglamento.
En el caso de la Convención Marco el plazo de entrada en vigor difiere en función de si se trata de un Estado miembro del Consejo de Europa, o de un Estado no miembro pero que ha formado parte del CAI en su elaboración o de si se trata de la UE, o por el contrario si se trata de cualquier otro signatario que manifestara su intención de obligarse. En el primer caso, la entrada en vigor sería el primer día del mes siguiente a la expiración de un período de tres meses a partir de la fecha en que cinco signatarios, incluidos al menos tres Estados miembros del Consejo de Europa, hayan manifestado su consentimiento a quedar vinculados 98. En el segundo caso, entrará en vigor el primer día del mes siguiente a la expiración de un período de tres meses a partir de la fecha de depósito de su instrumento de ratificación, aceptación o aprobación 99.
Una vez señaladas las semejanzas y las diferencias entre el Reglamento y la Convención Marco, queda claro que el objetivo de regular jurídicamente desde un punto de vista de los derechos fundamentales los usos y efectos de la IA en Europa ha sido conseguido. Pero, la pregunta tras este análisis es clara. ¿Es necesario contar con los dos instrumentos o solo con uno de los dos sería suficiente?
Desde mi punto de vista, existe una clara relación de complementariedad entre las dos normas, que se sostiene en dos argumentos principales o puntos de vista.
En primer lugar, desde el punto de vista del contenido o el ámbito objeto de regulación. Obviamente, este aspecto solo interesa a los Estados miembros de la UE que vayan a firmar y ratificar la Convención Marco.
Si bien es cierto que en apariencia parecen ser totalmente coincidentes, sobre todo desde que ambas normas excluyen la seguridad nacional de su ámbito de aplicación, un estudio riguroso, como ya se ha señalado, revela que el Reglamento aborda la regulación desde las competencias que el mercado interior le ofrece; es decir, desde el mercado interior no se puede regular en toda su extensión los efectos que la IA pueda ocasionar en los derechos fundamentales, en el Estado de Derecho y en la democracia, como sí puede la Convención Marco al no estar limitada por el sistema de atribución de competencias sobre el que se basa la UE (art. TUE).
Deteniéndonos en los derechos fundamentales, en el Reglamento se señala que su objetivo es garantizar los derechos fundamentales de la Carta (art. 1). Pero el contenido de la Carta no es equivalente con los derechos que constituyen el objeto de la Convención Marco, cuyo art. 4 se refiere a los derechos consagrado en el Derecho internacional aplicable y en el Derecho interno de cada Parte firmante. Es decir, a pesar de que el Derecho de la UE reconoce y asimila el acervo constitucional de los Estados miembros, por lo menos en España, cada texto constitucional en materia de derechos fundamentales, y la CDFUE tienen un ámbito y contenido no equivalentes ni coincidentes. Y la UE no puede auto-atribuirse competencia regulatoria en materia de derechos humanos puesto que el mismo art. 51.2 CDFUE establece claramente que “La presente Carta no crea ninguna competencia ni ninguna misión nuevas para la Comunidad ni para la Unión y no modifica las competencias y misiones definidas por los Tratados”. Además, es importante señalar que la UE no tiene firmados los mismos tratados internacionales en materia de derechos humanos que los 27 Estados, o en nuestro caso España; sin ir más lejos, podríamos hablar del CEDH, al que la UE sigue en proceso de adhesión. Aunque hay un proceso de convergencia material, no hay identidad en absoluto.
Si tomamos en cuenta el Estado de Derecho, el art. 1 del Reglamento lo incluye en su ámbito de regulación a través de los derechos fundamentales de la CDFUE. En efecto, la UE desarrolla principalmente instituciones del Estado de Derecho a raíz de derechos proxy, como el art. 47 de la CDFUE y el art. 19.1.2 TUE: esos derechos son la base que el TJUE utiliza para sus sagas de sentencias contra Hungría y sobre todo Polonia para combatir la reforma del Poder Judicial. Esta jurisprudencia evidencia que la UE no tiene atribuciones explícitas competenciales en materia de Estado de Derecho, sino que el TJUE va construyendo de manera pretoriana un entendimiento del Estado de Derecho vía esos dos preceptos que albergan derechos fundamentales muy concretos. El Estado de Derecho se reconoce como un valor fundamental de la UE (art. 2 TUE), pero no como una competencia horizontal. Para no extendernos en estas consideraciones que ameritarían un análisis mucho más exhaustivo y técnico, lo mismo que se ha afirmado para el Estado de Derecho podría afirmarse para la democracia, para cuyo desarrollo no tiene atribuciones competenciales claras, sino que desarrolla esta institución y sus principios vía derechos proxy, especialmente por cuestiones del mercado digital. De nuevo, la competencia de la regulación del mercado interior.
Como ya se señaló, el Reglamento combina dos marcos regulatorios muy diferentes: la protección de derechos fundamentales y el desarrollo de una legislación de producto o sistema de certificaciones para la introducción en el mercado de la UE de sistemas de IA. Pero la materia objeto de la Convención Marco no es solo IA, sino eminentemente IA en relación con derechos fundamentales (y Estado de Derecho y democracia) y, si bien la UE ostenta la competencia de regulación del uso de la tecnología y sobre todo su certificación, no agota la dimensión constitucional de los efectos que esta tecnología puede desplegar en los derechos fundamentales, en los principios del Estado de Derecho y en los procesos e instituciones democráticas. La diferente dimensión, o espíritu si se quiere, desde el que se aborda uno y otro texto son totalmente diferente, uno mercantil y otro constitucional. Una simple lectura de los considerandos del Reglamento y del Informe Explicatico de la Convención Marco es suficiente para constatar dicha diferencia 100. Por ello, son instrumentos que se complementan desde el punto de vista material.
En segundo lugar, desde la perspectiva de los firmantes, se hace más evidente aún el carácter de complementariedad de ambos textos. Además del sector civil, industrial y académico, el CAI estaba integrado por los 46 Estados miembros del Consejo de Europa, sus 6 Estados observadores, esto es, Canadá, Estados Unidos, Santa Sede, México, Japón e Israel, y además por Argentina, Costa Rica, Uruguay, Perú y la Unión Europea representada por la Comisión. Los respectivos sistemas jurídicos e intereses regulatorios de todos estos países eran muy diversos, por lo que solo un nivel alto de generalidad en la formulación de las obligaciones posibilitaba un acuerdo satisfactorio para todos. El ejemplo más evidente lo supuso el diferente régimen regulatorio que finalmente se ha previsto entre el sector privado y el sector público. Durante las negociaciones y redacción de la Convención, países con una industria potente de IA, como Japón, Israel, Reino Unido, Estados Unidos o Canadá, entre otros y por diferentes razones, manifestaron su imposibilidad de aceptar una regulación exhaustiva para el sector privado como la Convención intentaba establecer para el sector público. Esta diferenciación que implicaba una rebaja de los estándares de protección de los derechos humanos en relación con el sector privado era inadmisible para muchos países, en especial para la mayoría de los 27 Estados miembros de la UE y para la UE misma. Las posturas eran tan frontales que el proceso de negociación y redacción estuvo estancado durante meses en esta materia. Sin embargo, cuando en el último trílogo, en diciembre de 2023, se anunció el acuerdo final entre el Parlamento Europeo y el Consejo que conduciría a la aprobación del Reglamento, la mayoría de los Estados miembros de la UE, de manera destacada España, supieron ver que el Reglamento mantendría unos altos estándares de protección de los derechos para el sector privado, por lo que no tenía sentido replicar dichos estándares en la Convención y menos si con ello se ponía en peligro la incorporación de los países mencionados.
En definitiva, una vez se aprobó el Reglamento, la complementariedad entre ambos textos salvó el proceso de negociación de la Convención Marco, aunque supuso, por un lado, rebajar sus estándares generales de la Convención, lo que le granjeó una fuerte crítica de los representantes de la sociedad civil en el CAI; y por otro, dejar a la voluntad de los Estados cómo regular el sector privado, con el protagonismo de una declaración que puede cambiarse en cualquier momento (art. 3) y permitiendo una total indeterminación de la naturaleza jurídica del instrumento que lo regule (art. 1).
La IA es una tecnología con un potencial para mejorar la vida de las personas que aún no se ha alcanzado a conocer. Por el contrario, son muchos los ejemplos de usos negativos, reales y potenciales. Solo los imaginables ameritan una regulación centrada en el ser humano, que promueva su dignidad y no socave su autonomía individual.
En esta labor regulatoria, han tomado una clara iniciativa la Unión Europea y el Consejo de Europa, cada organización internacional desde sus funciones y cometidos fundacionales. El resultado es la aprobación de dos normas jurídicamente vinculantes que no solo promueven los usos positivos de una tecnología tan prometedora, sino que cristalizan los estándares de protección de los derechos fundamentales frente a la utilización de la IA.
Ambos textos han de entenderse como complementarios, no solo desde un punto de vista material, conectando la preocupación por introducir y desplegar en el mercado común una tecnología respetuosa con los derechos por un enfoque más constitucionalista o de Derecho Público, añadiendo a los derechos fundamentales los principios del Estado de Derecho y de la democracia, sino desde un punto de vista de las Partes implicadas, posibilitando la Convención Marco que sus compromisos y garantías, alineadas con las del Reglamento, configuren un entendimiento global de los estándares en otras partes del mundo más allá del continente europeo.
Es cierto que la tecnología de vanguardia como la IA evoluciona de manera muy rápida, amenazando con dejar obsoleto gran parte del marco jurídico descrito en este trabajo, por muy rápido que haya sido diseñado y por breve que sean los plazos para poder aplicarlo. Sin embargo, eso no debe constituir una excusa para no abordar una tarea regulatoria imprescindible en las sociedades democráticas y de Derecho, pues es evidente la amenaza que la utilización de sistemas de IA puede suponer de graves perjuicios en bienes jurídicos esenciales para la ciudadanía. Sin lugar a duda, tanto el Reglamento de la UE como la Convención Marco contribuyen de manera determinante para que la revolución industrial 4.0 y la sociedad algorítmica sigan desarrollándose de manera respetuosa con los derechos fundamentales y acorde con los principios del Estado social y democrático de Derecho.
BUSTOS GISBERT, Rafael, “El constitucionalista europeo ante la inteligencia artificial: reflexiones metodológicas de un recién llegado”, Revista Española de Derecho Constitucional, n. 131, 2024, pp. 149-178, pp. 153-158.
GARCÍA ROCA, Javier y BUSTOS GISBERT, Rafael (Dirs.), Fortalecimiento de la democracia y el Estado de Derecho a través de la inteligencia artificial, IVAP, en prensa.
G’SELL, Florence, “Regulating under Uncertainty: Governance Options for Generative AI”, Stanford Cyber Policy Center, Freeman Spogli Institute and Stanfor Law School, Julio de 2024
HERNÁNDEZ RAMOS, Mario, “Los retos constitucionales de la inteligencia artificial. Prospectivas, debilidades y fortalezas de los paradigmas vigentes” en José María SOBERANES DÍEZ, Gustavo GARDUÑO DOMÍNGUEZ (Coords.), La interacción de las redes sociales, la tecnología y los derechos humanos, EUNSA, Pamplona, 2023, pp. 215-234
JOBIN, A., IENCA, M., VAYENA, E., “The global landscape of AI ethics guidelines”, Nature Machine Intelligence, 1, 2019, pp. 389-399
LARSON, Erik J., El mito de la inteligencia artificial. Por qué las máquinas no pueden pensar como nosotros lo hacemos, Shackelton Books, 2022
OLIVER, Nuria., Inteligencia Artificial, naturalmente. Un manual de convivencia entre humanos y máquinas para que la tecnología nos beneficie a todos, Ministerio de Asuntos Económicos y Transformación Digital, 2020.
O`NEIL, Cathy, Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia, Capitán Swing, 2017.
PRESNO LINERA, Miguel Ángel, y MEUWESE, Anne, “La regulación de la inteligencia artificial en Europea”, Teoría y Realidad Constitucional, n. 54, 2024, pp. 131-161.
RIEDL, M., “Human-centered artificial intelligence and machine learning”, Human Behviour and Emerging Technologies, n. 1, 2019, pp. 33-36, DOI: 10.1002/hbe2.117
RUSSEL, S.J., NORVING. P., DAVIS, E., Artificial intelligence: A modern approach, 3ª ed., Prentice Hall, 2010.
SMUHA, Nathalie A., “Biden, Bletchley, and the emerging international law of AI”, VerfBlog,
2023/11/15, https://verfassungsblog.de/biden-bletchley-and-the-emerging-international-law-of-ai/, DOI:10.59704/e74941ad144ce5ff
Convención Marco del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho, CETS nº. 225, 5 de septiembre de 2025
OCDE, Recommendation on Artificial Intelligence, aprobada por el Consejo de la OCDE el 22 de mayo, OECD/LEGAL/0449
REGLAMENTO (UE) 2024/1689 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 13 de junio de 2024 por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) no. 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828.
DECISIÓN (UE) 2022/2349 DEL CONSEJO de 21 de noviembre de 2022 por la que se autoriza la apertura de negociaciones en nombre de la Unión Europea con vistas a un convenio del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho
UNESCO “Recomendación sobre la ética para la inteligencia artificial”, de 23 de noviembre de 2021
* Profesor Titular de Derecho Constitucional, Universidad Complutense de Madrid, marioh13@ucm.es Número ORCID 0000-0003-3869-192X.
Trabajo realizado en el marco del proyecto de investigación “Fortalecimiento de la democracia y el Estado de Derecho a través de la inteligencia artificial” financiado por el Ministerio de Ciencia e Innovación (referencia PID2021-122677NB-I00).
1 Véase, por ejemplo, XU, M., David, J. M., & KIM, S. H., “The fourth industrial revolution: Opportunities and challenges”, International journal of financial research, n. 9(2), 2018, pp. 90-95.
2 REGLAMENTO (UE) 2024/1689 DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 13 de junio de 2024 por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) no. 300/2008, (UE) no 167/2013, (UE) no 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial).
3 Convención Marco del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho, CETS n. 225, 5 de septiembre de 2024, accesible en https://rm.coe.int/1680afae3c
4 OLIVER, Nuria., Inteligencia Artificial, naturalmente. Un manual de convivencia entre humanos y máquinas para que la tecnología nos beneficie a todos, Ministerio de Asuntos Económicos y Transformación Digital, 2020.
5 Son decenas los ejemplos sobre este tipo de códigos, memoranda, recomendaciones, etc, que pueden encontrarse. Una recopilación no actualizada puede consultarse en JOBIN, A., IENCA, M., VAYENA, E., “The global landscape of AI ethics guidelines”, Nature Machine Intelligence, 1, 2019, pp. 389-399; Algortimwatch también está llevando a cabo un inventario de Guías éticas para la utilización de inteligencia artificial. Hasta el momento han inventariado 106, pero siguen trabajando en ello. Listado accesible en https://algorithmwatch.org/en/project/ai-ethics-guidelines-global-inventory/
6 Accesible en https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449
7 A la UNESCO corresponde el mérito de la aprobación por parte del Primer comité de Naciones Unidas de un borrador de resolución sobre armas letales autónomas (1 noviembre de 2023).
8 Accesible en https://unesdoc.unesco.org/ark:/48223/pf0000380455_spa
9 Commitee on Equality and Non-Discrimination, Parliamentary Assembly, Council of Europe, “Preventing discrimination caused by the use of artificial intelligence”, Doc. 15151, 29 de septiembre de 2020.
10 Committee on Legal Affairs and Human Rights, , Parliamentary Assembly, Council of Europe, “Justice by algorithm – the role of the artificial intelligence in policing and criminal justice systems”, Doc. 15156, 1 de octubre de 2020.
11 Véase la web que la Asamblea Parlamentaria ha creado donde recoge toda su actividad sobre IA con el objetivo de promocionar la protección del Estado de derecho, la democracia y los derechos humanos: https://pace.coe.int/en/pages/artificial-intelligence
12 Recommendation CM/Rec(2020)1 of the Committee of Ministers to member States on the human rights impacts of algorithmic systems (Adopted by the Committee of Ministers on 8 April 2020 at the 1373 meeting of the Ministers´Deputies).
13 COUNCIL OF EUROPE COMMISSIONER HUMAN RIGHTS, “Unboxing Artificial Intelligence: 10 steps to protect Human Rights”, Recommendation, mayo 2019. Otros trabajos de la Comisionada de Derechos Humanos sobre la materia pueden consultarse en https://www.coe.int/en/web/commissioner/thematic-work/artificial-intelligence/-/asset_publisher/qvL6Y0veKiir/content/governing-the-digital-world-to-protect-democracy-and-security?redirect=%2Fen%2Fweb%2Fcommissioner%2Fthematic-work%2Fartificial-intelligence&inheritRedirect=true
14 Adoptada en diciembre de 2018: https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c
15 Una recopilación puede consultarse en https://digital-strategy.ec.europa.eu/en/policies/european-approach-artificial-intelligence
16 Accesibles en https://digital-strategy.ec.europa.eu/en/policies/expert-group-ai
17 Véase, por ejemplo, la Resolución del Parlamento Europeo, de 20 de octubre de 2020, sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, 2020/2012(INL); Resolución del Parlamento Europeo, de 20 de octubre de 2020, sobre un régimen de responsabilidad civil en materia de inteligencia artificial, 2020/2014(INL); Resolución del Parlamento Europeo, de 20 de octubre de 2020, sobre los derechos de propiedad intelectual para el desarrollo de las tecnologías relativas a la inteligencia artificial, 2020/2015(INI); Proyecto de informe del Parlamento Europeo sobre la inteligencia artificial en el Derecho penal y su utilización por las autoridades policiales y judiciales en asuntos penales, 2020/2016(INI).
18 https://www.europarl.europa.eu/committees/es/aida/home/highlights , destacando el reciente “Report on artificial intelligence in a digital age”, (2020/2266(INI), del 5 de abril de 2022, accesible en https://www.europarl.europa.eu/doceo/document/A-9-2022-0088_EN.html
19 Una recopilación de estos trabajos puede consultarse en https://edps.europa.eu/data-protection/our-work/subjects/artificial-intelligence_en
20 Una recopilación de estos trabajos puede consultarse en https://edpb.europa.eu/our-work-tools/our-documents/topic/artificial-intelligence_es
21 SMUHA, Nathalie A., “Biden, Bletchley, and the emerging international law of AI”, VerfBlog, 2023/11/15,https://verfassungsblog.de/biden-bletchley-and-the-emerging-international-law-of-ai, DOI:10.59704/e74941ad144ce5ff
22 La documentación sobre este proceso puede consultarse en https://www.soumu.go.jp/hiroshimaaiprocess/en/documents.html
23 La descripción de la cumbre y los documentos resultado de la misma pueden consultase en https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration
24 Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence : https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/ ; complementada por la interesante “Blueprint for an AI Bill of Rights”, https://www.whitehouse.gov/ostp/ai-bill-of-rights/
25 HINE, E., FLORIDI, L. “New deepfake regulations in China are a tool for social stability, but at what cost?”, Nat Mach Intell, n. 4, pp. 608–610 (2022). https://doi.org/10.1038/s42256-022-00513-4
26 Proyecto para implementar la Digital Charter Implementation Act, (16 de junio de 2022 primera lectura), que incluye Data and AI Act, cuya aprobación es inminente.
27 Véase el estudio recopilatorio de G’SELL, Florence, “Regulatin under Uncertainty: Governance Options for Generative AI”, Stanford Cyber Policy Center, Freeman Spogli Institute and Stanfor Law School, Julio de 2024.
28 La información sobre el CAI puede consultarse en su página web: https://www.coe.int/en/web/artificial-intelligence/cahai
29 La información sobre el CAI puede consultarse en su página web https://www.coe.int/en/web/artificial-intelligence/cai
30 Accesible en https://rm.coe.int/cahai-2020-23-final-eng-feasibility-study-/1680a0c6da
31 Se sigue un esquema similar al Convenio 108 del Consejo de Europa, el primer texto vinculante en materia de protección de datos personales que fue luego asumido y desarrollado por la UE y por otros Estados.
32 DECISIÓN (UE) 2022/2349 DEL CONSEJO de 21 de noviembre de 2022 por la que se autoriza la apertura de negociaciones en nombre de la Unión Europea con vistas a un convenio del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho.
33 Véase, por ejemplo, RIEDL, M., “Human-centered artificial intelligence and machine learning”, Human Behviour and Emerging Technologies, n. 1, 2019, pp. 33-36, DOI: 10.1002/hbe2.117
34 Carta de Derechos Fundamentales de la Unión Europea, en adelante Carta o CDFUE.
35 El principio de la dignidad humana es señalado en los considerandos del Reglamento de la UE 27, 28, 31, 48, 58 y el de autonomía personal en los considerandos 27 y 29.
36 Art. 7 Convención Marco.
37 Art. 3 (2) Reglamento IA.
38 Art. 5 Reglamento IA
39 Arts. 6-49 Reglamento IA. Habría que añadir el Anexo III al que remite el art. 6.2 que contiene un listado de sistemas de IA que formen parte de determinados ámbitos como se expondrá más adelante. También habría que tener en cuenta los modelos de uso general con un impacto sistémico regulados en el Capítulo V (arts. 51-56) y el Capítulo VIII que versa sobre la creación y mantenimiento de una “Base de datos de la UE para sistemas de IA de alto riesgo”
40 Art. 50 Reglamento IA.
41 Art. 1.2. Convención Marco.
42 Art. 16 último párrafo Convención Marco.
43 Art. 2 Convención Marco.
44 Art. 3 Reglamento IA.
45 En el Informe Explicativo de la Convención Marco se afirma expresamente que la elección de los trabajos de la OCDE en particular fue motivada “no sólo por la alta calidad del trabajo realizado por la OCDE y sus expertos, sino también en vista de la necesidad de mejorar la cooperación internacional sobre el tema de la inteligencia artificial y facilitar los esfuerzos destinados a armonizar la gobernanza de la inteligencia artificial a nivel mundial, incluso mediante la armonización de la terminología pertinente, lo que también permite la aplicación coherente de los diferentes instrumentos relativos a la inteligencia artificial dentro de los sistemas jurídicos nacionales de las Partes.” COUNCIL OF EUROPE, Explanatory Report to the Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law, Vilnius 5 de septiembre de 2024, https://rm.coe.int/1680afae67
46 Recommendation on Artificial Intelligence, aprobada por el Consejo de la OCDE el 22 de mayo, OECD/LEGAL/0449 conocida como los Principios de la IA.
47 RUSSEL, S.J., NORVING. P., DAVIS, E., Artificial intelligence: A modern approach, 3ª ed., Prentice Hall, 2010.
48 OECD (2024), “Explanatory memorandum on the updated OECD definition of an AI system”, OECD Artificial Intelligence Papers, No. 8, OECD Publishing, Paris, https://doi.org/10.1787/623da898-en.
49 Para profundizar en estos cambios véase ibid.
50 Ibid.
51 Art. 3(1) Reglamento IA.
52 Art. 2 Convención Marco.
53 Recuérdese que las definiciones que se señalan aquí se limitan a la utilidad del texto en el que se contienen, pero no se aborda la definición de la tecnología en sí.
54 OECD (2024), “Explanatory memorandum on the updated OECD definition of an AI system”, OECD Artificial Intelligence Papers, No. 8, OECD Publishing, Paris, https://doi.org/10.1787/623da898-en
55 Algunos ejemplos son un sistema de reconocimiento de voz que se adapta a la voz de un individuo o un sistema de recomendación de música personalizado, ibid.
56 Para profundizar en esta cuestión, véase ibid.
57 Grupo Independiente de Expertos de Alto Nivel sobre Inteligencia Artificial, Una definición de la Inteligencia Artificial: Principales capacidades y disciplinas científicas, abril 2019, p. 1.
58 Sobre el valor de las metáforas, véase BUSTOS GISBERT, Rafael, “El constitucionalista europeo ante la inteligencia artificial: reflexiones metodológicas de un recién llegado”, Revista Española de Derecho Constitucional, n. 131, 2024, pp. 149-178, pp. 153-158.
59 Un mito muy presente en el ideario colectivo es que la IA es completamente objetiva porque su forma de proceder se basa en las matemáticas y la estadística, y estas disciplinas no pueden albergar ningún tipo de ideología, ni ser manipuladas de manera tendenciosa o partidista, puesto que “dos más dos siempre serán cuatro”. Sin embargo, como ya expuso claramente O´NEIL en un libro imprescindible las matemáticas también pueden tener ideología puesto que se pueden utilizar para llegar a un resultado querido y no a otro. Además, los sistemas de IA suelen replicar sesgos que se esconden tanto en la formulación de los algoritmos como en la conformación de las bases de datos utilizadas para entrenar e implementar sistemas de IA. Véase O`NEIL, Cathy, Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia, Capitán Swing, 2017.
60 BENDER, Emily M., (et.al.), “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, FAccT ‘21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610-623, https://doi.org/10.1145/3442188.3445922
61 Sobre el problema de los falsos entendimientos y su aclaración véase el imprescindible LARSON, Erik J., El mito de la inteligencia artificial. Por qué las máquinas no pueden pensar como nosotros lo hacemos, Shackelton Books, 2022.
62 OECD (2024), “Explanatory memorandum on the updated OECD definition of an AI system”, OECD Artificial Intelligence Papers, No. 8, OECD Publishing, Paris, https://doi.org/10.1787/623da898-en
63 Ibid.
64 A favor de su inclusión véase, por todos, KORFF, Douwe, “Opinion on the implications of the exclusion from new binding Euopean instruments on the use of AI in military, national security and transnational law enforcement contexts”, European Center for Not-for-Profit Law, Octubre 2022.
65 Véase, por ejemplo, RESEARCH DIVISION EUROPEAN COURT OF HUMAN RIGHTS, “National security and European case law”, Consejo de Europa, 2013, https://rm.coe.int/168067d214, que debe ser completado por jurisprudencia más reciente como las SSTEDH Big Brother Watch and Others c. Reino Unido, 13 de septiembre de 2018 y Centrum För Rättvisa c Suecia, de 25 de mayo de 2021.
66 Art. 2(3) Reglamento IA.
67 En efecto, el art. 4.2 TUE establece que “La Unión respetará (…) las funciones esenciales del Estado, especialmente las que tienen por objeto garantizar su integridad territorial, mantener el orden público y salvaguardar la seguridad nacional. En particular, la seguridad nacional seguirá siendo responsabilidad exclusiva de cada Estado miembro.”
68 Art. 2(4) Reglamento IA.
69 Art. 2(6) Reglamenta IA.
70 Art. 2(8) Reglamento IA.
71 Tratado de Londres, de 5 de mayo de 1949.
72 Art. 3.4 Convención Marco: “Las materias relativas a la defensa nacional no pertenecen al ámbito de aplicación del presente Convenio”.
73 Art. 3.2 Convención Marco.
74 Art. 3.3 Convención Marco.
75 Art. 13 Convención Marco, “Innovación segura”.
76 Art. 25.2 Convención Marco.
77 Art. 1.1. Reglamento IA: “El objetivo del presente Reglamento es mejorar el funcionamiento del mercado interior y promover la adopción de una inteligencia artificial (IA) centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, frente a los efectos perjudiciales de los sistemas de IA (en lo sucesivo, «sistemas de IA») en la Unión así como prestar apoyo a la innovación.”
78 Véase, por ejemplo ZÖDI, Zsolt, “The EU AI Act – Can We Protect Human Rights with a Product Compliance Regulation?”, IACL-AIDC Blog, 4 de Junio de 2024, https://blog-iacl-aidc.org/2024-posts/2024/6/4/the-eu-ai-act-can-we-protect-human-rights-with-a-product-compliance-regulation
79 Art.2.1 Reglamento IA.
80 Considerando 81 del Reglamento de la UE.
81 Art. 2.1.c) Reglamento IA.
82 Art. 3.1.a) Convención Marco.
83 Art. 24 Convención Marco.
84 Véase, por ejemplo, STOYANOVA, Vladislava, Positive Obligations under the European Convention on Human Rights: Within and Beyond Boundaries, Oxford University Press, 2023, https://doi.org/10.1093/oso/9780192888044.001.0001; XENOS, Dimitris, The Positive Obligations of the State under the European Convention of Human Rights, Routledge, 2012; AKANDJI-KOMBE, Jean-François, Positive obligations under the European Convention on Human Rights. A guide to the implementation of the European Convention on Human Rights, Human rights handbooks, No. 7, Council of Europe, 2007, https://rm.coe.int/168007ff4d;
85 Esta prohibición no es aplicable si se basa en hechos objetivos y verificables directamente relacionados con una actividad delictiva (art. 5.1.d) Reglamento UE.
86 Ya que las personas físicas nunca deben ser juzgadas a partir de comportamientos predichos por una IA basados únicamente en la elaboración de sus perfiles, en los rasgos o características de su personalidad.
87 Con la excepción de si incluye el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente.
88 art. 5.1.h) Reglamento UE.
89 Los contenidos en Decisión Marco 2002/584/JAI del Consejo, de 13 de junio de 2002, relativa a la orden de detención europea y a los procedimientos de entrega entre Estados miembros, como son Terrorismo, trata de seres humanos, explotación sexual de menores y pornografía infantil, tráfico ilícito de estupefacientes o sustancias psicotrópicas, tráfico ilícito de armas, municiones y explosivos, homicidio voluntario, agresión con lesiones graves, tráfico ilícito de órganos o tejidos humanos, tráfico ilícito de materiales nucleares o radiactivos, secuestro, detención ilegal o toma de rehenes, delitos que son competencia de la Corte Penal Internacional, secuestro de aeronaves o buques, violación, delitos contra el medio ambiente, robo organizado o a mano armada, sabotaje, participación en una organización delictiva implicada en uno o varios de los delitos enumerados en esta lista.
90 Concretamente, “Sistemas de IA destinados a ser utilizados por una autoridad judicial, o en su nombre, para ayudar a una autoridad judicial en la investigación e interpretación de hechos y de la ley, así como en la garantía del cumplimiento del Derecho a un conjunto concreto de hechos, o a ser utilizados de forma similar en una resolución alternativa de litigios;”
91 En concreto, “Sistemas de IA destinados a ser utilizados para influir en el resultado de una elección o referéndum o en el comportamiento electoral de personas físicas que ejerzan su derecho de voto en elecciones o referendos. Quedan excluidos los sistemas de IA a cuyos resultados de salida no estén directamente expuestos las personas físicas, como las herramientas utilizadas para organizar, optimizar o estructurar campañas políticas desde un punto de vista administrativo o logístico.”
92 Art. 99 del Reglamento.
93 Arts. 65 y 66 del Reglamento. En el resto del Capítulo VII se señalan otros organismos como el foro consultivo, o el grupo de expertos independientes.
94 Arts. 70 y 72 del Reglamento IA. En el resto del Capítulo VIII
95 Art. 23 Convención Marco.
96 Art. 26 Convención Marco.
97 Art. 113 Reglamento.
98 Art. 30.3 Convención Marco.
99 Art. 30.4 Convención Marco.
100 Este Informe Explicativo puede consultarse en https://rm.coe.int/1680afae67