Revista Española de Derecho Europeo
78-79 | Abril – Septiembre 2021
pp. 201-255
Madrid, 2021
DOI:10.37417/REDE/num78-79_2021_636
© Marcial Pons Ediciones Jurídicas y Sociales
© M.ª Carmen Núñez Zorrilla
ISSN: 2695-7191
Recibido: 19/06/2021 | Aceptado: 14/07/2021
LOS NUEVOS AVANCES EN LA REGULACIÓN EUROPEA DE LA RESPONSABILIDAD CIVIL POR LOS DAÑOS OCASIONADOS EN EL ÁMBITO DEL TRANSPORTE CON INTELIGENCIA ARTIFICIAL
NEW ADVANCES IN THE EUROPEAN REGULATION OF CIVIL LIABILITY FOR DAMAGE CAUSED IN THE FIELD OF ARTIFICIAL INTELLIGENCE TRANSPORTATION
M.ª Carmen Núñez Zorrilla*
RESUMEN: El rápido desarrollo de tecnologías como la robótica y la inteligencia artificial, especialmente con su capacidad de aprendizaje, son los principales facilitadores de la evolución del transporte digital y automatizado en Europa. Sin embargo, la movilidad automatizada también conlleva nuevos riesgos que tienen su origen, en la cada vez más creciente autonomía de estos vehículos para adoptar sus propias decisiones no programadas ni predecibles. Es por este motivo que, en la otra cara de la moneda, se encuentra el elevado riesgo potencial de estas altas tecnologías de causar graves y cuantiosos daños en los casos de decisiones erróneas, siendo el sector del transporte, precisamente, un sector que se mueve en estas coordenadas de peligrosidad. De ahí, la conveniencia y urgencia de afrontar legislativamente, a nivel europeo, esta nueva realidad que avanza a un ritmo vertiginoso.
El presente trabajo se centra en el estudio de las lagunas e insuficiencias existentes en la legislación europea sobre la responsabilidad civil por los daños derivados del transporte con inteligencia artificial, y en las iniciativas jurídicas adoptadas recientemente por la Unión Europea para la elaboración de una legislación completa y armonizada en esta materia.
PALABRAS CLAVE: Inteligencia artificial; robótica; transporte; responsabilidad civil.
ABSTRACT: The rapid development of technologies such as robotics and artificial intelligence, especially with their learning capacity, are the main enablers of the evolution of digital and automated transport in Europe. However, automated mobility also brings new risks that stem from the ever-increasing autonomy of these vehicles to make their own unprogrammed and unpredictable decisions. It is for this reason that, on the other side of the coin, is the high potential risk of these high technologies of causing serious and considerable damage in cases of wrong decisions, the transport sector being, precisely, a sector that moves in these dangerous coordinates. Hence, the convenience and urgency of facing legislatively, at the European level, this new reality that is advancing at a dizzying pace.
This paper focuses on the study of the gaps and shortcomings in European legislation on civil liability for damages arising from transport with artificial intelligence, and on the legal initiatives recently adopted by the European Union for the development of comprehensive legislation and harmonized in this matter.
KEYWORDS: artificial intelligence; robotics; transport; civil liability.
SUMARIO: 1. LOS RETOS JURÍDICOS DE LA UNIÓN EUROPEA EN EL CAMINO HACIA LAS NUEVAS MODALIDADES DE TRANSPORTE INTELIGENTE.—2. PROPUESTA DE UNA NUEVA DIRECTIVA EUROPEA SOBRE PRODUCTOS Y SERVICIOS, QUE ENGLOBE A TODAS LAS MODALIDADES DE TRANSPORTE CON INTELIGENCIA ARTIFICIAL.—3. LA PROPUESTA DE REGLAMENTO EUROPEO SOBRE LA RESPONSABILIDAD CIVIL POR EL FUNCIONAMIENTO DE LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL. 3.1. El operador como sujeto responsable. 3.1.1. Los regímenes de responsabilidad personal civil extracontractual del operador. 3.2. Alcance de las indemnizaciones. 3.3. Plazos de prescripción y duración de la responsabilidad del operador. 3.4. El seguro de responsabilidad civil.—4. ACTUACIONES RECIENTES DE LA UE EN EL CAMPO DE LA IA: LA PROPUESTA DE REGLAMENTO EUROPEO SOBRE NORMAS ARMONIZADAS EN MATERIA DE INTELIGENCIA ARTIFICIAL Y LA RECOMENDACIÓN DE LA UNESCO SOBRE LA ÉTICA DE LA INTELIGENCIA ARTIFICIAL.—CONCLUSIÓN.—FUENTES CITADAS.
El sector de la movilidad desempeña un papel crucial en la economía y en la sociedad de la Unión Europea (UE). En sí mismo, es un empleador importante, así como un factor indispensable para impulsar la competitividad global del conjunto de la economía. La libre circulación de personas y mercancías en el mercado interior de la UE y los beneficios económicos, sociales y culturales de una «Europa sin fronteras», dependen de la facilidad de los desplazamientos y de la accesibilidad de la red de transporte, dentro de un Espacio Único Europeo de Transporte. Además, un sistema de movilidad moderno constituye una base indispensable para poder culminar con éxito la transición hacia una economía hipo carbónica en Europa y contrarrestar el aumento de las emisiones de gases de efecto invernadero y la contaminación atmosférica. Se están produciendo cambios de gran calado en la forma en que disfrutamos de la movilidad. Las necesidades tecnológicas impulsan el cambio. La digitalización y la automatización están cuestionando sus características tradicionales y creando nuevas oportunidades relacionadas con la eficiencia de los recursos y la economía circular y colaborativa (Comisión Europea, 2017. En adelante COMEU, 2017 y Comité Económico y Social Europeo, 2019. En adelante CESE, 2019).
Hoy día, la población reclama opciones de movilidad que, simultáneamente, la mejoren y contribuyan a la lucha contra el cambio climático y la contaminación atmosférica. La descarbonización, el uso de tecnologías con bajo nivel de emisiones y la implantación de soluciones de movilidad cooperativa, conectada y altamente automatizada, figuran entre los retos más acuciantes y las oportunidades más importantes para nuestra futura movilidad. Están surgiendo nuevos modelos empresariales que dan lugar a servicios de movilidad innovadores, como las nuevas plataformas en línea para las operaciones de transporte de mercancías, los viajes compartidos en automóvil, los servicios de uso compartido de coches o bicicletas o las aplicaciones para teléfonos inteligentes, que ofrecen datos y análisis en tiempo real sobre el estado del tráfico. Los propios vehículos también están siendo transformados por las tecnologías digitales. Están adquiriendo cada vez más inteligencia, a medida que aumenta el grado de automatización y pasan a estar disponibles nuevos servicios cooperativos y conectados a bordo (COMEU, 2017).
Los Estados miembros se han comprometido a completar la red básica de la Red Transeuropea de Transporte (RTE-T) antes del 2030 (Tribunal Europeo de Cuentas, 2018: 4 y 5) 1. El proyecto de la RTE-T tiene como finalidad garantizar la cohesión económica, social y territorial y la accesibilidad en toda la UE y sus regiones, para de este modo estimular el crecimiento económico y el empleo, promover la digitalización, la lucha contra el cambio climático y la mejora de la resiliencia. La política de la RTE-T está encaminada a promover la implantación de soluciones de transporte innovadoras, soluciones de movilidad con bajas emisiones y combustibles alternativos en toda la UE. La innovación y la digitalización desempeñan un papel fundamental para hacer que el transporte sea más seguro y descarbonizarlo, destacándose la necesidad de que la RTE-T impulse las aplicaciones digitales innovadoras en todos los modos, incluidos los sistemas de transporte inteligente, el Sistema de Gestión del Tráfico Ferroviario Europeo, los sistemas de seguimiento y de información sobre el tráfico marítimo, los servicios de información fluvial y los sistemas de gestión del tráfico aéreo. Las soluciones de movilidad inteligente y autónoma se consideran cada vez más viables desde el punto de vista comercial, siendo necesario acelerar la infraestructura digital en la RTE-T, al tiempo que se garantice la interoperabilidad transfronteriza (Parlamento Europeo. Comisión de Transportes y Turismo, 2020. En adelante PE.CTT, 2020).
El sistema de movilidad y transporte europeo está inmerso, hoy por hoy, en un cambio que lo hará mucho más ecológico y digitalizado. Las cadenas logísticas se transformarán a medida que las nuevas tecnologías logren facilitar la integración digital de los distintos modos de transporte (ferroviario, aéreo, marítimo y por carretera), un flujo más denso de información sobre el tráfico y el rastreo, un acceso más fácil a los servicios y la información de los pasajeros, un uso más eficiente de la capacidad de las infraestructuras y un mayor grado de previsibilidad de los horarios. En este nuevo contexto, se presta más atención a la movilidad como un servicio, lo que supone alejarse de las modalidades de transporte personal en vehículo propio en favor de soluciones de movilidad que se consumen como servicio. El concepto clave detrás de la movilidad como un servicio estriba en ofrecer a los viajeros soluciones de movilidad puerta a puerta basadas en sus necesidades y decisiones de viaje, garantizando la asequibilidad y accesibilidad al transporte público como servicio de interés general (CESE, 2020).
La movilidad automatizada hace que el transporte público sea más competitivo, gracias a una oferta de servicios dentro y fuera de las poblaciones; servicios que no se basan en horarios preestablecidos, sino en la demanda, que son personalizados, compartidos, de elevada calidad y eficientes energéticamente. En regiones europeas subdesarrolladas, periféricas y ultraperiféricas, el uso de automóviles y de servicios de transporte compartido y de aprovisionamiento de vehículos con soluciones digitales permiten que los residentes locales lleguen a puntos más alejados con un menor impacto ambiental, al tiempo que se evita la despoblación de estas áreas. El transporte automatizado tiene un gran potencial para facilitar el acceso a la movilidad y reducir su coste en comunidades dispersas y con problemas demográficos. Tiene en cuenta las necesidades de los usuarios de edad avanzada a la hora de diseñar, desarrollar y probar sistemas fáciles de utilizar (Comité Europeo de las Regiones, 2019). Mejora la accesibilidad sin obstáculos para todos, especialmente la de las personas mayores, las personas con movilidad reducida y las personas con discapacidad, y sensibiliza sobre soluciones de movilidad alternativas, proporcionando a los pasajeros mayores posibilidades de elección, productos más personalizados y sencillos y más información en toda la Unión y en las regiones menos desarrolladas (Parlamento Europeo, 2017. En adelante PE, 2017).
Los vehículos, buques y sistemas aéreos sin conductor, no tripulados y totalmente autónomos, que funcionan de manera independiente, constituyen el reto de esta evolución. El rápido desarrollo de tecnologías como los macrodatos, la computación en nube, los sensores, la robótica y la inteligencia artificial (IA) (López Oneto, 2020:45; Portellano Díez, 2020: apartado II; Unitat D’estratègia i Intel·Ligència Competitiva D’acció i Secretaria de Polítiques Digitals, 2019: 5. En adelante UEI, 2019) 2, especialmente con su capacidad de aprendizaje, como el aprendizaje automático y el aprendizaje profundo, son los principales facilitadores de la evolución del transporte digital y automatizado (CESE, 2017).
La movilidad está cruzando actualmente una nueva frontera digital, con una creciente automatización y conectividad, que permite a los vehículos “hablar” entre sí, con las infraestructuras viarias y con otros usuarios de la vía. Esta evolución, que tiene sus raíces en los avances en el ámbito de la IA, da lugar a un nivel de cooperación entre los usuarios de la vía completamente nuevo, que podría aportar para ellos y para el sistema de movilidad en su conjunto enormes beneficios, entre los que se incluirían una seguridad, una accesibilidad y una sostenibilidad del transporte mayores. Estos avances se están notando especialmente en el ámbito de los vehículos sin conductor (Hernáez Esteban, 2018: apartado III; Primitivo Rodríguez, 2019: 85 y 86) 3, que pueden mejorar significativamente la seguridad vial, ya que se estima que el error humano (distracción, vulneración de las normas de tráfico) es la causa de la mayoría de los accidentes (influye en el 94 POR 100 de los accidentes). Los vehículos sin conductor pueden llevar a la movilidad a aquellas personas que no pueden conducir por sí mismas, o a las personas a las que no llegan los servicios del transporte público; pueden fomentar los programas de uso compartido de vehículos; acelerar la movilidad eléctrica y revolucionar la ordenación urbanística. Los vehículos del futuro con IA pueden favorecer la inclusión social, las bajas emisiones, contribuir a la lucha contra el cambio climático y la eficiencia global, así como reducir el número de víctimas mortales en las carreteras. Conocedores de toda la normativa vigente en su sistema, no están expuestos a los errores de los conductores ni a sus cansancios, cambios de humor, conducción bajo los efectos del alcohol o estupefacientes. Son vehículos capaces de dar respuestas ante lo imprevisible, imitando las capacidades humanas de manejo y control, percibiendo el medio que les rodea. Sin embargo, la movilidad automatizada también conlleva nuevos riesgos, que tienen su origen, precisamente, en la cada vez más creciente autonomía de estos vehículos para adoptar sus propias decisiones no programadas ni predecibles. Son sistemas tecnológicamente opacos, porque es dificultoso y complicado para las personas comunes prever lo que van a hacer. Son máquinas dotadas de herramientas que les posibilitan aprender de la realidad y tomar decisiones en una multitud y variedad de supuestos no previstos, sin necesidad de ningún control humano. Ni siquiera sus programadores o educadores son capaces de saber el motivo por el cual el sistema de IA tomó una decisión y no otra, a lo que se añade que están constantemente evolucionando (Portellano Díez, 2020), ya que aprenden por sí mismas de su propia experiencia. Los algoritmos de aprendizaje automático están entrenados incluso para modificarse a sí mismos a través de su propia evolución (Barrio Andrés, 2020:59) 4.
Que una aplicación de IA actúe de manera autónoma quiere decir que lleva a cabo tareas sin que cada paso esté predefinido, y que lo hace con menos o, en última instancia, sin ningún control o supervisión humanos inmediatos (UEI, 2019:7) 5. Los algoritmos basados en el aprendizaje automático de la máquina pueden ser difíciles, si no imposibles de comprender (efecto caja negra). Este dato, unido al gran número de agentes que intervienen en su ciclo de vida, puede hacer extremadamente costoso determinar la verdadera causa del resultado lesivo. Es por este motivo que, en la otra cara de la moneda de todas aquellas ventajas, se encuentra el elevado riesgo potencial de estas altas tecnologías, de causar graves y cuantiosos daños en los casos de decisiones erróneas o incorrectas, no solo por el problema de la creciente pérdida de control sobre las mismas, sino también por la extrema dificultad que comportaría para los perjudicados el hecho de tener que probar la causa del fallo en el sistema, siendo el transporte, precisamente, un sector que se mueve en estas coordenadas de peligrosidad (susceptible de causar numerosos y graves daños a las personas) (Comisión Europea, 2020 a. En adelante COMEU, 2020 a).
Las herramientas cognitivas más poderosas son también las más opacas, puesto que sus acciones han dejado de ser programadas linealmente por humanos. El aprendizaje profundo hace posible que las máquinas se “enseñen” a sí mismas nuevas estrategias y adquieran nuevos elementos para ser incorporados en sus análisis (Salazar, 2019:48) 6. De esta forma, las acciones de estas máquinas se vuelven indescifrables y escapan del escrutinio humano. Esto se debe, en primer lugar, a que resulta imposible averiguar cómo se generan los resultados más allá de los algoritmos iniciales. En segundo lugar, porque el rendimiento de estas máquinas se basa en los datos utilizados durante el proceso de aprendizaje, y estos pueden no estar disponibles o ser inaccesibles (Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías, 2018). Estas máquinas aprenden por sí mismas mientras funcionan, por lo que muchos de sus resultados no pueden preverse ni anticiparse en la fase de diseño. En ellas los riesgos no se deben a fallos en el diseño original del sistema, sino más bien a las repercusiones prácticas de las correlaciones o de los modelos que reconozca el sistema en un gran conjunto de datos. En consecuencia, estas tecnologías avanzadas generan nuevos riesgos de seguridad para los usuarios cuando están integradas en productos o servicios (Comisión Europea, 2020 b. En adelante COMEU, 2020 b:14, 15 y 16) 7.
Debemos recapacitar en que, es a partir del juicio de la previsibilidad como hemos construido a lo largo de la historia los conceptos de causalidad para atribuir la responsabilidad al agente causante del daño, pero hoy, con la IA, este concepto ya no sirve. En el ámbito de los vehículos autónomos inteligentes, la ciencia no ha logrado consagrar una previsibilidad cierta; cuanta más autonomía tengan, mayor será la toma de decisiones y, en consecuencia, mayor la incertidumbre e imprevisibilidad (Martínez Mercadal, 2018). Por consiguiente, para que este tipo de movilidad goce de aceptación social, deben abordarse estos nuevos aspectos para procurar alcanzar los más elevados niveles de seguridad (PE, 2019).
Aunque quedan todavía muchos retos técnicos por resolver para garantizar que el vehículo pueda percibir plenamente su entorno, comprenderlo y adoptar las decisiones adecuadas, sin embargo, los progresos en esta materia avanzan vertiginosamente y su irrupción en el mercado supondrá una revolución que cambiará por completo, no solo la forma de desplazarnos, sino también nuestro estilo de vida (Hernáez Esteban, 2018). Entre tanto, esta autonomía y opacidad en la toma de decisiones que caracteriza a la movilidad del futuro, plantea varias cuestiones a resolver: ¿En quién debe recaer la responsabilidad cuando un vehículo autónomo se vea involucrado en un accidente, en el que la causa tiene su origen en una decisión imprevisible del propio vehículo? (Comisión Europea, 2018 a. En adelante COMEU, 2018 a); ¿debe responder el fabricante, el programador, el detentador de la máquina o debe soportar el daño el propio perjudicado cuando no pueda atribuirse a ninguno de los anteriores? Sería fácil responder a estas preguntas si pudiese saberse con seguridad la causa: de donde proviene el error o fallo que ha provocado el daño; de ser así, la respuesta ya la contempla nuestro ordenamiento. No obstante, no es este el supuesto del que partimos. El problema de la atribución de la responsabilidad en los daños cometidos por agentes artificiales con procesos automáticos de toma de decisiones se plantea porque el daño es atribuible a una decisión adoptada de forma autónoma por la propia máquina (Badillo Arias, 2019), producto de su autoaprendizaje. En definitiva, un daño que puede no tener su causa en un defecto del sistema y este evento no está regulado en nuestro ordenamiento. O ¿cómo debe articularse el régimen de la carga probatoria de la culpa para exigir la responsabilidad al agente del daño? Los esquemas de atribución de la responsabilidad basados en la gobernanza de la máquina, en la presunción de culpa y en los juicios de previsibilidad, ya no son viables para determinar la responsabilidad civil en los supuestos de daños provocados por sistemas autónomos con IA que automatizan la toma de decisiones.
Actualmente en España, el marco legal del que disponemos quedará obsoleto, en la medida en que parte de la idea de que existe un “conductor” que interviene en la conducción (González Alonso, 2021). Se trata de una responsabilidad que requiere la presencia de una persona que gobierne el vehículo y que habiendo podido adoptar las medidas adecuadas para evitar un daño previsible, no lo hizo 8. Si el sistema autónomo causa un daño como consecuencia de una incorrecta configuración o defecto de fabricación o error del operador o del usuario, no cabe duda de que el responsable será la persona física, como hasta ahora ocurría (fabricante, diseñador, programador o usuario). No son estos supuestos los que plantean el problema de la falta de regulación. En el ámbito de los daños provocados por este tipo de sistemas, el vacío legal no se produce en estos casos —ya contemplados por los ordenamientos actuales—, sino en aquellos en los que no se puede identificar al sujeto causante del daño. El daño no es imputable ni al fabricante, ni al programador, ni al entrenador de la máquina, ni al usuario que la detenta, porque es una decisión tomada por el propio agente autónomo, imprevisible, que no tiene su causa en un defecto de fabricación o de diseño o de información (causas estas ya previstas por los ordenamientos vigentes), y aún en el caso de que el daño hubiere sido debido realmente a un defecto de la máquina, resultaría muy difícil determinar de qué tipo de defecto o fallo se trata y al agente causante del mismo. De ahí la conveniencia de afrontar legislativamente esta nueva realidad a nivel europeo (Comisión Europea, 20218 b. En adelante COMEU, 2018 b) 9. Los sistemas de transporte inteligentes representan un paso de gigante y una importante tarea para los responsables políticos europeos, de cara especialmente, a la elaboración de una legislación armonizada (PE.CTT, 2018) sobre responsabilidad civil, que tenga en cuenta los nuevos tipos de riesgos y daños hacia las personas derivados de los procesos autónomos de toma de decisiones. No cabe duda de que la IA aplicada al sector del transporte, aporta muchos beneficios, pero también nuevos peligros en un ámbito que es susceptible de causar graves lesiones o daños a los particulares o a la sociedad, motivo por el cual, requiere de una especial atención por parte del legislador comunitario. Se impone la necesidad de una actualización del marco regulador del sector del transporte relativo a estas tecnologías emergentes (Macías Espejo, 2020) para lograr una movilidad segura. Esta futura moderna legislación europea armonizada, debe comprender tanto a los productos como a los servicios, distinguiendo en qué supuestos, en el ámbito de la movilidad de las personas, nos encontramos ante un producto o bien ante un servicio, ya que el desplazamiento inteligente puede llevarse a cabo a través de estas dos formas (PE, 2020 f).
En mi opinión, la actual Directiva de 25 de julio de 1985, sobre responsabilidad por los daños causados por productos defectuosos, ya no es plenamente efectiva y se ha quedado atrás en relación con los nuevos tipos de riesgos que generan las tecnologías digitales emergentes (Seijo Bar, 2020). Los problemas a los que nos enfrentamos en la actualidad difieren de los que existían en el mundo predominantemente analógico de 1985. Nos encontramos inmersos en otra revolución tecnológica, en la que la economía y los propios productos están aumentando gradualmente su interconexión, su digitalización, su autonomía y su inteligencia, y necesitamos una respuesta global ante estos retos.
Para empezar, la Directiva sobre productos defectuosos no resulta de aplicación a la responsabilidad derivada de la prestación de servicios, cuando muchos de los usos de la IA, entre ellos, los relacionados con el transporte, lo serán en el marco de una relación de prestación de servicios (Portellano Díez, 2020). Para aprovechar eficazmente las ventajas de la IA, potenciar el comercio interior y evitar un exceso y disparidad de legislaciones en esta materia, es fundamental contar con una legislación única y completa en la Unión Europea, preparada para el futuro, que abarque a todos los sistemas de IA, con la finalidad de establecer una igualdad de normas en toda la Unión y proteger eficazmente nuestros valores europeos. La exclusión de los servicios del ámbito de aplicación de la Directiva, ahora se está convirtiendo en un problema importante, ya que las aplicaciones tecnológicamente avanzadas, a menudo muestran tanto software, que es calificado como un servicio, como elementos de hardware, que están estrechamente conectados en su funcionamiento, cayendo así fuera del ámbito de aplicación de la misma (Bertolini, 2020).
El siguiente inconveniente que presenta, es el de la carga de la prueba que pesa sobre la víctima del daño, que además de este, debe probar el defecto y la relación causal entre ambos.
El problema estriba en el hecho de que, como ya se ha señalado, la actuación lesiva de la máquina no tiene por qué deberse a un defecto, y aún en el caso de que se debiera a un defecto, este podría resultar muy difícil de identificar, al igual que el concreto sujeto causante del mismo 10. Este régimen de la carga de la prueba en el ámbito de los sistemas de IA con procesos automáticos de toma de decisiones es un sinsentido, si se tiene en consideración que en estos supuestos el daño no será consecuencia de una falta de diligencia del fabricante en ningún aspecto, ni de ningún fallo o error en el diseño o programación, sino de una decisión autónoma completamente imprevisible del sistema de IA (Álvarez Olalla, 2019:159-161) 11.
Por tanto, en este ámbito no se le puede exigir a la víctima la prueba del defecto, porque en muchos casos el mismo no existe y, aun así, debe repararse el daño, y aun en el supuesto de que el defecto existiera, tampoco sería justo cargar a la víctima con una prueba tan costosa o dificultosa, dado que esta se encuentra en una posición de desventaja en lo que se refiere a la información técnica sobre el producto o servicio (Van Uytsel, 2021: 72) 12. La dificultad para hacer un seguimiento retrospectivo de las decisiones potencialmente problemáticas adoptadas mediante sistemas de IA, aumenta la probabilidad de que las personas que hayan sufrido daños no dispongan de un acceso efectivo a las pruebas necesarias para llevar el caso ante los tribunales y tengan menos probabilidades de obtener una reparación efectiva. En el ámbito de los productos y servicios con IA, debe ser el productor la persona que cargue con la demostración de la causa de la decisión errónea del sistema, para, a su vez, explicársela a la víctima del daño, si es que finalmente se ha podido hallar una explicación. Para poder comprender el algoritmo y los datos utilizados por la IA, hacen falta una capacidad analítica y unos conocimientos técnicos que pueden ser excesivamente costosos para las víctimas. Sin la cooperación de la parte aparentemente responsable puede resultar del todo imposible acceder al algoritmo y a los datos. Como consecuencia, es posible que en la práctica las víctimas no puedan presentar una demanda viable de responsabilidad civil (COMEU, 2020 a).
Dada la potencial peligrosidad e inseguridad de estos sistemas, desde la UE, una de las directrices éticas más importantes que se resaltan para la construcción de una IA fiable, es la necesidad de que estos sistemas incorporen un registro de todas sus actuaciones para poder explicar a los usuarios los motivos de sus decisiones. Las decisiones deben poder explicarse en la medida de lo posible a las partes que se vean afectadas por ellas de manera directa o indirecta. Con todo, no siempre resulta posible explicar por qué un modelo ha generado un resultado o una decisión particular (ni qué combinación de factores contribuyeron a ello). Estos casos, que se denominan algoritmos de «caja negra», requieren especial atención. Se exige que los conjuntos de datos y los procesos que dan lugar a la decisión del sistema de IA, así como los algoritmos utilizados, se documenten rigurosamente, con el fin de posibilitar la trazabilidad y aumentar la transparencia, pues esto permite identificar los motivos de una decisión errónea por parte del sistema, lo que a su vez puede ayudar a prevenir futuros errores (COMEU, 2018 a; Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial, 2019:16) 13. No obstante, no es claro que esto sea técnicamente posible. Actualmente se trabaja en dicho problema, y hay varias alternativas al respecto, aunque no se puede determinar con certeza hasta dónde se puede llegar en este camino. De momento, no existe un mecanismo simple que permita determinar con certeza las correlaciones que un algoritmo realiza y la fuerza que cada elemento que puede emerger en una capa de una red tendrá finalmente. Para esto se requiere el trabajo de analistas de datos, y aun en ese caso, esto puede resultar extremadamente difícil de determinar, cuando no imposible. En el caso de modelos simples, se puede reconstruir la cadena de inferencias que lleva a tal o cual algoritmo a determinar algo, pero para ello debe examinarse la información que llega a cada neurona o perceptrón de la red y sus consiguientes ramificaciones. En pocas palabras, es necesario ser un analista de datos competente y esperar que la red sea sencilla. No obstante, en el mundo real, las redes pueden contar con miles o cientos de miles de neuronas y millones de conexiones, por lo que estimar las razones matemáticas por las que un algoritmo en concreto haya realizado una predicción en particular puede ser simplemente imposible. Cuanto más avanzado sea el agente, mayor será su grado de autonomía, de imprevisibilidad y de opacidad (Amunátegui Perelló, 2020).
Por esta razón, si en última instancia toda esta información se encuentra a disposición del productor, entonces debe ser este quien, a través de la explicación del proceso de la toma de decisiones, deba probar el resultado correcto o incorrecto del sistema, para a su vez, ponerlo en conocimiento del usuario. A todo ello se añade que las aplicaciones de IA suelen estar integradas en entornos de internet de las cosas complejos, en los que interactúan muchos dispositivos y servicios conectados. La combinación de distintos componentes digitales en un ecosistema complejo y la pluralidad de agentes implicados, pueden dificultar evaluar dónde se puede producir un perjuicio y quién es el responsable. Debido a la complejidad de estas tecnologías, puede resultar muy difícil para las víctimas averiguar quién es la persona culpable. El coste de estas pesquisas puede ser prohibitivo y disuadir a las víctimas de reclamar una indemnización (COMEU, 2020 a).
También habría que revisar y que aclarar el concepto de “defecto” o de “producto defectuoso” (Seijo Bar, 2020), porque si estamos hablando de una responsabilidad que no nace de la negligencia del fabricante, sino de una actuación incorrecta producto de una decisión autónoma de la máquina, entonces las nociones de defecto y de producto defectuoso deberían modificarse para adaptarse a esta nueva forma de producción del daño. Estos conceptos deberían ampliarse para abarcar ahora también a las actuaciones dañinas de los sistemas de IA, que derivan de decisiones incorrectas adoptadas autónomamente, por cuanto no ofreciesen la seguridad a la que una persona tiene legítimamente derecho (art. 6 de la actual Directiva sobre productos defectuosos). Es decir, que dentro del concepto de “defecto” habría que englobar asimismo a este tipo de actuaciones, que, aun siendo inexplicables, deberían ser calificadas como inseguras, y ello debería aclararse en el nuevo marco regulatorio. Aun y así, continuaría existiendo el problema para la víctima de la demostración de la actuación errónea de la máquina.
Por todo lo anterior, para salvar los problemas expuestos y para facilitar en este ámbito a la víctima la carga de la prueba para poder reclamar la responsabilidad, el régimen de la carga de la prueba en el ámbito de los sistemas de IA debe pivotar en torno a una responsabilidad completamente objetiva (Van Uytsel, 2021), en la que el perjudicado únicamente deba demostrar el daño y la relación de causalidad entre este y la actuación del sistema de IA. A partir de aquí, debe ser el productor o persona que controle el servicio, a quien, en su caso, hay que dar la oportunidad de demostrar los motivos de la acción de la IA, ya que es esta persona quien está en mejores condiciones de probarlos, por disponer de más información. Con todo, la averiguación de los motivos de las acciones de la IA será, en muchas ocasiones, difícil o imposible.
Las dificultades que plantean la autonomía y la opacidad a las normativas nacionales de responsabilidad civil podrían tratar así de solucionarse, siguiendo un enfoque basado en el riesgo. Los regímenes de responsabilidad civil objetiva pueden garantizar que siempre que se materialice dicho riesgo, la víctima sea indemnizada con independencia de si existe o no culpa; régimen este, que podría vincularse a la obligación de suscribir un seguro, con el fin de garantizar el pago de la indemnización con independencia de la solvencia de la persona civilmente responsable y contribuir a reducir los costes asociados a los daños (COMEU, 2020 a).
En los supuestos de autonomía en la toma de decisiones, debe partirse de que no hay ninguna desviación con respecto a los estándares que son razonablemente exigibles a la empresa o a sus productos o servicios, lo que da lugar a que el empresario tampoco pueda eximirse de responsabilidad probando que ha cumplido con el estándar de conducta exigible. Aun así, vendrá obligado a responder cuando se averigüe que la decisión autónoma del sistema de IA sea incorrecta o errónea.
La responsabilidad objetiva que aquí se propone, también vendría avalada por el hecho de que es más justo facilitar la carga probatoria a aquella de las partes que se encuentra en una posición de mayor vulnerabilidad de poder sufrir daños por el uso de tecnologías digitales avanzadas potencialmente peligrosas (consumidores y usuarios), haciendo recaer el mayor peso de la prueba, a aquella de las partes que más se lucra o beneficia económicamente por la puesta en circulación en el mercado de las mismas (empresario), quien, además, goza de una mayor facilidad para poder acceder a la explicación/averiguación técnica de los hechos y decisiones adoptadas por el sistema de transporte inteligente. A esta responsabilidad objetiva se refieren, asimismo, los Principios de Derecho Europeo de la Responsabilidad Civil, presentados en Viena en el 2005, por el European Group on Tort Law 14, al hacer referencia a las “actividades anormalmente peligrosas”, que define como aquellas que crean un riesgo previsible (inherente a la actividad misma) y significativo de daño, incluso aunque se emplee todo el cuidado debido en su ejercicio. El riesgo no puede ser eliminado mediante una conducta diligente, no solo del causante del daño, sino de todas aquellas personas que intervienen en la actividad, incluidas las víctimas potenciales (Martín Casals, 2005). La existencia de un riesgo significativo de daño se hace depender de la intervención de dos elementos: la gravedad y la probabilidad del mismo (art.5:101, apartados 1, 2 y 3); elementos estos que justamente están presentes en el ámbito de las acciones de la IA fuerte.
El transporte altamente automatizado no es más que una consecuencia del desarrollo económico de la sociedad; un desarrollo que, aunque implica nuevos e importantes riesgos para los miembros de esta, sin embargo, resulta inevitable e imparable por los beneficios que reporta, así como también resulta imposible evitar por completo los daños derivados del mismo. Por ello, como contrapartida, resulta lógico la adopción de medidas dirigidas a garantizar a las víctimas del avance tecnológico una compensación por los daños que experimenten como consecuencia del uso de estas altas tecnologías. El beneficio individual y social que reporta el uso de estos medios exige que sea la propia sociedad la que provea de un sistema por el que se garantice una efectiva reparación del daño, distribuyéndolo entre todos sus miembros. Desde la UE se ha expresado la necesidad de avanzar hacia el transporte autónomo por los beneficios que reporta a la sociedad, poniéndose a la vez de relieve el riesgo que se deriva de su desarrollo. Se permite la puesta en circulación de este tipo de tecnología porque se considera que los beneficios que de ella proceden son superiores al coste económico de los daños que causan, y se alude asimismo a la idea de riesgo para implantar un sistema objetivo de responsabilidad (Reglero Campos, 2007). De esta forma, el fundamento de esta responsabilidad objetiva descansaría en la contrapartida al beneficio económico que reporta la circulación de estas máquinas para el empresario/fabricante, que es quien crea la situación de riesgo, al mismo tiempo que sería la solución al costoso problema de las víctimas de tener que averiguar la verdadera causa del daño. Todavía quedaría, no obstante, otro problema no menos importante por resolver: el de concretar al agente al que se le debe imputar la responsabilidad; cuestión esta nada fácil de solventar, teniendo en cuenta la pluralidad de agentes que pueden llegar a participar en el ciclo de vida de la máquina y la opacidad de la misma en su proceso de toma de decisiones.
En todo caso, sería conveniente que el nuevo marco regulador detallase de manera específica y exhaustiva los sectores que, por las características y el tipo de actividades que llevan a cabo, sea previsible que generen riesgos significativos. Por ejemplo, la sanidad, el transporte, la energía y determinados ámbitos del sector público (COMEU, 2020 b).
Continuando con los inconvenientes que presenta la mencionada Directiva para hacer frente a los nuevos tipos de daños derivados de productos o servicios con procesos autónomos inteligentes de toma de decisiones, se observa que en ella se señalan una serie de causas que pueden ser alegadas y probadas por el productor con la finalidad de eximirse de responsabilidad. Pues bien, entre ellas, hay dos, que, a mi modo de ver, no encajan con el rasgo característico que es propio de la IA: la adopción autónoma de decisiones. Así, por un lado, se permite al fabricante excluir su responsabilidad cuando “teniendo en cuenta las circunstancias, sea probable que el defecto que causó el daño no existiera en el momento en que el productor puso el producto en circulación o que este defecto apareciera más tarde”, y por otro, también cuando “en el momento en que el producto fue puesto en circulación, el estado de los conocimientos científicos y técnicos no permitía descubrir la existencia del defecto” [art.7.b) y e)]. Si cualquiera de estas dos defensas fuera admisible cuando media un sistema de IA, el fabricante nunca tendría que responder (Gómez Ligüerre, 2021). Perfectamente, podría alegar que no existía ningún defecto en el momento en el que el sistema de IA fue puesto en circulación, siendo en un momento posterior, cuando el sistema de IA, autónomamente, tomó una decisión inadecuada que generó un daño. Igualmente, podría sostener que, en el momento de la puesta en circulación del producto, el estado de los conocimientos técnicos y científicos no permitía saber que el sistema tomaría una decisión errónea generadora de daño (Portellano Díez, 2020). Si se permitiese al fabricante demostrar que el defecto no era ni podía ser razonablemente conocido en el momento de la puesta en servicio de la máquina, ello significaría que podría liberarse de responsabilidad probando su diligencia en aquel momento, lo que al fin y al cabo abre la entrada a elementos subjetivos próximos a la culpa, que permiten calificarlo como un régimen de responsabilidad objetiva atenuada o no absoluto. Otro elemento que matiza el carácter plenamente objetivo de la responsabilidad contemplada en la Directiva de 1985 lo constituye el hecho de que el análisis del defecto y de los riesgos que pueden ser conocidos razonablemente se realice en el momento de la puesta en circulación del producto, que es el momento que se toma en cuenta para determinar la previsibilidad de los riesgos (el fabricante solo responde de los riesgos previsibles). En un modelo puro de responsabilidad objetiva, lo más coherente sería referir esta valoración a un momento posterior (al de la producción de los daños), y considerar responsable al fabricante por los daños que pudiera causar un producto cuyo defecto, aunque no cognoscible en el momento de su puesta en circulación, sí lo fue en un momento ulterior (Ebers, 2016:16; Solé i Feliu, 1997) 15.
Las demás causas eximentes de la responsabilidad mencionadas en el art. 7 de la Directiva, sí que podrían tener cabida en el ámbito de la IA, y a mi parecer, además, podrían incluirse estas otras, mencionadas en aquellos principios: –que la decisión del sistema hubiere sido en defensa de un interés protegido propio contra un ataque antijurídico (legítima defensa); –por estado de necesidad; –con el consentimiento de la víctima; –por culpa de la víctima y –por fuerza mayor 16. Quedaría por considerar otra causa que a nivel general podría elevarse a la categoría de eximente, que englobaría todas aquellas situaciones diversas, no comprendidas concretamente en las causas anteriores, que vendría dada cuando, pese a haber existido un daño, el mismo hubiere sido consecuencia de algún tipo de decisión correcta del sistema de IA.
Quedarían por revisar otros conceptos, que con las nuevas tecnologías digitales emergentes, plantean interrogantes en lo que concierne a su encaje para lograr una reparación efectiva a la víctima, como por ejemplo, el alcance de los daños que cubre, que no abarca a los daños morales derivados de lesiones corporales u otro tipo de lesiones a los derechos de la personalidad o derechos fundamentales de la persona; o el límite que contempla en la duración de la responsabilidad del productor, que no tiene buen encaje en el ámbito de la IA, en el que los deberes de vigilancia y cuidado del fabricante no pueden tener un límite temporal. El fabricante debe llevar a cabo un seguimiento, observando el funcionamiento del sistema, estando pendiente de posibles riesgos que puedan surgir a lo largo de la vida del mismo (Manchado Azcárate et al., 2020); o el concepto mismo de defecto, que con estas tecnologías podría ampliarse a la explicación y demostración por parte del productor, de la actuación incorrecta del sistema de IA, en los supuestos de decisiones autónomas.
Otro concepto que también debería revisarse para actualizarse es el de la “seguridad” que razonablemente cabe esperar del producto o servicio a lo largo de todo su ciclo de vida. Las funcionalidades de la IA no son óbice para que exista un derecho de los usuarios a tener expectativas de seguridad respecto de los productos o servicios puestos en el mercado, pero esta expectativa de seguridad, cuando se trata de sistemas de IA, debe tener presente la autonomía de estos sistemas, que precisamente afecta a la seguridad del producto o servicio, ya que puede alterar sustancialmente sus características y funcionalidades. Estas nuevas condiciones que presenta el aprendizaje automático alteran la seguridad inicialmente prevista, para accionar más tarde con productos o servicios que pueden ser menos seguros. Esta menor seguridad que cabe esperar de estas tecnologías digitales podría legitimar un aumento de la responsabilidad del fabricante (COMEU, 2020 a).
La incorporación de la IA con procesos de aprendizaje automático en los productos o servicios puede modificar el funcionamiento de los mismos a lo largo de su ciclo de vida, lo que puede dar lugar a nuevos riesgos que no existían en el momento en que se introdujo el sistema en el mercado. El riesgo puede existir en el momento de comercializar el producto en el mercado o surgir como resultado del aprendizaje automático de este cuando se está utilizando. Este tipo de riesgos no se abordan adecuadamente en la legislación en vigor, que se centra sobre todo en los riesgos de seguridad en el momento de la comercialización. Por esta razón, el uso de la IA en los productos y servicios implica cambios en el concepto de seguridad (COMEU, 2020 b).
La industria cada vez se compone de un mayor número de cadenas de valor dispersas globales y formadas por múltiples agentes con sólidos componentes de servicio. Existe una mayor posibilidad de cambiar, adaptar y reacondicionar los productos más allá del control del productor; productos que cada vez tendrán un mayor grado de autonomía (Comisión Europea, 2018 c. En adelante COMEU, 2018 c) y, por tanto, de opacidad. La opacidad, como ya se ha dicho, es otra característica principal de los sistemas basados en IA, que deriva en la capacidad de estos de mejorar la ejecución de sus tareas, aprendiendo de la experiencia, lo que puede hacer que el proceso de toma de decisiones sea difícil de determinar (efecto “caja negra”). Si bien los humanos no tienen por qué comprender todos y cada uno de los pasos del proceso de toma de decisiones, dado que los algoritmos de la IA se van volviendo cada vez más avanzados e introduciendo en ámbitos críticos, es fundamental que los humanos puedan por lo menos comprender cómo toma el sistema las decisiones algorítmicas. Este aspecto reviste especial importancia para el mecanismo de control a posteriori, ya que hará posible que las autoridades de garantía del cumplimiento puedan localizar al responsable original de los comportamientos de los sistemas de IA. Pues bien, la normativa de la Unión en materia de seguridad de los productos no trata explícitamente el tema del aumento de los riesgos derivados de la opacidad de los sistemas basados en algoritmos (COMEU, 2020 a) 17.
La autonomía, como una de las funcionalidades principales de la IA, puede llevar en algunos casos a resultados no deseados que podrían perjudicar a los usuarios expuestos a ella, ya que pueden darse situaciones en las que los mencionados resultados no puedan determinarse por completo por adelantado. En tales situaciones, la evaluación del riesgo realizada antes de comercializar el producto no puede seguir reflejando el uso, el funcionamiento o el comportamiento de este. En estos casos, no previstos en la normativa actual, y siempre que se vea modificado el uso inicialmente previsto por el fabricante debido al comportamiento autónomo, y ello tenga repercusiones para el cumplimiento de los requisitos de seguridad, se puede contemplar la necesidad de exigir una nueva evaluación del producto que incorpora el aprendizaje automático. Es decir, además de la evaluación del riesgo realizada antes de comercializar el producto, puede establecerse un nuevo procedimiento de evaluación del riesgo cuando el producto sufra cambios importantes durante su vida útil (por ejemplo, distinta función del producto no prevista por el fabricante en la evaluación inicial del riesgo). Dicha evaluación debería centrarse en las repercusiones en la seguridad derivadas del comportamiento autónomo durante la vida útil del producto. Con carácter adicional, se podrían añadir en los actos normativos pertinentes de la Unión, requisitos reforzados para los fabricantes sobre las instrucciones y advertencias para los usuarios (COMEU, 2020 a).
El nuevo marco legal debería incidir, asimismo, en el suministro a los usuarios de una información específica en torno al uso de los sistemas de IA de elevado riesgo, dirigida a promover su utilización responsable. Concretamente, cabría valorar los siguientes requisitos: –capacidades y limitaciones del sistema de IA, en especial sobre el objetivo al que se destinan; –las condiciones en las que se espera que funcione según lo previsto; –el nivel de exactitud esperado en la consecución del objetivo mencionado; –información clara a los ciudadanos de cuándo están interactuando con un sistema de IA y no con un ser humano, siendo importante también que la información facilitada sea objetiva, concisa y fácilmente comprensible (COMEU, 2020 b).
Otra de las cuestiones que debe abordar el futuro marco regulador, es la relativa a cómo deben repartirse las obligaciones de resarcimiento entre los distintos agentes que participan en el proceso. Hay numerosas partes involucradas en el ciclo de vida de un sistema de IA. Entre ellas: el desarrollador, el implementador, el productor, distribuidor, importador, proveedor del servicio, el usuario profesional o el particular. Cada obligación debería dirigirse a la persona que esté en mejor posición para abordar el riesgo y ejercer el control sobre el mismo.
En cuanto a la cuestión del alcance geográfico de la intervención legislativa, todos los agentes económicos que ofrezcan productos o servicios provistos de IA en la UE deberían estar sujetos a esta intervención, independientemente de que estén o no establecidos en la Unión. De lo contrario, si la UE no es capaz de ofrecer un enfoque común, existe el riesgo de fragmentación del mercado interior, que generaría desconfianza e inseguridad jurídica. Solo un marco regulador europeo sólido que garantice una IA fiable protegerá a todos los ciudadanos europeos y contribuirá a crear un mercado interior sin fricciones de cara al desarrollo de la IA (COMEU, 2020 b) 18.
Los perjudicados por los daños de los sistemas autónomos de toma de decisiones tienen que ser resarcidos, aunque no se pueda demostrar ningún defecto, y aunque el fabricante haya adoptado absolutamente todas las medidas de diligencia exigidas. Ya se ha visto que la Directiva sobre productos defectuosos no nos sirve para lograr la mencionada reparación, así que consciente de la mencionada laguna legal, la Unión ha elaborado una normativa que complementa a la Directiva para salvar el vacío existente en el ámbito de la responsabilidad civil por los daños causados por estas nuevas tecnologías, en tanto se revisa la Directiva.
En efecto, desde la UE se ha trabajado en un texto jurídico (Texto de la Propuesta de Reglamento del Parlamento Europeo y del Consejo, relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial) (Parlamento Europeo, 2020 a. En adelante PE, 2020 a), que contiene la futura regulación armonizada de la responsabilidad civil por los daños originados por la IA. Este texto, juntamente con la Directiva sobre responsabilidad por los daños causados por productos defectuosos, constituirán los dos pilares de un marco común de responsabilidad civil para los sistemas de IA en la UE. Por tal motivo, se señala la importancia de que los cambios que en el futuro sufra el presente texto vayan acompañados de la necesaria revisión de la Directiva sobre responsabilidad por productos defectuosos, con la finalidad de que ambas se coordinen estrechamente, tanto en términos de fondo como de enfoque, de modo que, juntas, constituyan un marco de responsabilidad civil coherente para los sistemas de IA, que equilibre los intereses del productor, del operador y de la persona afectada en lo que respecta al riesgo de responsabilidad civil.
Los principales problemas que este régimen de responsabilidad pretende afrontar son: la opacidad (elemento “caja negra”) de los sistemas de IA, que puede hacer extremadamente costoso, o incluso imposible determinar quién controlaba realmente el riesgo asociado al sistema de IA, o qué código o entrada ha provocado en última instancia el funcionamiento lesivo, y la creciente autonomía de estos sistemas, debido a sus capacidades de aprendizaje automático y aprendizaje profundo, que los convierte en cada vez más imprevisibles. La opacidad y la autonomía son los rasgos que dificultan la trazabilidad (explicación) de las causas o motivos de sus acciones (Parlamento Europeo. Comisión de Asuntos Jurídicos, 2020 a. En adelante PE.CAJ, 2020 a). Su complejidad, su modificación a través de actualizaciones o autoaprendizaje durante el funcionamiento y su vulnerabilidad frente a amenazas de ciberseguridad, contribuyen a hacer extremadamente difícil, cuando no imposible, averiguar la acción concreta que ha provocado el daño. Esta dificultad se ve aún más agravada por la conectividad entre un sistema de IA y otros sistemas, ya sean o no de IA, y por su dependencia de los datos externos (Parlamento Europeo. Comisión de Asuntos Jurídicos, 2020 b. En adelante PE.CAJ, 2020 b).
Las dificultades mencionadas se quieren salvar por medio de la introducción de la figura del “operador” del sistema de IA, que es la persona que va a asumir la responsabilidad por el daño causado, por el hecho de aparecer como el sujeto que ejerce un cierto grado de control sobre el funcionamiento causante de la lesión, con independencia de la verdadera causa, del defecto o fallo concreto del sistema que haya llevado efectivamente al resultado lesivo, el cual será normalmente imposible o muy difícil de detectar.
Se parte de la premisa de que la imputación de la responsabilidad no puede basarse exclusivamente en el diseño, aprendizaje y entrenamiento del sistema por parte de sus desarrolladores. Este no debe ser el único criterio de imputación a considerar, sino que debe conjugarse con el criterio de previsibilidad, evitabilidad del daño y grado de cumplimiento de las normas de gobernanza establecidas de conformidad con la legislación, los principios y los valores de la UE y por las autoridades nacionales de control. Dicho de otra forma, si bien el entrenamiento y grado de aprendizaje de los sistemas de IA es relevante, la imputación de la responsabilidad debe asimismo basarse en la manera de llevarse a cabo las labores de control humano. Bajo este prisma, la responsabilidad sería imputable a quien pudo y debió haber evitado el daño en cada caso concreto, mediante los sistemas de prevención de riesgos del producto, servicio o proceso, no pudiendo recaer en el sistema de IA, que hoy por hoy carece de personalidad jurídica, sino en el promotor de la actividad y quien obtiene un beneficio de la misma (Iturmendi Morales, 2020).
La Propuesta de Reglamento establece las normas en relación con las demandas de responsabilidad civil extracontractual de las personas físicas y jurídicas contra el operador de sistemas de IA, como la persona que se considera ha ejercido el mayor grado de control sobre la actuación de la IA desencadenante del daño. No tiene por qué coincidir necesariamente con la persona del productor, ya que también puede ser el desarrollador 19 o el programador o incluso el usuario final, y, por tanto, la figura del operador puede estar cubierta de manera justificable por un régimen de responsabilidad civil propio y distinto al previsto por la Directiva para el fabricante/productor. Ello justifica la actualización de la legislación en esta materia, para adaptarla a los sistemas de inteligencia artificial (PE.CAJ, 2020 b).
Ahora, la responsabilidad derivada del incorrecto funcionamiento de estas tecnologías podrá reclamarse, bien al productor (cuando se constate y pueda probarse un defecto de fabricación, de diseño o de información que permita reclamar por la vía de la Directiva), o bien al operador (con independencia de si se trata o no efectivamente de un defecto de fabricación), que puede coincidir o no con el productor. Si bien, la vía más fácil para el perjudicado será la de demandar al operador cuando el criterio de imputación sea objetivo, pues no se le exige la prueba del defecto.
Se quiere evitar que un operador de un sistema de IA pueda eludir su responsabilidad argumentando que la actividad, el dispositivo o el proceso físico o virtual que causó el daño se encontraba fuera de su control porque fue causado por un funcionamiento autónomo del sistema. Se considera que esta funcionalidad no puede ser utilizada por un operador para evadir su responsabilidad, pues de ser así, la víctima se quedaría siempre sin cobrar, ante la imposibilidad de poder demostrar la culpa de la persona que ejerce el control sobre la IA. De esta manera, se salva la laguna existente hasta ahora en el ordenamiento en relación con los daños cometidos por sistemas autónomos de toma de decisiones, ya que simplemente se hace responder a la persona que se encuentra en mejores condiciones para ejercer el mayor control sobre el riesgo, con independencia de su verdadera culpa en la causación del daño y, asimismo, del efectivo motivo que lo ha ocasionado.
Se aplica a los daños acaecidos dentro del territorio de la Unión. Esta responsabilidad civil extracontractual que regula se entiende sin perjuicio de cualquier otra demanda en materia de responsabilidad civil derivada de las relaciones contractuales que pudieren existir entre el operador y la persona física o jurídica que haya sufrido el perjuicio (art.2.1.º y 3.º). Ambas responsabilidades pueden exigirse cumulativamente en caso de existir (Parlamento Europeo, 2020 b. En adelante PE, 2020 b).
No distingue entre los productos y los servicios, ni tampoco limita su aplicación a unos o a otros, por lo que hay que entender que la figura del operador abarca tanto a los productos como a los servicios gobernados por sistemas de IA. Tampoco excluye de su ámbito de aplicación a ningún tipo específico de IA. La Propuesta de Reglamento va destinada a todo tipo de sistemas de inteligencia artificial, con independencia de que se basen exclusivamente en programas informáticos, que actúen en el mundo virtual, o estén integrados en dispositivos físicos. De ese modo, se evitan los problemas que ha planteado la aplicación de la Directiva sobre productos defectuosos cuando el defecto se da en el programa y este no está incorporado a un bien corpóreo (Atienza Navarro, 2020: apartado IV) 20.
Declara la nulidad de pleno derecho de todo acuerdo entre un operador y una persona física o jurídica que sufra un perjuicio como consecuencia de un sistema de IA, que eluda o limite los derechos y obligaciones del Reglamento, ya se celebre este acuerdo antes o después de haber causado el perjuicio (art.2.2.º) (PE, 2020 b).
La Propuesta de Reglamento es obligatoria en todos sus elementos y directamente aplicable en cada uno de los Estados miembros (art.15). Tres años después de su fecha de aplicación, y posteriormente cada tres años, su texto deberá ser revisado por la Comisión de Asuntos Jurídicos, que presentará un informe detallado al Parlamento Europeo, al Consejo y al Comité Económico y Social Europeo, a la luz del desarrollo ulterior de la IA, para lo cual, la Comisión solicitará la información pertinente a los Estados miembros sobre la jurisprudencia, transacciones judiciales y estadísticas sobre accidentes, daños causados, aplicaciones involucradas y las indemnizaciones abonadas por las compañías de seguros. Dicho informe irá acompañado, en su caso, de propuestas legislativas (art.14).
Si bien, por un lado, la Propuesta de Reglamento parece dejar claro que el operador es, quien ha ejercido el mayor grado de influencia en la producción del daño (quien se encuentra en una mejor posición para gestionar el riesgo concreto), por otro, hay que reprocharle la falta de concreción en lo que concierne a la identificación de quien puede ser en la práctica este sujeto en cuestión. De la definición que nos proporciona sobre el operador, parece desprenderse que este puede serlo tanto la persona física o jurídica que decide sobre el funcionamiento del agente artificial y lo gestiona, así como también quien se encarga de su comercialización o de cualquier otra forma de puesta a disposición de los usuarios (Parlamento Europeo. Comisión de Asuntos Jurídicos, 2020 c. En adelante PE.CAJ, 2020 c), como quien se beneficia de su funcionamiento, como, asimismo, quien define de forma continuada las características de la tecnología, proporcionando datos y un servicio de apoyo esencial (PE, 2020 a). Es quien, en definitiva, por el tipo de acción llevada a cabo por la máquina, parece haber tenido más nivel de influencia en el funcionamiento del sistema de IA que ha provocado el daño en cuestión, por lo que debe ser quien a priori, asuma toda la responsabilidad. Se trata de imponer la responsabilidad a aquel de los sujetos cuya acción haya podido afectar al modo de funcionamiento o alterar procesos específicos de seguridad del sistema de IA. En definitiva, quien se encuentre en mejores condiciones para controlar un riesgo determinado y poder gestionarlo con éxito (PE.CAJ, 2020 a). Todo ello, con independencia de que se llegue o no a averiguar la real y efectiva causa del resultado lesivo. El empleo de este artificio es necesario para asegurar siempre y en todo caso el cobro de la indemnización.
Operador entonces puede serlo tanto el fabricante de la IA, como la persona que encarga su construcción a un fabricante para después venderla al público, como el empresario que la utiliza para su negocio, como el usuario final o persona que se beneficia a modo privativo de su uso, disfrutando de sus características y funciones (PE.CAJ, 2020 b), pero, ¿cuál de ellos es el que ejerce el verdadero y efectivo control sobre la IA cuando el productor, el vendedor, el empresario o el usuario final de la IA son personas distintas? Pongamos, por ejemplo, el caso en el que el daño es cometido por la IA estando en manos de un particular, que la disfruta y se sirve de ella de forma privativa. Aunque la IA ya haya sido vendida y sea otra persona quien la tenga bajo su control material directo, tome las decisiones sobre su uso y se beneficie de ella, hay otra persona que puede seguir ejerciendo un control sobre el riesgo: aquella que, por ejemplo, define permanentemente las características de la tecnología en cuestión (PE.CAJ, 2020 b). Es decir, la persona que decide sobre su entrenamiento; la que actualiza periódicamente el software para ajustarlo a sus preferencias y sus juicios sobre cómo debe funcionar la máquina; la que continúa monitorizando regularmente el desempeño del robot, encargándose incluso de actualizar también el hardware, revisando el sistema con periodicidad. Esta vigilancia e intervención apunta a esta otra persona como punto clave para determinar el sujeto que siempre y en todo caso, ejerce un control (Monterroso Casado, 2019:130-133) 21. Esta otra persona continúa siendo operador aunque no posea materialmente al agente artificial porque es quien maneja el “riesgo directo”. El usuario (PE.CAJ, 2020 c) 22 final sería la persona que controla los denominados “riesgos asociados” al sistema, comparables al propietario de un automóvil. Su responsabilidad se fundamentaría, principalmente, en que es la persona que se beneficia de su uso (se sirve del agente artificial para sus necesidades privativas), mientras que la persona que tiene el control sobre los riesgos de funcionamiento o de la operación, sería la que ejerce el control más efectivo sobre la IA. Pensemos por ejemplo en el caso de vehículos que pueden ser conducidos tanto de forma completamente autónoma, como también en otros instantes o momentos por un conductor, siendo necesario el poder determinar quién es el culpable en cada caso particular. De esta manera, pueden darse situaciones en las que haya más de un operador involucrado como posible responsable en la acción que causa el daño. En estos casos, cuando no sea posible determinar quién ha sido el verdadero culpable, como cuando se determine que ambos lo han sido, lo más razonable es abogar por una responsabilidad solidaria compartida. De hecho, así lo ha reconocido el Parlamento Europeo al contemplar la posibilidad de que concurran un operador inicial (PE, 2020 b) 23 y un operador final (PE, 2020 b) 24 en la acción de la IA. El operador final parece ser la persona que decide principalmente sobre el uso del sistema, mientras que el inicial podría tener un grado de control más elevado sobre los riesgos operativos. Desde la Comisión Europea se considera que deben ser responsables civiles solidarios, aunque teniendo al mismo tiempo derecho a recurrir el uno contra el otro de forma proporcional, reflejando el nivel de control que cada parte ostente sobre el riesgo materializado (PE.CAJ, 2020 b). En principio, esta responsabilidad es por partes iguales, salvo cuando se disponga de otro modo, ya sea por acuerdo entre ellos, o por sentencia judicial. Si no puede obtenerse de algún operador su contribución, el déficit será asumido por los demás, quienes posteriormente podrán solicitar del insolvente el ajuste de los anticipos, para lo que dispondrán de un derecho de subrogación en la demanda del perjudicado contra el operador “impagador” (art.12.2.º).
Así pues, el perjudicado puede demandar la totalidad de la responsabilidad a cualquiera de ellos, pero. posteriormente, el que ha satisfecho toda la reparación va a tener derecho a repetir del otro por la parte que le corresponda según su grado de participación en el daño. Los porcentajes de responsabilidad deben venir determinados por los respectivos niveles de control que tengan los distintos operadores sobre el riesgo. La pregunta que se plantea en estos casos es ¿a través de qué vía debe ser demandado cada uno de ellos? Para responder a esta cuestión debemos partir de que el operador (PE.CAJ, 2020 b) 25no es necesariamente el fabricante/productor, pero puede coincidir con este. A partir de aquí, la Propuesta de Reglamento ofrece las siguientes soluciones: si el operador final es el fabricante, entonces las demandas de responsabilidad deberán encauzarse a través del Reglamento, que prevalecerá sobre la Directiva. Si el operador inicial es el fabricante, entonces la demanda contra este deberá encauzarse a través de la Directiva sobre productos defectuosos. En este supuesto, lo más cómodo para el perjudicado será demandar al otro operador involucrado (operador final) a través del Reglamento, por la totalidad de la indemnización, teniendo que ser este quien a posteriori, ejercite una acción de regreso contra el operador inicial/productor, demostrando el defecto que le exige la Directiva, por la parte proporcional que a este le corresponda en la participación del daño. También cabe la posibilidad de que solo haya un operador como responsable, en cuyo caso, si coincide con la persona del fabricante, la demanda debe encauzarse a través del Reglamento, ya que este se centra en las demandas contra el operador, y, en consecuencia, el fabricante respondería como operador (art.11). Si contrariamente, fabricante y operador son personas distintas, el operador deberá ser demandado a través del Reglamento, pero si el operador posteriormente puede llegar a demostrar que el daño ha sido debido realmente, en su totalidad o en parte, a una acción del fabricante, entonces el Reglamento le reconoce la facultad para repetir del fabricante/productor lo que haya tenido que pagar por él (art.12.3º).
De esta forma, la Propuesta de Reglamento configura la responsabilidad del operador como una especie de garante solidario, al que podrá recurrir la víctima con independencia y cualquiera que haya sido la real y efectiva causa del daño, facilitándole con ello la carga de la prueba y el cobro de la indemnización, al no tener que probar la existencia del defecto, teniendo que ser el operador imputado, quien a posteriori ejercite las acciones de regreso correspondientes mediante la aportación de las pruebas necesarias, para poder recuperar lo que haya debido de pagar en el lugar del fabricante o de otros posibles culpables 26. La dificultad e incluso imposibilidad que plantean en muchas ocasiones estos sistemas para poder averiguar la procedencia de la acción que ha conllevado el resultado lesivo, se consigue eludir, de esta manera, haciendo responsables a las personas que crean, mantienen o controlan los riesgos asociados al sistema de IA (PE.CAJ, 2020 b).
La Propuesta de Reglamento diferencia dos regímenes de responsabilidad del operador: un régimen de responsabilidad objetiva para los sistemas de IA que conlleven un alto riesgo de peligro para el público en general, y un régimen de responsabilidad subjetiva para el resto de los sistemas. Es posible que esta diferenciación entre un criterio objetivo y subjetivo para imputar la responsabilidad plantee en un futuro no lejano, cuando se revise la Directiva sobre productos defectuosos, la problemática de coordinar de manera coherente la responsabilidad del productor en el Reglamento y su responsabilidad en la Directiva, ya que si el productor puede responder de manera subjetiva en el Reglamento cuando se trate de máquinas que no sean de alto riesgo, entonces deberá articularse un régimen de responsabilidad acorde en la Directiva, lo cual no parece que sea tarea fácil en un ámbito –el de la responsabilidad por los daños causados por productos defectuosos –en el que siempre ha prevalecido un único criterio de imputación de la responsabilidad: el objetivo (Sousa Antunes, 2021:3-12) 27.
Se considera que un sistema de IA presenta “alto riesgo” cuando funcionando de manera autónoma y siendo imposible de predecir de antemano, presenta un elevado potencial de causar perjuicios a una o más personas. El mayor o menor potencial de peligro de la IA, se hace depender de la ponderación de tres factores: –de la gravedad de los perjuicios, –de la probabilidad de que el riesgo se materialice y –del modo en que se utiliza la IA.
A su vez, el grado de gravedad debe determinarse sobre la base de la magnitud del daño potencial resultante del funcionamiento, el número de personas afectadas, el valor total del posible perjuicio y el daño a la sociedad en su conjunto. La probabilidad debe determinarse sobre la base del papel de los cálculos algorítmicos en el proceso de toma de decisiones, la complejidad de la decisión y la reversibilidad de los efectos. En última instancia, la forma de uso debe depender, entre otros factores, del sector en el que opera el sistema de IA, si puede tener efectos jurídicos o reales sobre derechos importantes de la persona afectada protegidos desde el punto de vista jurídico y de si los efectos pueden evitarse razonablemente (PE.CAJ, 2020 b).
Al efecto, se recomienda que todos los sistemas de IA que representen un alto riesgo figuren en un anexo de la propuesta de Reglamento; anexo que deberá revisarse cada seis meses, dado el rápido cambio tecnológico. Este anexo del Reglamento contempla una lista exhaustiva de los sistemas de IA que plantean alto riesgo, así como de los sectores críticos en los que se están implementando, entre los que destaca principalmente el sector del “transporte”. Dentro del sector del transporte se mencionan como sistemas de IA de alto riesgo los siguientes: a) aeronave no tripulada; b) vehículos con niveles de automatización elevados, y c) sistemas autónomos de gestión del tráfico 28. Con todo, los sistemas de IA que aún no hayan sido evaluados por la Comisión, y que, por tanto, todavía no estén clasificados como de alto riesgo ni incluidos en la lista, deben, no obstante, quedar sujetos como excepción, a una responsabilidad objetiva si han causado incidentes reiterados que den lugar a un perjuicio grave. De ser ese el caso, la Comisión también debe evaluar, sin demora indebida, la necesidad de revisar dicho anexo para añadir el sistema de IA en cuestión a la lista. Dicha inclusión debe tener efecto retroactivo a partir del momento del primer incidente probado causado por dicho sistema que haya ocasionado un daño grave (PE, 2020 a).
En relación con las actividades, dispositivos o procesos gobernados por sistemas de IA que ocasionen daño, pero que no estén incluidos en el anexo del Reglamento, deben seguir estando sujetos a la responsabilidad subjetiva regulada en los distintos Estados miembros, incluido el importe y el alcance de la indemnización, así como el plazo de prescripción, aunque para este caso el Reglamento dispone que las víctimas deben poder beneficiarse de la presunción de culpa por parte del operador (PE.CAJ, 2020 a).
En el anexo de la Propuesta de Reglamento se enumeran los sistemas de IA de alto riesgo, así como los sectores críticos en los que se utilizan. Esta lista exhaustiva podrá modificarse mediante la inclusión de nuevos tipos de sistemas de IA de alto riesgo y de los sectores críticos en los que se han implementado, suprimiendo los tipos de sistemas de IA que ya no se considera que representan un alto riesgo, o modificando los sectores críticos de los sistemas de IA de alto riesgo existentes (art.4.1.º y 2.º).
Los sistemas de IA de alto riesgo enunciados en el anexo del Reglamento se sujetan a un régimen de responsabilidad objetiva o por riesgo 29, en el que el operador no podrá eximirse de responsabilidad probando que actuó con la diligencia debida, o que el perjuicio fue causado por un proceso autónomo de toma de decisiones del sistema de IA (art. 4.3.º) (PE.CAJ, 2020 a). El operador responderá con la sola demostración del daño y de la relación de causalidad entre este y la actuación de la IA, con independencia de si el daño ha sido debido a un defecto de fabricación o a un incumplimiento de los deberes como operador. En este régimen estas circunstancias no importan porque se hace responder al operador por la sola existencia de un daño originado por una IA de alto riesgo, respecto de la cual, se parte de la premisa de que la explicación o averiguación de los fallos o motivos de la actuación errónea son imposibles o muy difíciles de determinar, o que ni si quiera existen porque dependen del aprendizaje autónomo de la máquina. El operador responderá, aunque no se detecte ninguna negligencia, ni como fabricante ni como operador, no pudiendo alegar ninguna causa que le exima de responsabilidad, con excepción de la fuerza mayor (art. 4.3.º) y de la culpa exclusiva de la víctima (Parlamento Europeo. Comisión de Asuntos Jurídicos, 2020 d. En adelante PE.CAJ, 2020 d) 30. Cuando la causa del daño haya sido debida a una concurrencia de culpas entre el operador y la persona que haya sufrido el perjuicio, la responsabilidad del operador se reducirá en consecuencia. A tal efecto, se faculta al operador para poder utilizar los datos generados por el sistema de IA para poder demostrar la negligencia concurrente de la persona perjudicada (art.10).
A diferencia de lo que sucede cuando el criterio de imputación es subjetivo (art. 8.3.º), no se pronuncia la Propuesta de Reglamento en el régimen objetivo de imputación, sobre el hecho de un tercero ajeno a la víctima como causa excluyente de la responsabilidad del operador, por lo que debe entenderse que no rige y que, por tanto, cuando el daño haya sido causado por un tercero que haya intervenido en el sistema de la IA por medio de una modificación de su funcionamiento, el operador será en todo caso responsable del pago de la indemnización. Ello conlleva que el perjudicado pueda dirigir su demanda bien contra el tercero verdadero causante del daño, o bien contra el operador indistintamente, y en el caso de que pague este último, debe reconocérsele a posteriori una acción de reembolso contra el tercero para reclamarle lo que haya tenido que pagar por él.
Para que los ciudadanos puedan confiar en estas nuevas tecnologías, se considera necesaria una cobertura adecuada de los riesgos por medio de un seguro obligatorio de responsabilidad civil, para lo que se establece que todos los operadores de sistemas de IA de alto riesgo incluidos en el anexo de la Propuesta de Reglamento, deben ser titulares de un seguro obligatorio que deberá cubrir los importes y el alcance de la indemnización establecidos en la misma (art. 4.4.º) (PE.CAJ, 2020 a).
En relación con los sistemas de IA que no son de alto riesgo, se configura un régimen en el que la culpa del operador se presume con la sola producción del daño, con la inversión de la carga de la prueba en beneficio de la víctima, ya que deberá ser el operador quien tenga que demostrar su diligencia para quedar eximido de responsabilidad. En este régimen la víctima deberá probar la producción del daño y la relación de causalidad entre este y la acción de la IA. Además, tendrá que localizar e identificar al operador de la misma.
Se configuran unos motivos tasados que, de ser demostrados por el operador, le permitirán eximirse de responsabilidad (art. 8). A tal efecto, se considera que el operador ha prestado el debido cuidado, cuando ha cumplido con los siguientes deberes de diligencia: –el sistema de IA se activó sin su conocimiento, al tiempo que se tomaron todas las medidas razonables y necesarias para evitar dicha activación; –ha seleccionado un sistema de IA adecuado; esto es, certificado con arreglo al sistema voluntario de certificación previsto en la página 24 del COM (2020) 0065 final, que certifica que es apropiado para las tareas y con las capacidades necesarias; –la correcta puesta en funcionamiento del sistema de IA; –ha prestado la debida atención durante el funcionamiento del sistema de IA, lo que podrá alegar si demuestra que ha supervisado real y periódicamente dicho sistema durante su funcionamiento, y si ha informado al fabricante sobre posibles irregularidades durante el mismo (control de las actividades de la IA) 31, y –ha prestado la debida atención en lo que se refiere al mantenimiento de la fiabilidad operativa, lo que podrá alegar si demuestra que ha instalado todas las actualizaciones disponibles proporcionadas por el productor del sistema de IA. Tampoco será responsable cuando el daño haya sido provocado por fuerza mayor o por culpa exclusiva de la víctima. En el supuesto de negligencia concurrente entre el operador y la víctima, la responsabilidad de aquel se reducirá proporcionalmente (art.10).
Dentro del marco de la responsabilidad subjetiva, la Propuesta se pronuncia sobre el acto de un tercero ajeno a la víctima, como posible factor excluyente de la responsabilidad del operador (art.8.3º); cosa que no hace cuando regula la responsabilidad objetiva. En este caso, el perjudicado debe dirigirse contra el tercero para reclamarle la reparación. Con todo, cuando el perjuicio causado por la acción de un tercero que haya intervenido en el sistema de IA por medio de una modificación de su funcionamiento no pueda ser reparado por este tercero por estar ilocalizable o ser insolvente, se obliga al operador al pago de la indemnización en el lugar del tercero verdadero responsable. No se pronuncia la Propuesta sobre la acción de repetición que podrá ejercer el operador contra el tercero causante del daño, una vez ha satisfecho la indemnización, para recuperar lo pagado por este, pero debe entenderse que existe, por aplicación de las reglas generales comunes del derecho de las obligaciones.
El operador no podrá eludir su responsabilidad alegando que el daño fue causado por una IA con un proceso autónomo de toma de decisiones (art. 8.2.º párr. 2), pues de ser así ya no se estaría ante un criterio de imputación subjetivo, porque el operador no estaría obligado a demostrar su diligencia para quedar exonerado de responsabilidad. La autonomía es una característica que también puede darse en los sistemas de IA que no son de alto riesgo, a lo que debe añadirse que existen diferentes grados de autonomía entre estos sistemas inteligentes.
Para ayudar a los operadores a demostrar el cumplimiento de sus deberes de diligencia, se establece la obligación de los productores, a petición de los operadores, de colaborar con estos para facilitarles toda la información técnica necesaria que pueda demostrar que la acción del operador estuvo exenta de culpa (art. 8.4.º). A este respecto, se impone a los productores la obligación de designar a un representante en materia de responsabilidad civil de la IA en la Unión, como punto de contacto para responder a todas las solicitudes de los operadores (PE.CAJ, 2020 a).
Las demandas de responsabilidad civil emprendidas de conformidad con este criterio de imputación de la responsabilidad (subjetivo o por culpa), no están sujetas a los plazos de prescripción, ni a los límites en relación con las cuantías y alcance de las indemnizaciones de la Propuesta de Reglamento, sino a lo establecido en las respectivas legislaciones nacionales de los Estados miembros (art. 9).
En el ámbito de los vehículos autónomos se produce un traspaso de la responsabilidad del conductor al productor como principal elemento constitutivo del riesgo y generador del peligro (Parlamento Europeo, 2020 c. En adelante PE, 2020 c), lo que ha conllevado la necesidad de compensarle por medio del establecimiento de límites a las cuantías indemnizatorias que le puedan ser exigidas con ocasión del daño producido, siendo lógico que así sea, pues de otra forma, teniendo en cuenta el tipo de responsabilidad objetiva a la que está sometido el productor, se pondría freno a la fabricación de este tipo de vehículos, o bien, se elevaría excesivamente el precio de los mismos, haciéndose repercutir en el usuario final. El desarrollo de estas tecnologías impone la obligación de indemnizar, aunque el daño no sea imputable culpablemente al agente que las utilice, controle o se beneficie de su utilización, por ello se admite desde las instituciones europeas la posibilidad de limitar cuantitativamente esta responsabilidad como contrapartida al plus de protección de que disfruta la víctima (imputación objetiva) (Reglero Campos, 2007).
Así, tenemos que la responsabilidad objetiva del operador está sujeta a límites en su cuantía: –hasta un importe máximo de dos millones de euros en el caso de fallecimiento o daños a la salud o a la integridad física, y –hasta un importe máximo de 1 millón de euros en el caso de daños morales significativos y daños a la propiedad (los bienes de una persona física o jurídica) (art. 5.1.º).
Cuando la persona afectada también disponga de un derecho a reclamar por responsabilidad contractual contra el operador, no se abonará ninguna indemnización en virtud del Reglamento si el importe total de los perjuicios materiales o el daño moral es de un valor inferior a 500 euros.
En el supuesto de que sean varias las personas afectadas por el daño ocasionado por el mismo funcionamiento consecuencia de la utilización del mismo sistema de IA de alto riesgo, y la indemnización conjunta que deba abonarse supere los importes máximos indicados, los importes que deban abonarse a cada una de las personas afectadas se reducirán proporcionalmente, de forma que la indemnización combinada no supere las cuantías mencionadas (art. 5.2.º).
Aunque la Propuesta no lo mencione, debemos entender que los daños que excedan de estos límites podrán ser reparados acudiendo al régimen general de la responsabilidad civil extracontractual basado en la demostración de la culpa (art. 1902 del Código Civil), por lo que estas limitaciones no operan cuando se pruebe el dolo o la negligencia.
En cuanto a la responsabilidad por los daños derivados de muerte (art. 6.1.º), se concreta en el pago, a cargo del operador, de una indemnización calculada sobre la base de los costes del tratamiento médico que haya seguido la persona afectada antes de su muerte, así como del perjuicio económico sufrido antes de su fallecimiento como consecuencia de la interrupción o de la reducción de la capacidad de generar ingresos, o del aumento de sus necesidades mientras haya durado el daño antes del fallecimiento. Todo ello acreditado mediante certificado médico. Se suman, además, los gastos funerarios que deberá reembolsar el operador a la persona que haya tenido que hacerse cargo de los mismos en primer lugar.
En el caso de que el fallecido, en el momento de producirse el daño que condujo a su muerte, mantuviera una relación con un tercero que le obligara legalmente a satisfacer una pensión de alimentos hacia este, el operador indemnizará al tercero mediante el pago de una pensión proporcional a la que la víctima se habría visto obligada a pagar, durante un período equivalente a la esperanza de vida media de una persona de la edad del tercero, teniendo en cuenta el estado general de este.
En el caso de que el tercero fuere un nasciturus (concebido y no nacido) en el momento del incidente que provocó la muerte, el operador también deberá indemnizar a este tercero.
En cuanto a la responsabilidad por los daños ocasionados a la salud o a la integridad física (art. 6.2.º), se concretan en el reembolso a cargo del implementador, de los gastos del tratamiento médico correspondiente, así como en el pago del perjuicio económico sufrido por la víctima como consecuencia de la suspensión temporal, la reducción o la interrupción definitiva de su capacidad de generar ingresos o del aumento consiguiente de sus necesidades acreditado mediante certificado médico.
La Propuesta solo determina los límites cuantitativos relativos al perjuicio que sufre una sola persona resultante de una única utilización u operación de un sistema de IA, por lo que no refleja el potencial del sistema para causar daño a la comunidad, quedando el régimen de la reparación limitado al daño individual y obviando la compensación por los daños colectivos o a la sociedad en su conjunto. En el considerando 22 de la Propuesta solo se alienta a los Estados miembros a crear un fondo especial de indemnización para aquellos casos en los que se produzcan daños colectivos, en los que la indemnización exceda de modo significativo los importes máximos establecidos en el presente Reglamento, pero no se concreta quiénes deberían ser los sujetos obligados a aportar al mencionado fondo. Este vacío es incongruente con un tipo de tecnología que se caracteriza por su elevado grado de impacto y magnitud en la causación del daño, en particular, por el gran número de personas que pueden resultar afectadas a raíz de una única operación del sistema de IA (Sousa Antunes, 2021:12-18) 32.
La acción para exigir la responsabilidad civil extracontractual por daños a la vida, a la salud o a la integridad física, está sujeta a un plazo de prescripción de treinta años a partir de la fecha en que se produjo el daño (art.7.1.º).
La acción para exigir la mencionada responsabilidad por daños materiales o daños morales se sujeta a los siguientes plazos de prescripción (art.7.2.º):
— En el supuesto de daños instantáneos (daño ocasionado en el momento mismo en el que el sistema de IA ejecuta la acción o decisión), a un plazo de diez años a partir de la fecha en que se produjo el daño.
— En el supuesto de daños que se manifiestan en un momento posterior a aquel en el que tuvo lugar la operación de la IA, a un plazo de trienta años a partir de la fecha en que tuvo lugar la acción del sistema de IA.
En lo que concierne a la suspensión e interrupción de los plazos de prescripción, se regirán por lo dispuesto en las legislaciones nacionales.
No se contempla una limitación temporal que determine el momento en el cual se extingan los derechos que se le confieren al perjudicado por el presente Reglamento, como en cambio, sí que se lleva a cabo en la Directiva de 25 de julio de 1985, sobre responsabilidad por los daños causados por productos defectuosos (art.11), en la que el perjudicado solo podrá ejercitar las acciones para exigir la responsabilidad durante el plazo de diez años a partir de la fecha en que el productor hubiera puesto en circulación el producto que causó el daño. Por consiguiente, debe entenderse que el operador responderá por los daños que cause el agente de IA durante toda su vida útil. Esta extensión de la responsabilidad del operador en relación con la que se contempla en la Directiva sobre productos defectuosos motivará a los posibles responsables del funcionamiento de la IA para extremar las medidas de cuidado, de control y de vigilancia sobre el sistema inteligente, así como también evitará que se pongan en circulación, o que se mantengan en circulación máquinas de dudosa seguridad. Además, es coherente con la puesta en circulación de un producto que no puede catalogarse propiamente como “seguro”.
El Reglamento establece la obligación para el operador 33 de concertar un seguro de responsabilidad civil para los sistemas de IA de alto riesgo (art. 4.4.º). En relación con los demás sistemas que no son de alto riesgo, la contratación del seguro será entonces voluntaria. En ambos supuestos, cuando el asegurador del operador indemnice a la persona que haya sufrido el perjuicio, tendrá a posteriori el derecho a subrogarse en la posición de esta última en la demanda contra el operador, hasta el importe con el que el asegurador haya indemnizado a la persona perjudicada (art. 12.4.º).
Con los vehículos autónomos se traslada la responsabilidad del conductor al fabricante/operador, lo que provocará que las compañías de seguros hayan de cambiar la forma en que incorporan el riesgo en la suscripción de sus pólizas (Parlamento Europeo, 2020 d. En adelante PE, 2020 d). Pese a todo, la Comisión Europea de Asuntos Jurídicos considera que la UE y sus Estados miembros no requieren cambios radicales en sus sistemas de seguros tradicionales. Se ha constatado que los aseguradores europeos ya están desarrollando nuevos productos específicos para cada ámbito, a medida que la tecnología evoluciona. Si se precisa una nueva cobertura, el mercado de los seguros presentará una solución adecuada. El mercado de los seguros adaptará las coberturas de seguro existentes o presentará nuevos productos que contemplen por separado los diferentes tipos de sistemas de IA en distintos sectores. Solo se exige a los operadores de sistemas de IA de alto riesgo, que tengan un seguro de responsabilidad civil adecuado comparable a la obligación establecida por la Directiva sobre el seguro de vehículos automóviles, que cubra los importes y el alcance de la indemnización establecidos en el presente Reglamento (PE.CAJ, 2020 a) 34. Así y todo, se considera que una falta de datos de los riesgos asociados a sistemas de IA puede dificultar al sector de los seguros elaborar productos adaptados, con el riesgo de caer en precios desproporcionadamente altos, alentando a los operadores a optar por el seguro más barato en lugar de por la mejor cobertura. Por tal motivo, la Comisión también valora que debe colaborar estrechamente con el sector de los seguros para ver cómo pueden utilizarse los datos y los modelos innovadores para crear seguros que ofrezcan una cobertura adecuada por un precio asequible (PE.CAJ, 2020 b).
Solo deben ser objeto de este aseguramiento obligatorio aquellos agentes artificiales que supongan un riesgo considerable para terceros, es decir, los sujetos al régimen de la responsabilidad objetiva en la propuesta de Reglamento. Se contempla, por tanto, no solo a los más complejos con respecto a su autonomía y capacidad de aprendizaje, sino, además, a los que transitan por las vías públicas, con independencia de su grado de autonomía. Este seguro debe hacerse por categorías de robots, con la obligación de crear, asimismo, un sistema de identificación de cada uno de los robots, con un registro específico para ello. De tal forma que cualquier persona que interactúe con el agente pueda conocer todos los datos relativos a su identidad, fabricación, propiedad, seguro, etcétera (Badillo Arias, 2019).
Es evidente que la regulación de este seguro responde a la necesidad de proteger debidamente a las víctimas de daños ocasionados por actividades potencialmente peligrosas o de riesgo que, si no fuera así, se quedarían sin ser indemnizadas si el responsable no pudiera hacerse cargo con su patrimonio de las indemnizaciones correspondientes. En definitiva, se busca un patrimonio más solvente que el del asegurado, habitualmente, personas físicas, que pueda asumir aquella reparación.
Paralelamente, se alienta a los Estados miembros a crear un fondo especial de compensación para complementar la cobertura del seguro de responsabilidad civil, con el fin de garantizar la indemnización íntegra y efectiva de los daños en los casos en que no exista ninguna cobertura de seguro, o en los casos excepcionales, como en el caso por ejemplo de que se produzcan daños colectivos, en los que la indemnización exceda los importes máximos establecidos en el Reglamento (PE.CAJ, 2020 b). De esta forma, si bien se pone un límite a la cobertura de los daños con el objeto de que los mismos puedan ser asegurados, por otro, se alcanza la finalidad de la reparación íntegra a la víctima, al hacer responder al fondo de compensación a partir de una determinada cantidad. En cualquier caso, lo que debe quedar claro, es que el daño debe ser indemnizado en su integridad, sin que quepa limitación alguna sobre su compensación. El problema en relación con el fondo de compensación será determinar las cantidades que se deben aportar al mismo, ante la falta de datos sobre siniestralidad (Badillo Arias, 2019).
Con el objeto de garantizar la seguridad jurídica y de cumplir con la obligación de informar a todas las personas potencialmente afectadas, desde la Comisión Europea se contempla la obligación de hacer visible al público la existencia del seguro y del fondo pertinentes mediante un número de registro individual que aparezca en un registro específico de la Unión, que permita a cualquiera que interactúe con el sistema de IA estar informado acerca de las modalidades de actuación cuando se produce un daño o perjuicio, los límites de la responsabilidad civil asociada a él, los nombres y las funciones de los operadores y todos los demás datos pertinentes (PE.CAJ, 2020 b).
Los nuevos riesgos que generan los sistemas dotados de IA fuerte, derivados de su impredecibilidad y autonomía decisoria, han obligado a las instancias europeas a elaborar una normativa armonizada centrada específicamente en los requisitos que deben reunir estos sistemas para tener la consideración de “seguros”, lo que implica, en definitiva, una actualización y replanteamiento del concepto de “seguridad”, que tenga en cuenta ahora las nuevas características de funcionamiento y las nuevas categorías de daños de estas tecnologías emergentes al alcance de los consumidores.
La normativa europea sobre seguridad general de los productos vigente hasta la fecha (Directiva del Parlamento Europeo y del Consejo, de 3 de diciembre de 2001, relativa a la seguridad general de los productos) resulta ya obsoleta e incompleta, por la misma definición que contempla de “producto seguro” de la que parte, que alcanza solo a los productos que en condiciones de utilización previsibles, no presenten riesgo alguno o únicamente riesgos mínimos; circunstancias estas que no son precisamente las que prevalecen en el ámbito de las nuevas categorías de daños generados por la IA con capacidad para adoptar decisiones autónomas, cuyo funcionamiento implica riesgos imprevisibles a lo largo de todo su ciclo de vida, así como una inseguridad aparejada. La mencionada Directiva debe revisarse para adaptarse a los desafíos actuales de estas tecnologías, que están transformando las características de los productos, con la finalidad de garantizar la seguridad jurídica de los consumidores, sin poner con ello trabas a la innovación.
La complejidad de estas nuevas tecnologías exige que deba revisarse el término de “producto seguro”, ya que la IA y otras tecnologías emergentes integradas en los productos puede modificar la finalidad de estos y repercutir en su seguridad tras su comercialización. Debemos plantearnos si la “comercialización” como momento decisivo en el que el agente económico debe garantizar la seguridad del producto es un enfoque que sigue siendo adecuado, o sería más adecuado ahora con la era digital un enfoque basado en la conformidad continua del producto con la normativa pertinente en materia de seguridad también tras la comercialización e instalación del programa, dada su capacidad para modificarse sustancialmente tras su puesta en servicio. La capacidad de aprendizaje autónomo de la IA a lo largo de todo su ciclo de vida es un elemento que debe tenerse muy en cuenta en la revisión de la normativa sobre seguridad para impedir riesgos emergentes (Parlamento Europeo, 2020 e. En adelante PE, 2020 e). La seguridad del producto ya no puede valorarse teniendo en cuenta únicamente el momento en el que este se puso en circulación, ya que la IA se actualiza o bien a raíz de su aprendizaje automático, se pueden añadir nuevas funciones durante su vida útil, que den lugar a nuevos riesgos no contemplados en el momento de su comercialización. Además, la legislación de la UE en materia de seguridad solo se aplica a los productos, no a los servicios (Manchado Azcárate et al., 2020), quedando fuera de su campo de aplicación una buena parte de los sistemas de IA de alto riesgo, entre los que se encuentran los relacionados con el transporte.
Para abordar esta problemática el Parlamento Europeo ha sentado recientemente las bases para la elaboración de un Reglamento sobre normas armonizadas en materia de inteligencia artificial: Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión, Bruselas, 21-4-2021). (Comisión Europea, 2021 a. En adelante COMEU, 2021a) 35, que tiene como principal objetivo garantizar que los sistemas de IA introducidos y usados en el mercado de la UE sean seguros, respeten la legislación vigente en materia de derechos fundamentales y facilitar el desarrollo de un mercado único para hacer un uso fiable de las aplicaciones de IA, evitando la fragmentación del mercado, sin obstaculizar ni impedir con ello el desarrollo tecnológico, y sin aumentar de un modo desproporcionado el coste de introducir estas soluciones en el mercado.
Su objetivo primordial es garantizar el correcto funcionamiento del mercado interior mediante el establecimiento de normas armonizadas, en particular en lo que respecta al desarrollo, la introducción en el mercado de la Unión y el uso de productos y servicios que empleen tecnologías de IA o se suministren como sistemas de IA independientes. Se advierte del surgimiento de un mosaico de normas nacionales con posibles divergencias que entorpecerá la circulación fluida en la UE de productos y servicios asociados a sistemas de IA y que no garantizará de manera efectiva la seguridad y la protección de los derechos fundamentales y los valores de la Unión en los distintos Estados miembros. Se considera que las estrategias nacionales orientadas a afrontar estos problemas solo crearán inseguridad jurídica y barreras adicionales, y ralentizarán la adopción de la IA por parte del mercado, que tenderá a fragmentarse en marcos nacionales potencialmente contradictorios que impedirán la libre circulación de bienes y servicios.
Establece un enfoque normativo basado en los riesgos, en el que la intervención jurídica se adapta a aquellas situaciones concretas en las que existe un motivo de preocupación justificado o en las que es posible anticipar razonablemente que se producirá un problema en un futuro próximo. Al mismo tiempo, el marco jurídico incluye mecanismos flexibles que le permiten adaptarse de manera dinámica a medida que evoluciona la tecnología y surgen nuevas situaciones preocupantes.
El marco se aplica a los agentes tanto públicos como privados de dentro y fuera de la UE en la medida en que el sistema de IA se introduzca en el mercado de la Unión o su uso afecte a personas establecidas en ella. No se aplica a los usos privados no profesionales (Comisión Europea, 2021 b. En adelante COMEU, 2021b).
La Propuesta contempla una serie de requisitos horizontales obligatorios que tendrán que cumplir los sistemas de IA de “alto riesgo”, que garanticen su fiabilidad, tanto antes de ser introducidos en el mercado como durante todo el ciclo de vida de los mismos (COMEU, 2021a) 36. Ello comporta una revisión y actualización del concepto de “producto seguro” que debe adaptarse también al funcionamiento de una tecnología que tiende a ser insegura tras su puesta en servicio. En el ámbito que ahora nos movemos solo podremos afirmar que el producto es seguro, no únicamente cuando cumpla con las medidas de seguridad en el momento mismo de su comercialización, sino también durante todo su ciclo de vida. Este es el criterio que se desprende del texto de la Propuesta de Reglamento cuando habla de “evaluación de la conformidad”, como aquel proceso por el que deben verificarse si se cumplen los requisitos de seguridad en relación con un sistema de IA tras el seguimiento del mismo realizado con posterioridad a su comercialización, lo que se lleva a cabo por medio de una serie de actividades realizadas por los proveedores destinadas a recopilar y examinar de forma proactiva la experiencia obtenida con el uso de las IA que introducen en el mercado, con el objeto de detectar la posible necesidad de aplicar inmediatamente cualquier tipo de medida correctora o preventiva que resulte necesaria (COMEU, 2021a) 37. Así, por tanto, en este ámbito, el productor debe cumplir con el deber de seguridad no únicamente en la fase de puesta en servicio de la IA, sino, además, también, a lo largo de todo su ciclo de vida, llevando a cabo una labor constante de inspección sobre aquella. Tal es así, porque se parte del hecho de que en este tipo de productos entra dentro de la normalidad que pueda producirse en ellos una “modificación sustancial” tras su introducción en el mercado que afecte al cumplimiento de los requisitos de seguridad establecidos en el Reglamento o que provoque un cambio de la finalidad prevista para la que se ha evaluado al sistema de IA en cuestión [art.3 apartados 20), 21), 23) y 25) de la Propuesta].
En este ámbito se considera que el deber del fabricante de prevenir y evitar eventuales peligros creados por sus productos no se agota con la puesta en circulación de los mismos, sino que continúa una vez colocados en el tráfico, en la medida en que sigue obligado a observarlos y seguirlos, informando, adoptando medidas y advirtiendo de las consecuencias peligrosas que de su uso pusieran derivarse, en tanto tenga conocimiento de ellas. Una obligación que cobra importancia por tratarse de un producto nuevo, con un elevado grado de peligrosidad en su uso adecuado por el consumidor normal o por el público en general, respecto del que el fabricante carece aún de datos prácticos suficientes que resulten fiables. La vigilancia del comportamiento de tales productos una vez puestos en circulación podrá proporcionarle una parte de la información y experiencia necesarias, estando obligado a adoptar las medidas necesarias para la reducción, prevención o supresión de los riesgos que pueda conocer con posterioridad, sea en virtud de la comprobación de reclamaciones u objeciones que en torno a sus productos realicen los usuarios, centros científicos o institutos de inspección, sea por la evolución que ha sufrido el estado de los conocimientos científicos y técnicos. Un sistema activo de seguimiento y observación que debe tener la capacidad de reacción suficiente para, con la mayor rapidez posible, adoptar las medidas correctoras necesarias e informar al ciudadano de los peligros con precisión y extensión (Solé i Feliu, 1997).
En consonancia con ello, se implanta en las IA de alto riesgo un sistema de “gestión de riesgos” que se llevará a cabo de manera continua durante todo el ciclo de vida del sistema y que tendrá por objeto: la identificación y el análisis de los riesgos conocidos y previsibles vinculados a cada sistema de IA de alto riesgo; la estimación y evaluación de los riesgos que podrían surgir cuando el sistema de alto riesgo en cuestión se utilice conforme a su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible, y la evaluación de otros riesgos que podrían surgir a partir del análisis de los datos recogidos con el sistema de seguimiento posterior a la comercialización. Asimismo, los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de un modo adecuado para su finalidad prevista y que cumplen los requisitos establecidos en el Reglamento (art. 9 de la Propuesta de Reglamento).
Los sistemas de IA de alto riesgo que cumplan con los requisitos específicos de seguridad y sean sometidos a la evaluación de conformidad estarán permitidos en el mercado europeo (COMEU, 2021a) 38. Ahora bien, el cumplimiento de la normativa administrativa no eximirá al fabricante de incurrir en responsabilidad civil cuando se produzca un daño, pues el cumplimiento de la misma, si bien tiene como finalidad reducir al máximo las probabilidades de daño, no obstante, no garantiza un funcionamiento seguro al 100 por 100 de estos sistemas, dada su capacidad de respuesta variable e imprevisible a lo largo de todo su ciclo de vida. Aun así, pueden producirse daños que deberán ser reparados, sin que pueda alegarse como causa eximente de la responsabilidad el cumplimiento estricto de la normativa de seguridad.
Junto con una definición clara de lo que es de «alto riesgo», la Comisión presenta un método riguroso para contribuir a detectar los sistemas de IA de alto riesgo dentro del marco jurídico. El objetivo es aportar seguridad jurídica a las empresas y otros agentes económicos. La clasificación del riesgo se basa principalmente en la finalidad prevista del sistema de IA, en la función que desempeña, en las modalidades específicas para las que se utilice dicho sistema, en el número de personas potencialmente afectadas y en la irreversibilidad de los daños, así como la medida en que la legislación vigente de la Unión prevé medidas eficaces para prevenir o minimizar sustancialmente esos riesgos. Se adjunta a la Propuesta una lista de casos de uso que la Comisión considera actualmente de alto riesgo (COMEU, 2021b). La lista contiene un número limitado de sistemas cuyos riesgos ya se han materializado o es probable que lo hagan próximamente. La Comisión podrá ampliar esta lista a fin de garantizar que el Reglamento pueda adaptarse a los futuros nuevos usos y aplicaciones de la IA.
Contempla la obligatoriedad de que los sistemas de IA de alto riesgo se diseñen y desarrollen con capacidades que permitan registrar automáticamente sus actuaciones (archivos de registro) mientras están en funcionamiento. Las capacidades de registro garantizarán un nivel de trazabilidad del funcionamiento del sistema de IA durante todo su ciclo de vida. En particular, las capacidades de registro permitirán controlar el funcionamiento del sistema de alto riesgo en lo que respecta a la aparición de situaciones que puedan hacer que este sistema presente un riesgo o dar lugar a una modificación sustancial, y facilitarán el seguimiento posterior a la comercialización (COMEU, 2021a). Este registro tiene una gran importancia de cara a la explicación y averiguación de los hechos o motivos que han podido llevar a la máquina a adoptar una decisión determinada, y por consiguiente para concretar si la actuación que ha causado el daño ha sido fruto de una decisión correcta o no de aquella.
Los sistemas de IA de alto riesgo deben ir, además, acompañados de las instrucciones de uso correspondientes, las cuales incluirán información concisa, completa, correcta, clara, accesible y comprensible para los usuarios. El contenido de esta información debe hacer referencia, entre otros datos, a las características, capacidades y limitaciones del funcionamiento del sistema de IA de alto riesgo y en particular a su finalidad prevista, uso indebido razonablemente previsible que pueda dar lugar a riesgos, nivel de precisión, solidez y ciberseguridad, medidas de vigilancia humana y la vida útil prevista del sistema, así como las medidas de mantenimiento y cuidado necesarias para garantizar el correcto funcionamiento de dicho sistema (COMEU, 2021a). La información sobre las instrucciones de uso y funcionamiento de la IA es también un elemento de vital importancia, ya que un uso indebido de la misma puede dar lugar a que el fabricante del sistema quede exonerado de responsabilidad probando la culpa exclusiva del usuario víctima del daño. El fabricante responderá de la falta de seguridad del sistema siempre que este haya sido utilizado conforme a su destino y uso que puede esperarse razonablemente. Los riesgos derivados de otros usos que bajo ningún concepto pudieron incluirse en las expectativas razonables del fabricante, no deberán ser soportados por el usuario. En este ámbito se produce una ampliación de la responsabilidad del fabricante, cuya obligación de informar o advertir se extiende, no solo a los riesgos que originan los usos normalmente aceptados del producto en cuestión, sino también aquellos otros que derivan de las específicas necesidades del usuario concreto, y que, de una forma u otra, pueden ser previstos por el fabricante (Sole i Feliu, 1997).
La Propuesta contempla por otra parte un deber de vigilancia humana de los sistemas de IA de alto riesgo, los cuales se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso. El objetivo de esta vigilancia humana es prevenir o reducir al máximo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando un sistema de este tipo se utiliza conforme a su finalidad prevista o cuando se le da un uso indebido. El proveedor (COMEU, 2021a) 39será el encargado de definir las medidas de vigilancia humana adecuadas para que las lleve a cabo el usuario y de integrarlas en el sistema de IA de alto riesgo antes de su introducción en el mercado o puesta en servicio. Este deber de vigilancia permitirá al usuario detectar indicios de anomalías, problemas de funcionamiento y comportamientos inesperados y ponerles solución lo antes posible, así como decidir, en cualquier situación concreta, no utilizar el sistema de IA de alto riesgo o desestimar, invalidar o revertir la información de salida que este genere. Podrá también intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpirlo accionando un botón específicamente destinado a tal fin o mediante un procedimiento similar. Como se ha dicho, esta obligación de control que se le impone al usuario sobre el funcionamiento de la máquina tiene como finalidad reducir el máximo posible la probabilidad de que cause daños a terceros, pero su correcta observancia no podrá ser alegada por el usuario para quedar eximido de responsabilidad ante la causación de un daño, pues no olvidemos que su responsabilidad es totalmente objetiva y que por lo tanto, responderá aunque pueda demostrar que ha cumplido correctamente con el mencionado deber de vigilancia. Con todo, si el perjudicado por el daño consigue demostrar una negligencia en el deber de control del usuario sobre la máquina, podrá exigirle una responsabilidad agravada por culpa o dolo en su caso.
Otro aspecto que hay que agradecer al mencionado Reglamento es la aclaración del concepto de “operador” (COMEU, 2021a) 40, en el sentido de concretar qué personas pueden en la práctica desempeñar esta función, complementando de esta forma a la anterior y también reciente Propuesta de Reglamento del Parlamento Europeo y del Consejo, relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial, que ha dejado esta cuestión sin aclarar. No solo la complementa concretando los agentes que pueden hacer las veces de operadores, sino porque, además, concreta las obligaciones de cada uno de estos agentes en relación con los sistemas de IA de alto riesgo. Ello comporta un gran avance en la regulación de esta materia, especialmente en lo que atañe a la responsabilidad civil que puede imputarse a cada uno de los sujetos intervinientes en el ciclo de vida de la IA, porque si se pueden saber cuáles son las funciones concretas de cada una de las personas que pueden actuar como operador, entonces será más fácil detectar al posible causante del daño para asignarle la responsabilidad que en su caso le corresponda.
Entre los posibles agentes que pueden accionar como operadores, resalta la figura del “proveedor”, que generalmente será el fabricante de la IA. Con todo, aunque el fabricante no sea el proveedor, la Propuesta de Reglamento le atribuye de todas formas las mismas obligaciones que a este (art. 24 de la Propuesta). Entre ellas, destacan la obligación de adoptar inmediatamente las medidas correctoras necesarias para poner el sistema en conformidad, retirarlo del mercado o recuperarlo, según proceda, cuando tenga motivos para considerar que un sistema de IA de alto riesgo que ha introducido en el mercado no es conforme con el Reglamento, así como la obligación de someter al sistema de alto riesgo a un nuevo procedimiento de evaluación de la conformidad cuando se modifique de manera sustancial tras su puesta en servicio, excepto cuando estos cambios hayan sido predeterminados por el proveedor en el momento de la evaluación inicial de la conformidad (arts. 21 y 43. 4º de la Propuesta). Para cumplir con este cometido se obliga a los proveedores a establecer un sistema de seguimiento posterior a la comercialización, en el que se recabará, documentará y analizará de manera activa y sistemática datos pertinentes proporcionados por usuarios o recopilados a través de otras fuentes sobre el funcionamiento de los sistemas de IA de alto riesgo durante toda su vida útil, lo que permitirá a los proveedores evaluar el cumplimiento de los requisitos de seguridad establecidos en el Reglamento (art. 61 de la Propuesta) (Comisión Europea, 2021b. En adelante COMEU, 2021b) 41.
El cumplimiento del Reglamento se garantizará imponiendo a cada Estado miembro la obligación de designar una o varias autoridades nacionales competentes para supervisar su aplicación y ejecución, así como para realizar actividades de vigilancia del mercado. A fin de aumentar la eficiencia y establecer un punto de contacto oficial con la población, cada Estado miembro deberá designar una autoridad nacional de supervisión, que también representará al país en el Comité Europeo de Inteligencia Artificial que crea el Reglamento. El Comité Europeo de Inteligencia Artificial estará formado por representantes de alto nivel de las autoridades nacionales de supervisión competentes, el Supervisor Europeo de Protección de Datos y la Comisión. Su función consistirá en facilitar una aplicación fluida, eficaz y armonizada del nuevo Reglamento sobre la IA. El Comité formulará recomendaciones y dictámenes a la Comisión sobre los sistemas de IA de alto riesgo y sobre otros aspectos pertinentes relacionados con la aplicación eficaz y uniforme de las nuevas normas. También contribuirá a generar los conocimientos especializados en su calidad de centro de competencia al que las autoridades nacionales podrán consultar (COMEU, 2021 b).
Un paso más novedoso que también incide en el régimen de la responsabilidad civil derivada de los daños por el uso de la IA, lo constituye el reciente acuerdo adoptado entre los representantes de los Estados miembros de la UNESCO, en fecha 2 de julio de 2021, sobre el proyecto de texto normativo que adoptará la forma de Recomendación, para el desarrollo y el despliegue éticos de la Inteligencia Artificial. El texto final del Proyecto de Recomendación, que se presentará en noviembre del 2021 en la Conferencia General de la UNESCO para su adopción y entrada en vigor, supondrá un marco global mundial para garantizar que las transformaciones digitales promuevan los derechos humanos y contribuyan a la consecución de los Objetivos de Desarrollo Sostenible. Abordará cuestiones relacionadas con la transparencia, la responsabilidad y la privacidad, contendrá capítulos políticos orientados a la acción sobre la gobernanza de los datos, la educación, la cultura, la atención sanitaria y la economía, y proporcionará a los gobiernos y responsables políticos un marco para regular la IA.
Una vez adoptada la Recomendación, los líderes de todo el mundo tendrán un punto de referencia común sobre cómo controlar los riesgos y aprovechar estas tecnologías como una fuerza para el bien. La Recomendación incluirá disposiciones para garantizar que los sesgos del mundo real no se reproduzcan en línea, y ofrecerá acciones políticas concretas asentadas en valores y principios universales. También encargará a la UNESCO que analice el nivel de avance de cada país en el ámbito de la IA para ayudarles en la fase de aplicación.
Veinticuatro destacados expertos de todo el mundo han contribuido al texto, lo que garantiza su alcance amplio, exhaustivo y diverso. Se ha elaborado a través de un proceso de consulta mundial que ha incorporado una multiplicidad de voces de diferentes grupos interesados, constituyendo un modelo de consenso mundial sobre la regulación ética de esta tecnología (UNESCO, 2021 a; 2021 b) 42.
A mi parecer, esta Recomendación tiene una gran relevancia en el campo de la responsabilidad civil, pues puede entenderse que las acciones de las IA que entren dentro de la esfera de lo “ético”, deben ser consideradas correctas, aún y cuando se haya producido un daño, que puede haber sido debido a una acción derivada de un estado de necesidad o para proteger un bien o interés que es considerado mayor que el bien que haya sufrido el daño, por ejemplo. El daño puede estar justificado por motivos éticos, y al ser considerada la actuación que lo ha originado correcta, ello puede dar lugar a la exención de la responsabilidad del presunto culpable. Los valores y principios éticos pueden influir poderosamente en la elaboración y aplicación de las normas jurídicas relativas a la responsabilidad civil, que están basadas en los derechos humanos, proporcionando orientación cuando el ámbito de aplicación de las normas no esté claro o cuando esas normas no se hayan aún establecido debido a la rapidez del desarrollo tecnológico combinada con el ritmo relativamente más lento de las respuestas políticas.
El Proyecto de Recomendación (UNESDOC, 2020) introduce unos ámbitos de actuación clave para la construcción del marco jurídico de la responsabilidad civil:
— “La supervisión y decisión humanas”. Ha de ser siempre posible atribuir la responsabilidad jurídica, en cualquier etapa del ciclo de vida de los sistemas de IA, a personas físicas o a entidades jurídicas existentes. La supervisión humana se refiere, por tanto, no solo a la supervisión humana individual, sino también a la supervisión pública, según corresponda. Puede ocurrir que, en algunas ocasiones, los seres humanos tengan que depender de los sistemas de IA por razones de eficacia, pero la decisión de ceder el control en contextos limitados seguirá recayendo en los seres humanos, ya que estos pueden recurrir a los sistemas de IA en la toma de decisiones y en la ejecución de tareas, pero un sistema de IA nunca podrá reemplazar la responsabilidad y la rendición de cuentas final por parte de un ser humano.
— “La transparencia y explicabilidad”. La transparencia es necesaria para que la legislación nacional e internacional pertinente en materia de responsabilidad funcione eficazmente. Las personas tienen derecho a saber cuándo se toma una decisión sobre la base de algoritmos de IA y, en esas circunstancias, exigir o solicitar explicaciones e información a empresas del sector privado o público. La transparencia permite proporcionar información sobre los factores que influyen en una predicción o decisión específicas, y sobre la existencia o no de garantías adecuadas. La explicabilidad supone hacer inteligibles los resultados de los sistemas de IA y facilitar información sobre ellos. La explicabilidad de los sistemas de IA también se refiere a la inteligibilidad de la entrada, salida y comportamiento de cada componente algorítmico y la forma en que contribuye a los resultados de los sistemas.
— “Responsabilidad y rendición de cuentas”. La responsabilidad y la obligación de rendir cuentas de las decisiones y las acciones basadas de alguna manera en un sistema de IA, siempre deberían ser atribuibles, en última instancia, a los actores de la IA. Los Estados miembros deben desarrollar, examinar y adaptar, según proceda, marcos reguladores para lograr la rendición de cuentas y la responsabilidad por el contenido y los resultados de los sistemas de IA en las diferentes etapas de su ciclo de vida. Además, al elaborar los marcos reguladores, los Estados miembros deben tener en cuenta, en particular, que la responsabilidad y la rendición de cuentas deben recaer siempre en última instancia en personas físicas o jurídicas y que no se debe otorgar personalidad jurídica a los sistemas de IA. Para lograrlo, esos marcos reguladores deben ajustarse al principio de la supervisión humana y establecer un enfoque global centrado en los actores y los procesos tecnológicos que intervienen en las diferentes etapas del ciclo de vida de los sistemas (UNESDOC, 2020).
En el mercado único de la UE, el sector del transporte equivale al 6´3 por 100 del PIB, y da empleo directamente a unos 13 millones de personas. Esto es, más del 7 por 100 del empleo total de la UE, incluidos unos 2,3 millones de personas en el sector de la fabricación de automóviles. El transporte es un factor indispensable para alcanzar los objetivos relacionados con el desarrollo económico, la industria y las pymes, así como el comercio y la inversión. La formulación de políticas en materia de transporte debe centrarse en la culminación de un mercado único justo, eficaz y plenamente digitalizado que reporte beneficios tangibles para todos.
De otra parte, las demandas de movilidad de los ciudadanos son cada vez mayores y su actitud frente a la movilidad está cambiando. La movilidad se considera cada vez más como un servicio, y los consumidores reclaman una mejora de la calidad, comodidad, flexibilidad y asequibilidad. También desean poder pasar sin trabas de un modo de transporte a otro y acceder con facilidad a información sobre los desplazamientos. La experiencia cotidiana de los atascos, el Acuerdo de París sobre el cambio climático, la crisis de las emisiones de los vehículos diésel, el debate público sobre los efectos de las emisiones, y las medidas adoptadas para disuadir del uso del automóvil en las zonas urbanas, como las zonas de tráfico restringido, han contribuido a que los usuarios sean mucho más conscientes de la repercusión del transporte privado sobre la calidad del aire, el cambio climático y la salud.
La digitalización y la robotización contribuyen a hacer más eficientes las operaciones de transporte y logística, mejorando los flujos de tráfico y optimizando el uso de las infraestructuras, reduciendo las cargas administrativas de los operadores y permitiendo una mejor combinación de los transportes público y privado. También contribuyen a la descarbonización del transporte, facilitando la adopción de modos de transporte más limpios, promoviendo mayores índices de ocupación en los vehículos de pasajeros. Desde las instituciones europeas se considera que la aspiración de Europa debe ser avanzar con rapidez, para que, en 2025, ya se haya establecido un sistema de movilidad limpia, competitiva y conectada, que integre todos los medios de transporte. El sistema debe abarcar toda la Unión y conectarla a los países vecinos y al resto del mundo. Debe permitir que todo el mundo pueda desplazarse confortablemente y permanentemente conectado, tanto por las ciudades y las zonas rurales, como entre ellas.
Ahora bien, en la otra cara de la moneda de las increíbles ventajas y beneficios del transporte digital inteligente, se encuentra la creación de nuevos tipos de riesgos y de daños para las personas, debidos a la opacidad, imprevisibilidad y creciente autonomía en la toma de decisiones por estos agentes artificiales. El funcionamiento de algunos dispositivos y servicios autónomos de IA puede tener un perfil de riesgo específico en términos de responsabilidad civil, ya que pueden perjudicar seriamente bienes jurídicos importantes, como la vida, la salud y la propiedad privada, y exponer al público en general a riesgos. Esto puede afectar principalmente a los dispositivos basados en la IA que circulen en espacios públicos como por ejemplo, los vehículos totalmente autónomos, drones y robots de mensajería, o a servicios basados en la IA con riesgos similares, como, por ejemplo, servicios de gestión del tráfico que orienten o controlen los vehículos o la gestión de la distribución eléctrica.
Las nuevas tecnologías están modificando radicalmente el panorama de la movilidad; conllevan nuevas oportunidades en forma de nuevos servicios para eliminar o compensar los errores humanos, pero también acarrean nuevos peligros y desafíos. Están surgiendo nuevos riesgos relacionados con el funcionamiento de los vehículos altamente automatizados en entornos de tráfico mixto y con la compleja interacción entre el conductor y el vehículo (interfaz humano-máquina), así como con los problemas asociados a la ciberseguridad; todo lo cual, requiere de un marco jurídico moderno a nivel europeo, que ofrezca al mismo tiempo un entorno adecuado para el progreso tecnológico.
El mercado único digital necesita una armonización plena en este ámbito; un conjunto de normas comunes con principios únicos, puesto que el ámbito digital se caracteriza por una rápida dinámica transfronteriza y flujos de datos internacionales, y la cuestión de la responsabilidad civil en caso de daño o perjuicio causado por un sistema con un proceso automático de toma de decisiones, es uno de los aspectos clave que deben abordarse en este contexto.
Las estructuras tradicionales del Derecho de daños son ahora insuficientes para poder lidiar con este nuevo fenómeno tecnológico. Una gran parte del marco de la Unión en materia de seguridad de los productos se redactó antes de la aparición de las tecnologías digitales con IA, el internet de las cosas o la robótica. Por tanto, no incorpora en todos los casos disposiciones que traten explícitamente los nuevos riesgos, problemas y dificultades de estas tecnologías emergentes. Cierto es que existen normativas con criterios de imputación objetivos, pero tampoco sirven porque están basadas en la asignación de la responsabilidad al agente que tiene el verdadero control y el gobierno directo sobre la máquina, cuando este hecho es ahora una realidad inexistente en las máquinas que disponen de la más elevada autonomía.
Los recientes avances tecnológicos reclaman una regulación europea totalmente armonizada de la responsabilidad civil, que promueva la innovación, capaz de proteger a las personas perjudicadas en un mundo en proceso de cambio. La actual Directiva de 25 de julio de 1985, sobre responsabilidad por los daños causados por productos defectuosos, ya no sirve y presenta grandes insuficiencias para afrontar una responsabilidad civil en la que el daño ya no es consecuencia de un defecto de fabricación, de diseño, de programación o de entrenamiento de la máquina, sino consecuencia de una decisión adoptada por esta, que es el resultado de su proceso de aprendizaje y evolución independiente y al margen de las instrucciones recibidas. La Directiva comunitaria no contempla una solución para poder identificar al sujeto responsable en estos casos. Paralelamente, este tipo de tecnología plantea otras cuestiones en su funcionamiento no resueltas por la mencionada Directiva, como son: la exclusión de los servicios de su marco de regulación, el problema del régimen de la carga probatoria, el problema de la trazabilidad y opacidad de las actuaciones llevadas a cabo por estos agentes artificiales, las causas que eximen de la responsabilidad, el alcance de los daños, los conceptos de producto, de defecto y de seguridad que cabe legítimamente esperar, entre otras.
Desde las instancias europeas se está trabajando en una normativa de nueva creación (Propuesta de Reglamento del Parlamento Europeo y del Consejo, relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial), que tiene como finalidad ofrecer una respuesta armonizada al problema de la determinación del sujeto al que debe imputarse la responsabilidad civil en los supuestos de sistemas con IA, con procesos autónomos de toma de decisiones. Esta esperada normativa supone un gran avance en el reconocimiento de la existencia de un nuevo fenómeno tecnológico en nuestra sociedad que reclama una regulación nueva, que parte de los nuevos daños y riesgos que se están generando hacia las personas. Esta iniciativa, que complementa a la Directiva sobre responsabilidad por los daños causados por productos defectuosos, aunque es todavía algo imprecisa en algunos aspectos, ha sido del todo acertada porque incide y resuelve muchos de los problemas anteriormente mencionados, no previstos en la Directiva sobre productos.
Se parte de la necesidad de adaptar los vigentes regímenes de responsabilidad civil objetiva a las nuevas necesidades de las tecnologías emergentes, lo que no implica la sustitución completa de los regímenes existentes de responsabilidad civil por otros completamente nuevos, pero sí que comporta algunos ajustes específicos mediante la introducción de principios e ideas nuevas orientadas al futuro, pues es evidente que la legislación actual presenta lagunas en relación con los nuevos productos y servicios digitales. Efectivamente, el criterio de imputación totalmente objetivo para asignar la responsabilidad, no puede decirse que sea una técnica de reciente creación para las tecnologías con IA. Es un sistema de imputación que ya se viene aplicando en otros ámbitos desde hace bastantes años, como por ejemplo, en el ámbito de la responsabilidad por los daños causados por animales, contemplada en el art. 1905 del Código Civil español, que se funda exclusivamente en el peligro abstracto que entraña la tenencia de animales, como seres imprevisibles que en muchas ocasiones escapan del pleno control de la persona que debe cuidarse de ellos, y en la que se hace responder a la persona que detenta la posesión del animal y que se sirve de él. Se observa como existen grandes similitudes con los parámetros que informan la responsabilidad de los sistemas de transporte autónomos, pues en ambas se trata de elementos (animal/máquina) imprevisibles en su comportamiento, que obrando a impulso propio pueden actuar fuera de las instrucciones u órdenes de la persona que supuestamente debe ejercer el control sobre ellos, y en ambas se hace responder al agente que en el momento de producirse el daño tiene o puede ejercer el mayor grado de influencia o de control sobre el causante del daño y que al mismo tiempo obtiene un beneficio del mismo. Es una responsabilidad que no deriva de la culpa in vigilando, en la que se responde con independencia del comportamiento adecuado o diligente en la vigilancia del ser causante del daño y que utiliza como criterios para concretar al sujeto responsable: –el hecho de encontrarse en una situación que permita el mayor grado de control sobre el causante del daño, y –el hecho de sacar provecho, ventaja o beneficio, con independencia de haber observado toda la diligencia exigible. Otros ejemplos de ámbitos que pueden citarse en los que se viene aplicando el criterio del riesgo para establecer una responsabilidad plenamente objetiva lo son: el sector de la caza, el sector de la energía nuclear, la realización de actividades contaminantes o el transporte aéreo, lo que pone de relieve que no estamos ante una responsabilidad completamente nueva, sino ante un tipo de responsabilidad que teniendo sus cimientos en un criterio de imputación ya conocido, necesita perfilarse, matizarse y concretarse por medio de una nueva regulación adaptada y actualizada, al intervenir en aquella nuevos elementos, agentes y tipos de daños no previstos hasta la fecha en nuestra legislación.
Si bien es preferible una reglamentación sectorial específica para la amplia gama de posibles aplicaciones, era necesario contar con un marco jurídico horizontal basado en principios comunes, con el fin de establecer una igualdad de normas en toda la Unión y proteger eficazmente nuestros valores europeos. Es preferible que estas nuevas normas comunes para los sistemas de IA adopten la forma de reglamentos, que son las disposiciones normativas con más capacidad para adaptarse a la evolución del ámbito digital, que se caracteriza por una rápida dinámica transfronteriza.
La fijación de topes indemnizatorios a la responsabilidad del operador parece del todo lógica como consecuencia de la relevancia cualitativa y cuantitativa del peligro que generan estas tecnologías, y por consiguiente, de los elevados daños que pueden producirse; circunstancia que determina que sea razonable el establecimiento de limitaciones en la reparación de los daños, que funcionan como techos indemnizatorios y que se explican como contraprestación a la no exigencia de culpa.
Aunque en esta reciente normativa todavía quedan algunas materias por perfilar (en una revisión futura de la misma, sería conveniente concretar las características y condiciones del nuevo seguro de daños), la nueva Propuesta de Reglamento del Parlamento Europeo y del Consejo, relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial, constituye el primer paso de una futura regulación europea completa y armonizada sobre la responsabilidad civil extracontractual por los daños cometidos por agentes inteligentes con procesos autónomos de toma de decisiones, con capacidad para adaptarse a la evolución de los riesgos y de los daños.
Álvarez Olalla, P. (2019). Responsabilidad civil en la circulación de vehículos autónomos. En E. Monterroso Casado (Dir.) y A. Muñoz Villarreal (Coord.), Inteligencia artificial y riesgos cibernéticos. Responsabilidades y aseguramiento (pp. 145-163). Tirant lo Blanch.
Amunátegui Perelló, C. (2020). Arcana Technicae. El Derecho y la Inteligencia Artificial. Tirant lo Blanch.
Atienza Navarro, M.L. (2020). Una aproximación a la Propuesta de Reglamento del Parlamento Europeo y del Consejo relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial, de 27 de abril de 2020. Revista Aranzadi de Derecho y Nuevas Tecnologías, 54.
Badillo Arias, J. A. (2019). Responsabilidad civil y aseguramiento obligatorio de los robots. En Inteligencia artificial y riesgos cibernéticos. En E. Monterroso Casado (Dir.) y A. Muñoz Villarreal (Coord.), Inteligencia artificial y riesgos cibernéticos. Responsabilidades y aseguramiento (pp. 26-62). Tirant lo Blanch.
Barrio Andrés, M. (2020). Manual de Derecho Digital. Tirant Lo Blanch.
Bertolini, A. (2020). Artificial intelligence and civil liability. Legal affairs. Departamento de Políticas de Derechos de los Ciudadanos y Asuntos Constitucionales. Publicación online. https://www.europarl.europa.eu/thinktank/es/search.html?word=inteligencia+artificial
Comisión Europea. (2017, 31 may.). Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las regiones. Europa en movimiento. Una Agenda para una transición socialmente justa hacia una movilidad limpia, competitiva y conectada para todos. Publicación online. https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52017DC0283
Comisión Europea. (2018 a). Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social europeo y al Comité de las Regiones. Europa en movimiento. Una movilidad sostenible para Europa: segura, conectada y limpia. Publicación online. https://eur-lex.europa.eu/
Comisión Europea. (2018 b, 7 may.). Informe de la Comisión al Parlamento europeo, al Consejo y al Comité Económico y Social Europeo sobre la aplicación de la Directiva del Consejo relativa a la aproximación de las disposiciones legales, reglamentarias y administrativas de los Estados miembros en materia de responsabilidad por los daños causados por productos defectuosos (85/374/CEE). Publicación online. https://eur-lex.europa.eu/legal-content/ES/ALL/?uri=CELEX%3A52018DC0246
Comisión Europea. (2018 c, 17 may.). Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social europeo y al Comité de las Regiones. En ruta hacia la movilidad automatizada: estrategia de la UE para la movilidad del futuro. Publicación online. https://eur-lex.europa.eu/
Comisión Europea. (2020 a, 19 feb.). Informe de la Comisión al Parlamento Europeo, al Consejo y al Comité Económico y Social Europeo, sobre las repercusiones en materia de seguridad y responsabilidad civil de la inteligencia artificial, el internet de las cosas y la robótica. Publicación online. https://eur-lex.europa.eu
Comisión Europea. (2020 b, 19 feb.). LIBRO BLANCO sobre la inteligencia artificial —un enfoque orientado a la excelencia y la confianza. Publicación online. https://eur-lex.europa.eu
Comisión Europea. (2021 b, 21 abr.). Nuevas normas sobre la inteligencia artificial: preguntas y respuestas. Publicación online. https://ec.europa.eu/commission/presscorner/detail/es/qanda_21_1683
Comité Económico y Social Europeo. (2017, 13 oct.). Dictamen sobre implicaciones de la digitalización y robotización del transporte en la formulación de políticas de la UE (2017/C 345/08).
Comité Económico y Social Europeo. (2019). Dictamen sobre Transporte, energía y servicios de interés general como motores del crecimiento sostenible en Europa a través de la revolución
Comité Económico y Social Europeo. (2020, 11 feb.). Dictamen sobre Garantizar una transición inclusiva hacia un sector ferroviario digitalizado. Ponente Alberto MAZZOLA, Diario Oficial de la Unión Europea.
Comité Europeo de las Regiones. (2019, 16 may.). Dictamen sobre Seguridad vial y movilidad automatizada. Ponente József RIBÁNYI, Diario Oficial de la Unión Europea.
Ebers, M. (2016). La utilización de agentes electrónicos inteligentes en el tráfico jurídico: ¿Necesitamos reglas especiales en el Derecho de la responsabilidad civil? InDret. Revista para el análisis del Derecho. 4-17. Publicación online. https://raco.cat/index.php/InDret/article/view/314400/404514.
Gómez Ligüerre, C y Gabriel García-Micó, T. (2021). Liability for Artificial Intelligence and other emerging technologies. InDret Privado. Revista para el Análisis del Derecho 2, 501-511. Publicación online. https://indret.com/wp-content/uploads/2020/01/1524.pdf
González Alonso, A. (2021). Responsabilidad civil y vehículos de conducción autónoma. ¿o no? En E. Llamas Pombo, J. Arrubla Paucar y C. Ignacio Jaramillo (Dirs), Derecho de daños y protección de la persona. (pp. 215-220). Tirant lo Blanch.
Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial. (2019, 8 abr.). Directrices éticas para una IA fiable. Publicación online https://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1
Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías. (2018). Declaración sobre inteligencia artificial, robótica y sistemas autónomos. Publicación online http://www.bioeticayderecho.ub.edu/archivos/pdf/EGE_inteligencia-artificial.pdf
Hernáez Esteban, E. (2018). Inteligencia artificial y vehículos autónomos: el régimen de la responsabilidad civil ante los nuevos retos tecnológicos. Revista Aranzadi de Derecho y Nuevas Tecnologías, 48.
Iturmendi Morales, G. (2020, nov.). Responsabilidad civil por el uso de sistemas de inteligencia artificial. Actualidad Civil, 11.
López Oneto, M. (2020). Fundamentos para un derecho de la inteligencia artificial. ¿Queremos seguir siendo humanos? Tirant lo Blanch.
Macías Espejo, B. (2020). ‘Criminal compliance program’ y exención de responsabilidad penal ante la hipotética, si no inminente, industrialización del coche sin conductor. Revista Aranzadi Doctrinal, 6.
Manchado Azcárate, M, Ruis Torres, D y Amorós, L. (2020, 28 jul.). A vueltas con la inteligencia artificial y la responsabilidad civil: ¿Dónde convergen y qué problemática conllevan? Diario La Ley 42 (Sección Ciberderecho).
Martín Casals, M. (2005). Una primera aproximación a los Principios de Derecho europeo de la responsabilidad civil. InDret. Revista para el análisis del Derecho, 284, 3-25. Publicación online. https://indret.com/wp-content/themes/indret/pdf/284_es.pdf
Martínez Mercadal, J. J. (2018). Vehículos autónomos y derecho de daños. La estructura clásica de la responsabilidad civil frente al avance de la inteligencia artificial. Revista de la Facultad de Ciencias Económicas – UNNE 20. 56-71. Publicación online. http://revistas.unne.edu.ar/index.php/rfce. DOI: http://dx.doi.org/10.30972/rfce.0203267
Monterroso Casado, E. (2019). Responsabilidad civil por daños causados por robots en el ámbito sanitario. En E. Monterroso Casado (Dir.) y A. Muñoz Villarreal (Coord.), Inteligencia artificial y riesgos cibernéticos. Responsabilidades y aseguramiento (pp. 102-139). Tirant lo Blanch.
Parlamento Europeo. Comisión de Asuntos Jurídicos. (2020 b, 27 jul.). Proyecto de Informe con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial, Ponente: Axel Voss. Publicación online. https://www.europarl.europa.eu/doceo/document/JURI-PR-650556_ES.pdf
Parlamento Europeo. Comisión de Transportes y Turismo. (2018, 23 feb.). Informe sobre una estrategia europea sobre los sistemas de transporte inteligentes cooperativos.
Parlamento Europeo. Comisión de Transportes y Turismo. (2020, 22 jun.). Proyecto de informe sobre la revisión de las directrices relativas a la red transeuropea de transporte (RTE-T). Ponente Jens Gieseke.
Portellano Díez, P. (2020). Inteligencia artificial y responsabilidad por productos. Revista de Derecho Mercantil 316.
Primitivo Rodríguez, J. (2019). Breves reflexiones éticas en torno a la inteligencia artificial. En A. Felícitas Muñoz Pérez (dir.), M. del C. de la Orden de la Cruz y C. Martínez Laburta (coords.), Revolución digital, derecho mercantil y token economía (pp. 79-91). Tecnos.
Reglero Campos, L. F. (2007). Accidentes de circulación: responsabilidad civil y seguro. Estudio del Texto Refundido de la Ley de Responsabilidad Civil y Seguro en la Circulación de Vehículos a Motor, reformado por la Ley 21/2007, de 11 de julio. Thomson Aranzadi.
Salazar, I. (2019). La revolución de los robots. Cómo la inteligencia artificial y la robótica afectan a nuestro futuro. TREA. Publicación online. https://elibro.net/es/ereader/uab/113288
Seijo Bar, A. (2020). El coche autónomo: una aproximación a la responsabilidad civil en la era digital. En E. Ortega Burgos (Dir.), Nuevas tecnologías (pp. 369-390). Tirant lo Blanch.
Solé i Feliu, J. (1997). El concepto de defecto del producto en la responsabilidad civil del fabricante. Tirant lo Blanch.
Sousa Antunes, E (2021). Civil liability applicable to artificial intelligence: a preliminary critique of the European Parliament Resolution of 2020. 8 de enero de 2021. Publicación online. SSRN: http://dx.doi.org/10.2139/ssrn.3743242
Tribunal Europeo de Cuentas. (2018). Hacia un sector de los transportes eficaz en la UE: desafíos que hay que afrontar. Análisis panorámico. Publicación online https://www.eca.europa.eu/Lists/ECADocuments/LR_TRANSPORT/LR_TRANSPORT_ES.pdf
UNESCO. (2021 a, 2 jul.). Ética de la Inteligencia Artificial: un paso más hacia la adopción de la Recomendación de la UNESCO. Publicación online https://es.unesco.org/news/etica-inteligencia-artificial-paso-mas-adopcion-recomendacion-unesco
UNESCO. (2021 b). Elaboración de una Recomendación sobre la ética de la Inteligencia Artificial. Publicación online https://es.unesco.org/artificial-intelligence/ethics#recomendacion
UNESDOC. Biblioteca digital. (2020). Documento final del Proyecto de Recomendación sobre la ética de la Inteligencia Artificial. Publicación online https://unesdoc.unesco.org/ark:/48223/pf0000373434_spa
Unitat D’estratègia i Intel·Ligència Competitiva d’acció i Secretaria de Polítiques Digitals (2019). La Intel.ligència artificial a Catalunya: informe tecnològic, juliol de 2019. Publicación online. http://www.accio.gencat.cat/web/.content/bancconeixement/documents/informes_sectorials/informe-tecnologic-inteligencia-artificial.pdf
Van Uytsel, S. (2021). Different Liability Regimes for Autonomous Vehicles: One Preferable Above the Other? En S. Van Uytsel, y D. Vasconcellos Vargas (Eds.) Autonomous Vehicles (pp. 67-92). Springer. DOI: 10.1007 / 978-981-15-9255-3_4
Principios de Derecho Europeo de la Responsabilidad Civil (2005). Publicación online. https://www.redalyc.org/pdf/4175/417537584011.pdf
Comisión Europea. (2021 a). Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión, 21-4-2021. https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9585-01aa75ed71a1.0008.02/DOC_1&format=PDF
Comisión Europea. (2021 c). Propuesta de Reglamento del Parlamento Europeo y del Consejo relativa a las máquinas y sus partes y accesorios, 21-4-2021. https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A52021PC0202&qid=1625578420417
Parlamento Europeo. (2017). Resolución del Parlamento Europeo, de 1 de junio de 2017, sobre la digitalización de la industria europea (2016/2271(INI)). Digitalización de la industria europea (2018/C 307/26). Diario Oficial de la Unión Europea (30-8-2018).
Parlamento Europeo. (2020 a). Régimen de responsabilidad civil en materia de inteligencia artificial. Resolución de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial. En su Anexo contiene la Propuesta de Reglamento. https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html
Parlamento Europeo. (2020 b). Propuesta de Reglamento del Parlamento Europeo y del Consejo relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial, 20-10-2020. https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html
Parlamento Europeo. (2020 c). Conducción autónoma en los transportes europeos. Resolución del Parlamento Europeo, de 15 de enero de 2019, sobre la conducción autónoma en los transportes europeos (2018/2089(INI)). Diario Oficial de la Unión Europea (27-11-2020).
Parlamento Europeo. (2020 d). Resolución del Parlamento Europeo, de 12 de febrero de 2019, sobre una política industrial global europea en materia de inteligencia artificial y robótica (2018/2088(INI)). Una política industrial global europea en materia de inteligencia artificial y robótica (2020/C 449/06). Diario Oficial de la Unión Europea (23-12-2020).
Parlamento Europeo. (2020 e). Resolución del Parlamento Europeo, de 25 de noviembre de 2020, sobre garantizar la seguridad de los productos en el mercado único (2019/2190(INI)) (2019-2024). https://www.europarl.europa.eu/doceo/document/TA-9-2020-0319_ES.pdf
Parlamento Europeo. (2020 f). Propuesta de Resolución con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial. 27-4-2020. https://eur-lex.europa.eu/
Parlamento Europeo. Comisión de Asuntos Jurídicos. (2020 a). Propuesta de Reglamento del Parlamento Europeo y del Consejo relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial (art.4.5º). Ponente: Axel Voss, 27-4-2020. https://www.europarl.europa.eu/doceo/document/JURI-PR-650556_ES.pdf
Parlamento Europeo. Comisión de Asuntos Jurídicos. (2020 d). Propuesta de Reglamento del Parlamento Europeo Y DEL CONSEJO sobre los principios éticos para el desarrollo, la implementación y el uso de la inteligencia artificial, la robótica y las tecnologías conexas, 8-11-2020. https://www.europarl.europa.eu/committees/es/documents
Parlamento Europeo. Comisión de Asuntos Jurídicos. (2020 c). Proyecto de informe con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, ponente Ibán García del Blanco, 21-4-2020. https://www.europarl.europa.eu/doceo/document/JURI-PR-650508_ES.pdf
Sentencia TS 233/2002 (23 nov. 2007). ECLI ES:TS: 2007:7853.
* Profesora titular de Derecho civil en la Universidad Autónoma de Barcelona. Correo-e: MariCarmen.Nunez@uab.cat. ORCID ID: 0000-0002-3165-3747.
El presente trabajo no ha contado con ninguna financiación directa o indirecta procedente de entidad alguna, pública o privada, con o sin ánimo de lucro.
1 La red consta de dos niveles: la red básica, que se completará en 2030, que está formada por los enlaces y nodos más importantes estratégicamente de toda la UE, y la red global, que se completará en 2050, que tiene el objetivo más amplio de garantizar la accesibilidad y conectividad de todas las regiones de la UE. (Tribunal Europeo de Cuentas, 2018:4 y 5).
2 Al hablar de inteligencia artificial nos referimos a una especificidad que pueden tener algunos algoritmos. Un algoritmo es una secuencia de instrucciones que producen un resultado para solventar un problema. Cuando el algoritmo es capaz de aprender de sus propias experiencias, tomando sus propias decisiones, lo que se conoce como self-learning, estamos ya ante inteligencia artificial. Este es su rasgo característico o distintivo. (Portellano Díez, 2020: apartado II) Base de Datos Thomson Reuters Aranzadi Instituciones. https://insignis.aranzadidigital.es
Son sistemas físicos o virtuales capaces de deducir, razonar, resolver problemas, planificar, aprender, procesar lenguajes naturales, mostrar creatividad, inteligencia social y general similar a la humana (portadora de sentido común), así como tener también capacidad de movimiento y percepción, en el caso de lo que comúnmente conocemos como robots. (López Oneto, 2020:45).
Poseen capacidades cognitivas propias de las personas, como el aprendizaje, el razonamiento, la resolución de problemas, la planificación, la autocorrección […]La IA permite la toma de decisiones complejas automatizadas con una alta precisión y velocidad, gracias a una inteligencia basada en la recopilación de datos, conjuntamente con capacidades de autoaprendizaje. (Unitat D’estratègia i Intel·Ligència Competitiva D’acció i Secretaria de Polítiques Digitals, 2019. En adelante UEI, 2019:5)
3 O vehículos autónomos: aquellos sistemas para cuyo manejo o conducción no se requiere el control o supervisión humanas. (Hernáez Esteban, 2018: apartado III) Base de Datos Thomson Reuters Aranzadi Instituciones; https://insignis.aranzadidigital.es
El desafío es que sean capaces de entender y reaccionar con el entorno a un nivel profundo; reto que ya se ha alcanzado con el coche autónomo, predicable también de otros vehículos que utilizan la IA, tales como aviones, barcos y autobuses. Tiene la indudable ventaja de dotar de libertad a los ocupantes, que podrán realizar actividades parecidas a cuando viajamos como pasajeros en un avión; leer, dormir, jugar, etc. El vehículo autónomo con IA podrá sortear obstáculos y reaccionar ante situaciones conflictivas más rápidamente que un humano. De tal manera que en un futuro no tendrán volante y no habrá distinción entre conductor y pasajeros; todos seremos pasajeros. Si bien, plantea el problema ético de qué elección hará cuando estén en juego vidas humanas. Por eso, otro de los problemas que plantea, es el de la ética, que debe ser incorporada a dicho vehículo por su programador o creador. (Primitivo Rodríguez, 2019:85 y 86).
4 El «aprendizaje automático» (machine learning), describe una amplia gama de algoritmos que proporcionan a los sistemas de IA la capacidad de aprender y mejorar automáticamente a partir de la experiencia y acumulación de mayores volúmenes de datos sin estar programados expresamente. Estos sistemas tienen la habilitad de aprender sin estar explícitamente programados (es decir, sin necesidad de reglas codificadas previamente). El machine learning emplea un método de aprendizaje en el que se introducen primero casos ya “resueltos” (es decir, las entradas de datos junto con el resultado esperado), y seguidamente, entrenando al algoritmo, este es capaz de funcionar de forma autónoma y de replicar resultados empleando otro conjunto de datos de entrada. (Barrio Andrés, 2020:59).
5 Dependiendo del grado de automatización y de intervención de un humano, se distingue entre: —“inteligencia asistida”: sistemas de IA que dan soporte a las personas a la hora de tomar decisiones o de llevar a cabo determinadas actuaciones. Se trata de sistemas que no aprenden cuando interactúan; —“inteligencia aumentada”: sistemas de IA que mejoran la toma de decisiones de la persona y que aprenden constantemente de sus interacciones con las personas y con el entorno; —“automatización”: actividades manuales y cognitivas automatizadas sin intervención humana, que pueden ser o no rutinarias. No implican una nueva manera de llevar a cabo las actividades. Solo automatizan las existentes, e —“inteligencia autónoma”: sistemas de IA que pueden adaptarse a diferentes tipos de situaciones, y que pueden decidir y actuar de manera autónoma sin la intervención humana. (UEI, 2019:7).
6 La llamada IA general o fuerte se refiere a la inteligencia artificial del futuro, en el que el comportamiento inteligente de la máquina estará mucho más desarrollado en tantas competencias como podría estarlo en una persona. Este es uno de los grandes miedos que despierta esta tecnología en la actualidad: el hecho de que los robots lleguen a ser algún día, más inteligentes que los humanos. Frente a esto hay opiniones de expertos que auguran que estos sistemas inteligentes del futuro podrían crear otros algoritmos aún más inteligentes que ellos, hasta llegar a la llamada «singularidad tecnológica», momento en el que los robots dotados de IA superarían en todos los aspectos a la raza humana. Tomarían sus propias decisiones independientemente del criterio humano y, en el caso de descontrolarse, el mundo se sumiría en un caos, con pocas opciones para las personas. Existe una visión más positiva, sostenida por muchos investigadores, que ve en el desarrollo de la IA un compañero de viaje de los humanos. Una ayuda. Un asistente capaz de operar de manera segura y con ética. En cualquier caso, es muy necesario que los distintos Gobiernos y organismos internacionales conozcan muy bien estas tecnologías, sus ventajas y sus posibles riesgos, y ayuden a minimizar el posible impacto negativo con suficiente antelación. (Salazar, 2019:48)
7 Ello aumenta la posibilidad de que las personas que hayan sufrido daños no dispongan de un acceso efectivo a las pruebas necesarias para llevar un caso ante los tribunales, y tengan menos probabilidades de obtener una reparación efectiva en comparación con situaciones en las que los daños sean causados por tecnologías tradicionales. (Comisión Europea, 2020 b. En adelante COMEU, 2020 b:14, 15, 16)
8 Aunque en el Real Decreto Legislativo 8/2004, de 29 de octubre, por el que se aprueba el texto refundido de la Ley sobre responsabilidad civil y seguro en la circulación de vehículos a motor (LRCSCVM), se contempla una responsabilidad objetiva en el caso de daños a las personas, sin embargo, dicha responsabilidad se atribuye al conductor, como persona que gobierna directamente el vehículo; criterio este que ya no sirve para imputar la responsabilidad en el ámbito de los vehículos autónomos. En la mencionada regulación, cuando el conductor causante del daño no es el propietario del vehículo, la víctima solo podrá demandar al propietario cuando mantenga con el conductor alguna de las relaciones que se indican en los arts: 1903.2.º, 3.º y 4.º del Código Civil, y 120.5.º del Código Penal, lo que tampoco tiene ningún encaje ni viabilidad en el ámbito de los vehículos inteligentes, ya que la víctima solo podría demandar al fabricante/propietario cuando el conductor mantuviera con aquél alguna de las mencionadas relaciones, lo que daría lugar a que la víctima no pudiera reclamar ninguna responsabilidad en numerosas ocasiones. Además, en el caso de demandarse al propietario, en la regulación de la LRCSCVM, este puede exonerarse de responsabilidad probando su diligencia para prevenir el daño, lo que de nuevo nos remite a una responsabilidad en última instancia basada en la culpa, de la que debe huirse en el caso de los vehículos autónomos, ya que el propietario/fabricante siempre podría eludir su responsabilidad alegando que el daño fue debido a una acción autónoma del vehículo, independiente de sus órdenes y directrices, y que quedaba fuera de su esfera de previsibilidad y evitabilidad, dando lugar a que las víctimas no pudiesen reclamar ninguna responsabilidad.
En general, todas las normativas nacionales españolas de que disponemos actualmente, que entran a regular la responsabilidad por los daños causados en el ámbito del transporte, se caracterizan porque en ellas se atribuye la responsabilidad al sujeto que ejerce el verdadero control sobre el medio de transporte; entendido el control como un vehículo, nave, aeronave, etc, que efectivamente es dirigido y gobernado por alguien, y que responde a las órdenes de ese alguien, cuando este tipo de control ya no es ejercido, ni puede ser ejercido en el ámbito de los medios de transporte con procesos automatizados de toma de decisiones. Opinión que comparte. (Hernáez Esteban, 2018, apartados II y V. Base de Datos Thomson Reuters Aranzadi Instituciones, https://insignis-aranzadidigital-es.are.uab.cat).
9 La normativa actual (LRCSCVM y Real Decreto Legislativo 6/2015, de 30 de octubre, por el que se aprueba el texto refundido de la Ley sobre Tráfico, Circulación de Vehículos a Motor y Seguridad Vial) ya no sirve para dar solución a los supuestos de accidentes en los que se involucra un vehículo autónomo, ya que en estos casos el conductor pasa a ser un “pasajero” o “usuario”, y la normativa actual pivota en torno a la figura del conductor.
10 En el ámbito de la responsabilidad tradicional por productos defectuosos, se utiliza en ocasiones la técnica de la presunción del defecto, en aquellos supuestos en los que es imposible poder llegar a demostrarlo (prueba de presunciones en ausencia de pruebas directas), por ejemplo, por la destrucción del propio producto, que imposibilita el análisis del mismo, pero al fin y al cabo, en estos casos de presunción también se parte de la existencia de negligencia en el productor, por lo que se sigue estando ante un sistema, en última instancia, a mi modo de ver, culpabilístico al fin y al cabo. Véase la STS 233/2002.
11 Podría dificultarse la prosperabilidad de la acción indemnizatoria de la víctima que acciona contra el fabricante del robot, al poder alegar este que el daño causado por la actividad del robot, en nuestro caso, por el vehículo autónomo, no provenía de un defecto de diseño, fabricación o información, sino que se trata de una respuesta al interpretar un escenario dado, que escapa del control del fabricante, o del diseñador o instalador del software. El stándar de diligencia conforme al cual debe programar el diseñador del software, dependerá de lo que es previsible, posible y razonable. Y como decimos, hay comportamientos que el programador no podrá predecir, puesto que todos los escenarios posibles de reacción del robot no son imaginables. (Álvarez Olalla, 2019:159-161).
12 La demostración del defecto es un elemento de prueba que se complica en el ámbito de los vehículos autónomos, ya que es necesario tener conocimientos específicos de esta tecnología, por lo que se hace necesaria la intervención de expertos cualificados. (Van Uytsel, 2021:72).
13 La trazabilidad, por tanto, facilita la auditabilidad y la explicabilidad. La explicabilidad técnica requiere que las decisiones que adopte un sistema de IA sean comprensibles para los seres humanos y estos tengan la posibilidad de rastrearlas. (Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial, 2019:16)
La causa real de los sucesos que ocasionan daños es decisiva para la atribución de la responsabilidad. Por consiguiente, la Comisión propone que los vehículos automatizados dispongan de grabadores de datos para aclarar quién conducía (el sistema autónomo o el conductor) al producirse el accidente. (COMEU, 2018 a), https://eur-lex.europa.eu/
14 Los principios son el fruto de un trabajo de armonización a nivel europeo, de la responsabilidad civil, por un grupo de juristas de diferentes países. Disponibles en https://dialnet.unirioja.es
15 La Directiva no ha sido diseñada como una responsabilidad por riesgo pura, sino como un sistema de responsabilidad mixto con elementos basados en la culpa. (Ebers, 2016:16)
16 Causas de justificación recogidas en los art. 7 y 8 de los Principios de Derecho Europeo de la Responsabilidad Civil. Disponibles en https://dialnet.unirioja.es
17 Por consiguiente, es necesario contemplar la posibilidad de introducir requisitos de transparencia de los algoritmos y de rendición de cuentas. Una forma de afrontar esta cuestión puede ser imponer obligaciones a los desarrolladores de los algoritmos, de modo que tengan que revelar los parámetros de diseño y los metadatos de los conjuntos de datos, si se producen accidentes. (COMEU, 2020 a) https://eur-lex.europa.eu
18 En la legislación nacional española sobre productos o servicios defectuosos contenida en el Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el Texto Refundido de la Ley General para la Defensa de los Consumidores y Usuarios, disponemos de un régimen de responsabilidad especial para aquellos servicios que por su propia naturaleza o por estar así reglamentariamente establecido, exijan niveles de eficacia y de seguridad extremos, y supongan por ello controles técnicos, profesionales o sistemáticos de calidad. Entre los servicios sometidos a este régimen se mencionan los relativos a medios de transporte (art.148 del RDL 1/2007), a los que se aplica un criterio de imputación basado en la inversión de la carga de la prueba de la culpa, que no debe ser demostrada por la víctima, la cual, únicamente debe probar el daño y la relación de causalidad. El precepto deja la puerta abierta a otro tipo de servicios que puedan existir, que comporten un alto riesgo o peligro para la salud y seguridad de las personas, en los que se exijan unos niveles de seguridad superiores a la media. En este sentido, podríamos plantearnos que la tecnología con IA que venimos analizando, podría tener cabida en el precepto, pero mi conclusión es que no es así, porque no contempla la responsabilidad objetiva que aquí se propone, sino una inversión de la carga de la prueba, mediante la presunción de culpa del empresario proveedor del servicio, quien podrá eximirse de responsabilidad demostrando, no solo el cumplimiento de las disposiciones reglamentarias en la materia, sino además, que ha llevado a cabo todas las medidas de diligencia y el cuidado requerido por la naturaleza del servicio en cuestión para prevenir el daño. Se trata, por tanto, de un sistema en definitiva tildado por la presencia de la culpa en el empresario, que no sirve para asignar la responsabilidad en los procesos autónomos de toma de decisiones.
19 En el Proyecto de informe con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas, se define al “desarrollador” como “toda persona física o jurídica que toma decisiones que determinan y controlan el curso o la forma del desarrollo de la inteligencia artificial, la robótica y las tecnologías conexas”, y a la actividad de “desarrollo”, como “la construcción y el diseño de algoritmos, la redacción y el diseño de programas informáticos o la recopilación, el almacenamiento y la gestión de datos con el fin de crear o entrenar la inteligencia artificial, la robótica y las tecnologías conexas o de crear una nueva aplicación para la inteligencia artificial, la robótica y las tecnologías conexas existentes” (art.4 apartados f) y g) del Proyecto).
20 Tal es la interpretación que se desprende del art. 2 de la Propuesta de Reglamento. (Atienza Navarro, 2020: apartado IV) Base de Datos Proview Thomson Reuters. https://proview-thomsonreuters-com.are.uab.cat
21 El control como criterio para imputar la responsabilidad tiene sentido cuando hay humanos que pueden actualizar, modificar e introducir mejoras en esta tecnología, o por lo menos, pueden desactivarla si lo consideran preciso conforme a su juicio humano. Una actuación de la máquina que pueda ser gestionada y supervisada por los seres humanos que la ponen en funcionamiento y que, a diferencia de la máquina involucrada, son capaces de adoptar decisiones morales. (Monterroso Casado, 2019:130-133).
22 “Toda persona física o jurídica que utiliza la inteligencia artificial, la robótica y las tecnologías conexas para fines distintos del desarrollo o la implementación”. (PE.CAJ, 2020 c).
23 “Toda persona física o jurídica que define de forma continuada las características de la tecnología, proporcionando datos y un servicio de apoyo final de base esencial, ejerciendo por tanto también, un grado de control sobre el riesgo y el funcionamiento de la IA”. (art.3 f) del Reglamento) (PE, 2020 b).
24 “Toda persona física o jurídica que ejerce un grado de control sobre un riesgo asociado a la operación y el funcionamiento del sistema de IA y se beneficia de su funcionamiento” (art.3 e) del Reglamento). (PE, 2020 b).
25 La creación de la figura del operador permite salvar los obstáculos que genera la opacidad de estos sistemas, que puede hacer extremadamente costoso o incluso imposible determinar quién controlaba el riesgo, o qué código o entrada ha provocado en última instancia el funcionamiento lesivo. Es necesario tener en cuenta la complejidad de las cadenas de valor. Estos factores podrían dificultar la identificación de la relación entre la lesión y el comportamiento que la causa, con el resultado de que las víctimas podrían no recibir una indemnización adecuada. (PE.CAJ, 2020 b).
26 El operador solo estará facultado para ejercer las acciones de regreso cuando haya abonado a la víctima la totalidad de la indemnización que tenga derecho a percibir en virtud del Reglamento (art.12.1.º).
27 En el ámbito de la responsabilidad por los daños causados por productos defectuosos, debe seguirse un único régimen de responsabilidad, que debe ser objetivo y aplicarse a todos los productos por igual, sin que quepa diferenciar entre productos y servicios más o menos peligrosos. (Sousa Antunes, 2021:3-12) https://ssrn.com/abstract=3743242
28 Véase el ANEXO de la propuesta del Reglamento en https://www.europarl.europa.eu/doceo/document/JURI-PR-650556_ES.pdf
29 “Lo dispuesto en el Reglamento prevalecerá sobre los regímenes nacionales de responsabilidad civil en el caso de clasificación divergente de la responsabilidad objetiva de los sistemas de IA” (art. 4.5.º de la Propuesta de Reglamento).
30 A tal efecto, es importante tener en cuenta las pautas que deben observar los usuarios de estas tecnologías en la utilización de las mismas establecidas en la Propuesta de Reglamento del Parlamento Europeo y del Consejo sobre los principios éticos para el desarrollo, la implementación y el uso de la inteligencia artificial, la robótica y las tecnologías conexas (PE.CAJ, 2020 d) en la que se establece que los usuarios deben utilizar la inteligencia artificial, la robótica y las tecnologías conexas de buena fe, en la medida en que su participación en estas tecnologías influye en el cumplimiento de los requisitos de seguridad, transparencia y rendición de cuentas establecidos en el presente Reglamento. Esto significa, en particular, que no deben utilizar dichas tecnologías de manera que contravengan los principios éticos establecidos en el presente marco jurídico y los requisitos que figuran en él. Más allá de tal uso con buena fe, los usuarios deben estar exentos de cualquier responsabilidad que recaiga en los desarrolladores y los implementadores, tal como se establece en el presente Reglamento.
31 En relación con el correcto funcionamiento del agente inteligente, deben tenerse en cuenta las obligaciones del implementador enunciadas en el art.8 de la Propuesta de Reglamento del Parlamento Europeo y del Consejo sobre los principios éticos para el desarrollo, la implementación y el uso de la inteligencia artificial, la robótica y las tecnologías conexas. https://www.europarl.europa.eu/committees/es/documents
32 La solución podría pasar por crear un fondo de compensación formado con las aportaciones de todos los proveedores de sistemas de IA. De esta manera, el daño colectivo sería sufragado por la propia sociedad en su conjunto. (Sousa Antunes, 2021:12-18).
33 Por tanto, en el caso de haber más de un implementador (ej; un fabricante y un usuario actual propietario), todos ellos estarían obligados a concertar el seguro.
34 Véase la Exposición de Motivos del Reglamento del Parlamento Europeo. Comisión de Asuntos Jurídicos, Propuesta de Reglamento del Parlamento Europeo y del Consejo relativo a la responsabilidad civil por el funcionamiento de los sistemas de inteligencia artificial. Bruselas, 27-4-2020. https://www.europarl.europa.eu/doceo/document/JURI-PR-650556_ES.pdf
35 El Reglamento se aplica: a) a los proveedores que introduzcan en el mercado o pongan en servicio sistemas de IA en la Unión, con independencia de si dichos proveedores están establecidos en la Unión o en un tercer país; b) a los usuarios de sistemas de IA que se encuentren en la Unión y c) a los proveedores y usuarios de sistemas de IA que se encuentren en un tercer país, cuando la información de salida generada por el sistema se utilice en la Unión (art.2.1.º de la Propuesta). (COMEU, 2021 a) https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9585-01aa75ed71a1.0008.02/DOC_1&format=PDF
36 La Propuesta define las obligaciones que se aplicarán a los proveedores y usuarios de los sistemas de IA de alto riesgo. Para los proveedores que desarrollen dichos sistemas y los introduzcan en el mercado de la Unión, generará seguridad jurídica y garantizará que no surja ningún obstáculo para el suministro transfronterizo de servicios y productos asociados a la IA. En el caso de las empresas que utilizan la IA, fomentará la confianza entre sus clientes. (COMEU, 2021a) https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9585-01aa75ed71a1.0008.02/DOC_1&format=PDF
37 Una vez se introduce en el mercado, la IA siempre estará sometida a un “organismo de evaluación de la conformidad”: organismo independiente que desempeña actividades de evaluación de la conformidad, entre las que figuran la prueba, la certificación y la inspección [art.3 apartado 21) de la Propuesta]. (COMEU, 2021a).
38 Se establecen los requisitos legales que deben cumplir los sistemas de IA de alto riesgo en lo que respecta a los datos y su gobernanza, la documentación y el registro, la transparencia y la comunicación de información a los usuarios, la vigilancia humana, la solidez, la precisión y la seguridad. (COMEU, 2021a).
39 Toda persona física o jurídica, autoridad pública, agencia u organismo de otra índole que desarrolle un sistema de IA o para el que se haya desarrollado un sistema de IA con vistas a introducirlo en el mercado o ponerlo en servicio con su propio nombre o marca comercial, ya sea de manera remunerada o gratuita” (art. 3 apartado 2 de la Propuesta). (COMEU, 2021a).
40 Según el art.3 apartado 8 de la Propuesta, “operador” puede serlo el proveedor, el usuario, el representante autorizado, el importador o el distribuidor. La Propuesta define, asimismo, a cada uno de estos agentes en su art. 3. (COMEU, 2021a).
41 El programa de trabajo de la Comisión Europea enfocado en la revisión de la seguridad de los productos para adaptar Europa a la Era Digital ha continuado con la aprobación de un texto paralelo y ligado a la Propuesta de Reglamento sobre normas armonizadas en materia de inteligencia artificial, por medio del cual se procede a revisar la Directiva del Parlamento Europeo y del Consejo, de 17 de mayo de 2006, relativa a las máquinas. Esta es la Propuesta de Reglamento del Parlamento Europeo y del Consejo relativa a las máquinas y sus partes y accesorios, Bruselas, 21-4-2021, que contribuye a la transición digital y al fortalecimiento del mercado interior. Los retos que las nuevas tecnologías presentan para la legislación de la Unión en materia de seguridad de productos han llevado a la conclusión de que la Directiva del 2006 sobre máquinas contiene una serie de deficiencias que es preciso corregir. Esto es aún más pertinente de cara a una recuperación sostenible de la pandemia de COVID-19, ya que el sector de las máquinas es una parte esencial del sector de la mecánica y uno de los núcleos industriales de la economía de la Unión. La Directiva del 2006, relativa a las máquinas no tiene suficientemente en cuenta los nuevos riesgos originados por las tecnologías emergentes, lo que origina una serie de problemas a tener en cuenta y que es necesario abordar: el primero tiene que ver con los riesgos que pueden derivarse de la colaboración directa entre personas y robots ante el aumento exponencial de los robots colaborativos («cobots») diseñados para trabajar junto a los seres humanos. Una segunda fuente de riesgo potencial son las máquinas conectadas. Un tercer motivo de preocupación es la forma en que las actualizaciones de software afectan al «comportamiento» de las máquinas una vez introducidas en el mercado. Una cuarta cuestión tiene que ver con la capacidad de los fabricantes para realizar una evaluación de riesgos completa de las aplicaciones de aprendizaje automático antes de introducir el producto en el mercado. Por último, en lo que respecta a las máquinas autónomas y las estaciones de supervisión remotas, la Directiva sobre máquinas vigente parte de un conductor u operador que controla completamente la máquina. El conductor puede ser transportado por la máquina o puede acompañarla, o bien puede guiarla con un mando a distancia, pero no se considera la posibilidad de que no haya conductor y no se establece requisito alguno para las máquinas autónomas. (Comisión Europea, 2021c) https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A52021PC0202&qid=1625578420417
42 UNESCO, 2021 a. Disponible en https://es.unesco.org/news/etica-inteligencia-artificial-paso-mas-adopcion-recomendacion-unesco
Para su elaboración se puso en marcha un proceso de consultas para conocer el punto de vista de expertos de 155 países, de la sociedad civil (mediante una encuesta mundial en línea), de organismos de las Naciones Unidas, de empresas como Google, Facebook y Microsoft, así como del sector académico, desde la Universidad de Stanford hasta la Academia de Ciencias de China. (UNESCO, 2021 b) Disponible en https://es.unesco.org/artificial-intelligence/ethics#recomendacion