Vol. 3 (2021)
Artículos

Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos

PDF HTML Video presentación
  • Alba Soriano Arnanz
Alba Soriano Arnanz
Universidad de Valencia
DOI: https://doi.org/10.37417/RPD/vol_3_2021_535

Publicado 2021-03-23

Palabras clave

  • algoritmos,
  • automatización,
  • tratamiento de datos,
  • protección de datos,
  • riesgos tecnológicos

Derechos de autor 2021 Alba Soriano Arnanz

Creative Commons License

Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.

Los autores mantienen los derechos de autor en la publicación y sólo autorizan a la editorial Marcial Pons los derechos no exclusivos de la publicación y distribución de los artículos

Resumen

La creciente capacidad computacional de los sistemas automatizados de procesamiento de datos ha generado un aumento de su utilización en toda clase de actividades humanas. Estos sistemas pueden procesar cantidades masivas de datos y proporcionar resultados muy precisos, ayudando a los responsables de la toma de decisiones, tanto en el sector público como en el privado, a clasificar a los seres humanos y a predecir sus acciones. Sin embargo, en los últimos años se ha venido demostrando que estos sistemas pueden generar importantes riesgos para los derechos fundamentales y otros valores y principios democráticos. Hasta la fecha, las normas en materia de protección de datos han constituido el principal instrumento jurídico encargado de hacer frente a los riesgos y daños causados por el tratamiento automatizado de datos personales. El presente trabajo identifica los principales riesgos generados por el uso de sistemas algorítmicos, señala las deficiencias del marco jurídico en materia de protección de datos a estos efectos y pone de manifiesto la necesidad de una mayor intervención regulatoria en la utilización pública y privada de los sistemas automatizados de procesamiento de datos y toma de decisiones. También se formulan una serie de breves propuestas que, de aplicarse, deberían contribuir a superar algunos de las insuficiencias del actual marco normativo en la prevención, gestión y solución de los riesgos y daños causados por los algoritmos.

PDF HTML Video presentación

Descargas

Los datos de descargas todavía no están disponibles.

Citas

  1. Algorithm Register, 2020. Disponible el 9 de diciembre de 2020 en https://algoritmeregister.amsterdam.nl/.
  2. Philip Alston, “Digital welfare states and human rights”, UN Special Rapporteur on extreme poverty and human rights, informe A/74/493, 11 de octubre de 2019.
  3. Doris ALLHUTTER et al., “Algorithmic profiling of job seekers in Austria: how austerity politics are made effective”, Frontiers in Big Data, vol. 3, 2020, pp. 1-17.
  4. Mike ANNANY y Kate CRAWFORD, “Seeing without knowing: limitations of the transparency ideal and its application to algorithmic accountability”, New Media & Society, vol. 20, núm. 3, 2018, pp. 973-989.
  5. Luís ARROYO JIMÉNEZ, “Algoritmos y reglamentos”, Almacén de Derecho, 25 de febrero de 2020. Disponible el 1 de diciembre de 2020 en https://almacendederecho.org.
  6. Solon BAROCAS, “Data mining and the discourse on discrimination”, Proceedings of the Data Ethics Workshop, Conference on Knowledge Discovery and Data Mining (KDD), 2014, pp. 1-4.
  7. Solon BAROCAS y Andrew SELBST, “Big data’s disparate impact”, California Law Review, vol. 104, núm. 3, 2016, pp. 671-732.
  8. — “The intuitive appeal of explainable machines”, Fordham Law Review, vol. 87, núm. 3, 2018, pp. 1085-1139.
  9. Yochai BENKLER, Robert FARIS y Hal ROBERTS, Network Propaganda: Manipulation, Disinformation, and Radicalization in American Politics, Oxford University Press, Oxford, 2018.
  10. Omri BEN-SHAHAR, “Data pollution”, Journal of Legal Analysis, vol. 11, 2019, pp. 104-159.
  11. Andrés BOIX PALOP, “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, vol. 1, 2020, pp. 223-270.
  12. Stephanie BORNSTEIN, “Antidiscriminatory algorithms”, Alabama Law Review, vol. 70, núm. 2, 2019, pp. 519-572.
  13. Kriel BRENNAN-MARQUEZ, “‘Plausible cause’: explanatory standards in the age of powerful machines”, Vanderbilt Law Review, vol. 17, núm. 4, 2017, pp. 1249-1301.
  14. Jenna BURRELL, “How the machine ‘thinks’: understanding opacity in machine learning algorithms”, Big Data & Society, vol. 3, núm. 1, 2016, pp. 1-12.
  15. Agustí CERRILLO I MARTÍNEZ, “El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?”, Revista General de Derecho Administrativo, núm. 50, 2019, pp. 1-38.
  16. — “¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos?”, European Review of Digital Administration & Law, vol. 1, núm. 1-2, 2020, pp. 18-36.
  17. Alexandra CHOULDECHOVA, “Fair prediction with disparate impact: a study of bias in recidivism prediction instruments”, 2016, pp. 1-17. Disponible el 6 de diciembre de 2020 en https://arxiv.org.
  18. Danielle CITRON, “Technological due process”, Washington University Law Review, vol. 85, núm. 6, 2008, pp. 1249-1313.
  19. Cary COGLIANESE y David LEHR, “Regulating by robot: administrative decision making in the machine-learning era”, The Georgetown Law Journal, vol. 105, núm. 5, 2017, pp. 1147-1223.
  20. Comisión Europea, “Comunicación de la Comisión sobre el recurso al principio de precaución”, COM/2000/0001 final, 1 de febrero de 2000.
  21. — “Defensa de la competencia: la Comisión impone una multa a Google de 1,49 miles de millones de euros por prácticas abusivas en la publicidad en línea”, 20 de marzo de 2019. Disponible el 8 de diciembre de 2020 en https://ec.europa.eu.
  22. — “Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza”, COM (2020) 65 final, 19 de febrero de 2020.
  23. Josh CONSTINE, “Facebook is shutting down its API for giving your friends’ data to apps”, TechCrunch, 28 de abril de 2015. Disponible el 8 de diciembre de 2020 en https://techcrunch.com.
  24. Lorenzo COTINO HUESO, “«SyRI, ¿a quién sanciono?» Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, La Ley Privacidad, núm. 4, 2020.
  25. Datenethikkommission, “Gutachten der Datenethikkommission”, 2019.
  26. —“Opinion of the Data Ethics Commission: Executive Summary”, 2019.
  27. Javier DE LA CUEVA, “Código fuente, algoritmos y fuentes del derecho”, El Notario del Siglo XXI, núm. 77, 2018.
  28. —“El derecho a no ser gobernados mediante algoritmos secretos”, El Notario del Siglo XXI, núm. 87, 2019.
  29. Susana de la SIERRA MORÓN, “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la Administración pública”, Revista General de Derecho Administrativo, núm. 53, 2020, pp. 1-19.
  30. Gabriel DOMÉNECH PASCUAL, Derechos Fundamentales y Riesgos Tecnológicos, Centro de Estudios Políticos y Constitucionales, Madrid, 2006.
  31. José ESTEVE PARDO, Lecciones de Derecho Administrativo, 6.ª ed. Marcial Pons, Barcelona, 2016.
  32. Virginia EUBANKS, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, St Martin’s Press, Nueva York, 2017.
  33. Michael FELDMAN et al., “Certifying and removing disparate impact”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2015, pp. 259-268.
  34. Eduardo GARCÍA DE ENTERRÍA y Tomás-Ramón FERNÁNDEZ RODRÍGUEZ, Curso de Derecho Administrativo I, Thomson Reuters–Aranzadi, Cizur Menor (Navarra), 2020, pp. 496-500.
  35. Janneke GERARDS, “The discrimination grounds of article 14 of the European Convention on Human Rights”, Human Rights Law Review, vol. 13, núm. 1, 2013, pp. 99-124.
  36. Grupo de Trabajo del Artículo 29, “Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679”, 17/ES, WP 251rev.01, 6 de febrero de 2018.
  37. Bryce W. GOODMAN, “A step towards accountable algorithms?: Algorithmic discrimination and the European Union general data protection”, 29th Conference on Neural Information Processing Systems, 2016. Disponible el 9 de diciembre de 2020 en http://www.mlandthelaw.org.
  38. Alejandro HUERGO LORA, “Una aproximación a los algoritmos desde el Derecho administrativo”, en Alejandro Huergo Lora (dir.) y Gustavo Manuel Díaz González (coord.), La Regulación de los Algoritmos, Pamplona, Aranzadi, 2020, pp. 23-87.
  39. Margot KAMINSKI, “Binary governance: Lessons from the GDPR’s approach to algorithmic accountability”, Southern California Law Review, vol. 92, núm. 6, 2019, pp. 1529-1616.
  40. Cecilia KANG y Mike ISAAC, “U.S. and States Say Facebook Illegally Crushed Competition”, New York Times, 9 de diciembre de 2020. Disponible el 10 de diciembre de 2020 en https://www.nytimes.com.
  41. Nancy KIM y Jeremy TELMAN, “Internet giants as quasi-governmental actors and the limits of contractual consent”, Missouri Law Review, vol. 80, núm. 3, 2015, pp. 723-770.
  42. Spyros KOKOLAKIS, “Privacy attitudes and privacy behaviour: A review of current research on the privacy paradox phenomenon”, Computers & Security, vol. 107, 2017, pp. 122-134.
  43. Bert-Jaap KOOPS, “The problem with European data protection law”, International Data Privacy Law, vol. 4, núm. 4, 2014, pp. 250-261.
  44. Lawrence LESSIG, Code: Version 2.0, Basic books, Nueva York, 2006.
  45. Steve LOHR, “Sizing up big data, broadening beyond the Internet”, The New York Times BITS Blog, 29 de junio de 2013. Disponible el 6 de diciembre de 2020 en https://bits.blogs.nytimes.com.
  46. Stella LOWRY y Gordon MACPHERSON, “A blot on the profession”, British Medical Journal, 5 de marzo de 1988, pp. 657-658.
  47. Isaac MARTÍN DELGADO, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.
  48. M.ª Dolores MAS BADÍA, “Credit-based insurance scores: some observations in the light of the european general data protection regulation”, Cuadernos Europeos de Deusto, núm. 62, 2020, pp. 155-186.
  49. Juan Francisco MESTRE DELGADO, “Una reflexión sobre la regulación constitucional del Derecho administrativo”, Corts: Anuario de Derecho Parlamentario, núm. extra 31, 2018, pp. 367-386.
  50. Javier MIRANZO DÍAZ, “Inteligencia artificial y contratación pública”, en Isaac Martín Delgado y Jose Antonio Moreno Molina (dirs.), Administración electrónica, transparencia y contratación pública, Madrid, Iustel, 2020, pp. 105-142.
  51. Alex MILLER, “Want less-biased decisions? Use algorithms”, Harvard Business Review, 26 de Julio de 2018. Disponible el 6 de diciembre de 2020 en https://hbr.org.
  52. Brendt MITTELSTADT et al., “The ethics of algorithms: mapping the debate”, Big Data & Society, julio-diciembre 2016, pp. 1-21.
  53. Jerrold NADLER y David CICILLINE, “Investigation of competition in digital markets”, Subcommittee on antitrust, commercial and administrative law of the Committee on the judiciary, octubre 2020.
  54. Safiya NOBLE, Algorithms of Oppression: How Search Engines Reinforce Racism, New York University Press, New York, 2018.
  55. Cathy O’NEIL, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Penguin Books, Londres, 2017.
  56. Paul OHM, “Broken promises of privacy: responding to the surprising failure of anonymization”, UCLA Law Review, vol. 57, 2010, pp. 1701-1777.
  57. Angelo Giuseppe OROFINO, “The Implementation of the Transparency Principle in the Development of Electronic Administration”, European Review of Digital Administration & Law, vol. 1, No. 1-2, 2020, pp. 123-142.
  58. Marion OSWALD, “Algorithm-assisted decision-making in the public sector: framing the issues using administrative law rules governing discretionary power”, Philosophical Transactions of the Royal Society of London, Series A: Mathematical and Physical Sciences, vol. 376, núm. 2128, 2018, pp. 1-20.
  59. Adrián PALMA ORTIGOSA, “Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos”, Revista General de Derecho Administrativo, núm. 50, 2019.
  60. Roger PARLOFF, “Why deep learning is suddenly changing your life”, Fortune, 28 de septiembre 2016. Disponible el 2 de diciembre de 2020 en http://fortune.com.
  61. Julio PASCUAL Y VICENTE, “Prohibiciones del abuso de posición dominante” en Tratado de Derecho de la competencia, José María Beneyto Pérez (dir.) y Jerónimo Maillo González (coord.), Bosch, Barcelona, 2005, pp. 455-511.
  62. Juli PONCE SOLÉ, “El derecho a una buena administración y la personalización de los servicios públicos” en Beltrán Puentes Cociña y Andrei Quintiá Pastrana, (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 51-71.
  63. — “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, núm. 50, 2019, pp. 1-52.
  64. Sofia RANCHORDÁS y Ymre SCHUURMANS, “Outsourcing the welfare state: the role of private actors in welfare fraud investigations”, European Journal of Comparative Law and Governance, vol. 7, núm. 2, 2020, pp. 5-42.
  65. Ariel RUBINSTEIN, “Dilemmas of an economic theorist”, Econometrica, vol. 74, núm. 4, 2006, pp. 865-883.
  66. Matthew SCHERER, “Regulating artificial intelligence systems: risks, challenges, competencies, and strategies”, Harvard Law & Technology Journal, vol. 29, núm. 2, 2016, pp. 353-400
  67. Bart SCHERMER, “The limits of privacy in automated profiling and data mining”, Computer Law & Security Review, vol. 27, No. 1, 2011, pp. 45-52.
  68. Wim SCHREURS et al., “Cogitas, ergo sum. the role of data protection law and non-discrimination law in group profiling in the private sector” en Mireille Hildebrandt y Serge Gutwirth, Profiling the European Citizen, Springer, Berlín, 2008, pp. 241-270.
  69. Sam SHEAD, “Google DeepMind is giving the NHS free access to its patient monitoring app”, Business Insider, 24 de junio de 2017. Disponible el 10 de diciembre 2020 de https://www.businessinsider.de.
  70. Ben SHNEIDERMAN, “Algorithmic Accountability: Designing for safety through human-centered independent oversight”, Turing Lecture (The Alan Turing Institute) 31 de marzo de 2017. Disponible el 26 de noviembre de 2020 en https://www.youtube.com.
  71. Alba SORIANO ARNANZ, “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, Revista General de Derecho Administrativo, núm. 56, 2021.
  72. Cass SUNSTEIN, “Sludge and ordeals”, Duke Law Review, vol. 68, núm. 8, 2018, pp. 1843-1883.
  73. Adrián TODOLÍ SIGNES, “Retos legales del uso del big data en la selección de sujetos a investigar por la Inspección de Trabajo y de la Seguridad Social”, Revista Galega de Administración Pública, núm. 59, 2020, pp. 313-337.
  74. Andrew TUTT, “An FDA for algorithms”, Administrative Law Review, vol. 69, núm. 1, 2017, pp. 83-123.
  75. Amos TVERSKY y Daniel KAHNEMAN, “Judgment under uncertainty: heuristics and biases”, Science, vol. 147, núm. 4157, 1974, pp. 1124-1131.
  76. Karen YEUNG, “‘Hypernudge’: Big data as a mode of regulation by design”, Information, Communication & Society, vol. 20, núm. 1, 2017, pp. 118-136.
  77. Karen YEUNG y Martin LODGE, “Algorithmic regulation: an introduction”, en Karen Yeung y Martin Lodge (eds.), Algorithmic regulation, Oxford University Press, Oxford 2019, pp. 1-18.
  78. Julián VALERO TORRIJOS, “Inteligencia artificial y contratación del sector público”, Observatorio de Contratación Pública, 27 de enero de 2020.
  79. — “The legal guarantees of artificial intelligence in administrative activity: reflections and contributions from the viewpoint of Spanish administrative law and good administration requirements”, European Review of Digital Administration & Law, vol. 1, No. 1-2, 2020, pp. 55-62.
  80. Marlies VAN ECK, “Algorithms in public administration”, 31st January 2017. Disponible el 17 de julio de 2019 en https://marliesvaneck.wordpress.com.
  81. Clara VELASCO RICO, “Vigilando al algoritmo. Propuestas organizativas para garantizar la transparencia”, en Beltrán Puentes Cociña y Andrei Quintiá Pastrana (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 73-89.
  82. Sandra WACHTER y Brendt MITTELSTADT, “A right to reasonable inferences: re-thinking data protection law in the age of big data and AI”, Columbia Business Law Review, vol. 2019, núm. 2, 2019, pp. 494-620 (p. 499).
  83. Tal ZARSKY, “Transparent predictions”, University of Illinois Law Review, vol. 2013, núm. 4, 2013, pp. 1503-1570.
  84. Indr? ŽLIOBAIT? y Bart CUSTERS, “Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models”, Artificial Intelligence & Law, vol. 24, núm. 2, 2016, pp. 183-201.