En los modernos Estados sociales y democráticos de Derecho, y en relación con los derechos fundamentales, la llamada revolución digital aporta una doble vertiente: en primer lugar, la interacción entre la computación, la electrónica, las telecomunicaciones, la matemática, la ingeniería, la inteligencia artificial, la robótica y otras ciencias conexas, puede generar nuevas e importantes facultades que se interpreten como parte del objeto de algunos derechos fundamentales ya reconocidos y, en su caso, se plasmen en las leyes que los desarrollen e, incluso, es posible que sea necesario promover cambios constitucionales que incorporen otros derechos, como ha empezado a ocurrir con los llamados “neuroderechos”[3], que han sido reconocidos en fechas recientes (25 de octubre de 2021) en la Constitución chilena (RECHE TELLO, 2021), cuyo artículo 19.1 in fine dispone que “El desarrollo científico y tecnológico estará al servicio de las personas y se llevará a cabo con respeto a la vida y a la integridad física y psíquica. La ley regulará los requisitos, condiciones y restricciones para su utilización en las personas, debiendo resguardar especialmente la actividad cerebral, así como la información proveniente de ella”[4].
A este respecto, desde el Parlamento Europeo se “pide a la Comisión [Europea] que estudie la posibilidad de presentar una iniciativa relativa a los neuroderechos, con el objetivo de proteger el cerebro humano contra la injerencia, la manipulación y el control por parte de la neurotecnología impulsada por la IA [y] anima a la Comisión a que defienda una agenda de neuroderechos a nivel de las Naciones Unidas con el fin de incluir estos derechos en la Declaración Universal de Derechos Humanos, concretamente en lo que respecta a los derechos a la identidad, al libre albedrío, a la privacidad mental, a la igualdad de acceso a los avances en materia de aumento del cerebro y a la protección frente al sesgo algorítmico” (Resolución sobre la inteligencia artificial en la era digital, párrafo 247).
A mi juicio, convendría reflexionar sobre si la IA supone una transformación esencial en lo que respecta a las dimensiones subjetiva y objetiva de los derechos fundamentales y, en su caso, si es aconsejable la constitucionalización de nuevos derechos fundamentales, una reforma legal de los mismos o si, en realidad, las facultades que se tratan de garantizar ya están en buena medida amparadas por derechos fundamentales “clásicos”, como la integridad física y moral, la libertad ideológica y religiosa, la libertad personal, las libertades de expresión e información…
Por su parte, y antes de llegar a los neuroderechos, el Gobierno español ha promovido y aprobado, como parte de la llamada Estrategia Nacional de Inteligencia Artificial -medida 28-, la llamada Carta de derechos digitales[5], culminada el 14 de julio de 2021, aunque es un texto sin valor jurídico alguno y que, como se declara en las llamadas “Consideraciones previas”, “no trata de crear nuevos derechos fundamentales sino de perfilar los más relevantes en el entorno y los espacios digitales o describir derechos instrumentales o auxiliares de los primeros… La Carta no tiene carácter normativo, sino que su objetivo es reconocer los novísimos retos de aplicación e interpretación que la adaptación de los derechos al entorno digital plantea, así como sugerir principios y políticas referidas a ellos en el citado contexto. Con ello, también, proponer un marco de referencia para la acción de los poderes públicos de forma que, siendo compartida por todos, permita navegar en el entorno digital en que nos encontramos aprovechando y desarrollando todas sus potencialidades y oportunidades y conjurando sus riesgos. Y contribuir a los procesos de reflexión que se están produciendo a nivel europeo y, con ello, liderar un proceso imprescindible a nivel global para garantizar una digitalización humanista, que ponga a las personas en el centro”[6].
A nuestro juicio, lo necesario es, precisamente, entre otras cosas, convertir en auténticas normas jurídicas mandatos y prohibiciones específicos que garanticen un acceso claro y manejable a los datos personales que se usan así como el derecho a compartirlos o transferirlos de manera sencilla; el establecimiento de mecanismos eficaces para combatir las discriminaciones y los sesgos, con especial atención a la protección de las personas y los grupos vulnerables; la regulación del uso de las tecnologías de IA por parte de las autoridades policiales y judiciales así como del registro y la vigilancia humana a través de sistemas de identificación biométrica remota; el régimen de responsabilidad y rendición de cuentas, los derechos de propiedad intelectual derivados del uso de tecnologías relativas a la IA y los derechos de los usuarios y consumidores; las obligaciones de los desarrolladores y desplegadores de la IA; el sistema de recursos frente a decisiones tomadas por sistemas de IA; el régimen de uso de las tecnologías de IA en el ámbito de la defensa y la seguridad; la regulación del empleo de la IA para los diferentes sistemas de transporte, en particular para la autorización de los vehículos autónomos; el establecimiento de una autoridad nacional de control…
Por eso, se echa en falta en la ENIA una mayor concreción de las reformas normativas necesarias -“todo sistema de Inteligencia Artificial, debe respetar los derechos fundamentales, equidad en el acceso y prevención contra la discriminación, así como también los derechos del mundo “analógico”. También se apostará por un impulso normativo de revisión y reformas legislativas para la plena habilitación y operatividad del nuevo escenario tecnológico dentro de un marco democrático-“ (p.66), al menos de los concretos ámbitos iusfundamentales en los que se consideran necesarias, pues siendo imprescindible un marco europeo es también necesario actualizar el Derecho nacional. Obviamente, además de precisar las modificaciones precisas es imprescindible un impulso político e institucional para llevarlas a cabo.
A este respecto, y como muestra de una Carta con “valor jurídico”, cabe mencionar la aprobación, mediante la Lei n.º 27/2021 de 17 de mayo, de la Carta Portuguesa de Direitos Humanos na Era Digital, que incluye, además de la proyección de derechos clásicos, como las libertades de expresión, manifestación, asociación o participación, en el mundo digital, y de reconocer derechos recientes, como el derecho al olvido y la protección contra la geolocalización abusiva, el uso de la inteligencia artificial y los robots:
“1. El uso de la inteligencia artificial se guiará por el respeto a los derechos fundamentales, garantizando un justo equilibrio entre los principios de explicabilidad, seguridad, transparencia y responsabilidad, teniendo en cuenta las circunstancias de cada caso concreto y estableciendo procesos para evitar prejuicios y discriminaciones. 2 - Las decisiones tomadas mediante algoritmos que tengan un impacto significativo en los destinatarios deberán ser comunicadas a los interesados, ser susceptibles de recurso y ser auditables en los términos previstos por la ley. 3 - Los principios de beneficencia, no maleficencia, respeto a la autonomía humana y justicia, así como los principios y valores consagrados en el artículo 2 del Tratado de la Unión Europea, a saber, la no discriminación y la tolerancia, se aplicarán a la creación y utilización de robots” (artículo 9).
En todo caso, las regulaciones nacionales, en el entorno europeo, deben insertarse en un auténtico marco jurídico común, que vaya más allá de las recomendaciones y las indicaciones de tipo ético, no en vano en este ámbito juega un papel especialmente relevante el principio de precaución, que guía la legislación de la Unión Europea[7] y que, por citar otro ejemplo, puede encontrarse en el enunciado del artículo 18.4 de la Constitución española (“La ley limitará el uso de la informática para garantizar el honor y la intimidad personal y familiar de los ciudadanos y el pleno ejercicio de sus derechos”), aunque hay quien defiende que en este ámbito -y en otros de similar complejidad como la investigación embrionaria humana- debe postularse la superación de la distinción entre Derecho duro vinculante y Derecho blando no vinculante (hard y soft law) como la mejor opción para una eventual regulación internacional de IA (García San José, 2021, 261).
Además de la vertiente acabada de comentar, la IA y las tecnologías conexas permean tres principios estructurales del Estado: su carácter de Estado de Derecho, su condición de Estado democrático y la garantía del Estado social, cuestiones a las que nos referiremos en las siguientes líneas.
2.- Estado de derecho e inteligencia artificial [arriba]
En lo que al Estado de Derecho se refiere, el uso de la IA debe, primero, someterse al principio de legalidad, tanto en el sentido amplio de este término, entendido como principio de juridicidad o sumisión a normas jurídicas, como, en su caso, en el sentido más preciso de regulación por leyes. Aquí nos encontramos con diferentes retos, aunque el principal sería, hay que insistir en ello, el de sujetar a disposiciones jurídicas y no meramente a dictados éticos el desarrollo, el despliegue y el uso de la IA. Al respecto el Parlamento Europeo ha sido claro: “los legisladores deben abordar los riesgos que plantea actualmente la toma de decisiones basada en la IA” y pide “un entorno normativo para la IA que proporcione una gobernanza eficaz y garantice la protección de los derechos fundamentales” (párrafo 16 de la Resolución sobre la inteligencia artificial en la era digital). En esa línea, conforme al “Eje estratégico 6” de la ENIA española, aunque se sigue apelando a la ética, se propone establecer un marco ético y normativo que refuerce la protección de los derechos individuales y colectivos, a efectos de garantizar la inclusión y el bienestar social[8].
Ahora bien, y volviendo a la Resolución sobre la IA en la era digital, “el nivel de la intervención reguladora debe ser proporcional al tipo de riesgo individual o social que entraña el uso de un sistema de IA; subraya, a este respecto, la importancia de distinguir entre casos de uso de la IA de «alto riesgo» y de «bajo riesgo»; concluye que la primera categoría requiere más salvaguardias legislativas estrictas, mientras que la segunda, en muchos casos requerirá requisitos de transparencia para los usuarios finales y los consumidores” (párrafos 298 y 133).
Y por citar aquí también una normativa jurídica ya en vigor, cabe mencionar la canadiense Directive sur la prise de décisions automatisée/ Directive on Automated Decision-Making, de 1 de abril de 2019[9], que tiene por objeto garantizar que los sistemas automatizados de toma de decisiones se desplieguen de manera que se reduzcan los riesgos para la ciudadanía y las instituciones gubernamentales y den lugar a una toma de decisiones más eficaz, precisa y conforme a la legislación canadiense. Esta norma prevé, entre otras cosas, que se aplicará a cualquier sistema, herramienta o modelo estadístico utilizado para recomendar o tomar una decisión administrativa y a cualquier sistema de toma de decisiones automatizado desarrollado o adquirido después del 1 de abril de 2020. También que se publicarán, a través de todos los canales de prestación de servicios utilizados, avisos, en un lenguaje sencillo y en un lugar destacado, de que la decisión tomada se realizará en su totalidad o en parte mediante un sistema automatizado de apoyo a la decisión.
La Ley establece que, como regla, habrá que hacer público cualquier código fuente que tenga el Gobierno de Canadá y contempla medidas preventivas y de control: por una parte, antes de poner en marcha la producción de un sistema automatizado se deben desarrollar procesos para que los datos y la información utilizados se sometan a pruebas para detectar sesgos involuntarios en los datos y otros factores que puedan afectar injustamente a los resultados; por otra parte, se deben desarrollar procesos para supervisar los resultados de los sistemas de decisión automatizados que eviten los resultados involuntarios y permitan verificar el cumplimiento de la legislación reguladora de forma programada. Finalmente, se garantiza que el sistema automatizado de toma de decisiones permita la intervención humana cuando sea necesario así como la obligación de proporcionar a los usuarios todas las opciones de recurso disponibles para impugnar la toma de decisiones administrativas automatizadas.
En segundo lugar, y parafraseando el título de un trabajo de Cerrillo i Martínez (2019), es necesario “abrir las cajas negras” que ocultan el uso de la IA por parte de las Administraciones públicas y ello como una garantía adicional del respeto a varios de los principios proclamados en el artículo 9.3 CE y que son consustanciales al Estado de Derecho: el de legalidad, el de la publicidad de las normas, la seguridad jurídica, la responsabilidad y la interdicción de la arbitrariedad de los poderes públicos. Además, y como recuerda Carles Ramió (2018), la falta de transparencia puede ser un problema de singular importancia debido al relevante liderazgo del sector privado en el desarrollo de aplicaciones basadas en el uso de algoritmos, lo que, además de reforzar la dependencia de las entidades privadas pudiera suponer un problema de cierta gravedad a la hora de negociar las condiciones contractuales. Julián Valero (2019, 89) propone inspirarse en el ejemplo de la Ley francesa 2016-1321, de 7 de octubre, donde la regulación específica sobre la inteligencia artificial parte de la distinción entre la existencia de una solicitud de acceso o de una obligación de publicidad activa de las Administraciones públicas, que exige difundir las reglas esenciales en las que se basan los algoritmos.
En suma, la ciudadanía debe de poder conocer tanto los proyectos dirigidos a la introducción de IA como los sujetos, públicos o privados, que los van a desarrollar; también, de dónde van a salir los datos, cómo se van a captar, los plazos de ejecución de los proyectos y los resultados esperados y la inversión económica que requerirán, y todo ello de la manera más sencilla posible (Velasco Rico, 2019, 78).
En tercer lugar, y muy relacionado con lo que se acaba de comentar, la IA puede contribuir de manera muy relevante a dar efectividad al derecho a una buena administración, reconocido de manera expresa en el artículo 41 Carta de Derechos Fundamentales de la Unión Europea y que puede entenderse implícitamente incluido también, por citar otro ejemplo, en el artículo 9.3 de la Constitución española. A este respecto, el Consejo de Estado italiano declaró, en la sentencia 2270, de 8 de abril de 2019, que
“"en general, no se puede discutir que un mayor nivel de digitalización de la Administración Pública es fundamental para mejorar la calidad de los servicios prestados a los ciudadanos y usuarios... hay que destacar las indudables ventajas que se derivan de la automatización del proceso de toma de decisiones de la administración mediante el uso de un procedimiento digital y a través de un "algoritmo" -es decir, una secuencia ordenada de operaciones de cálculo- capaz de evaluar y calificar electrónicamente una multitud de solicitudes.
La utilidad de este modo operativo de gestión del interés público es especialmente evidente en lo que se refiere a los procedimientos seriados o normalizados, que implican la tramitación de un gran número de solicitudes y se caracterizan por la obtención de datos ciertos y objetivamente verificables y la ausencia de toda apreciación discrecional.
Ello, en efecto, se ajusta a los cánones de eficacia y economía de la actuación administrativa, que, de acuerdo con el principio constitucional de buen funcionamiento de la actuación administrativa (artículo 97 de la Constitución), exigen a la Administración la consecución de sus fines con el menor gasto de medios y recursos y a través de la agilización y aceleración del iter procedimental…”
Señala Ponce Solé (2019b, 56) que el desarrollo de la tecnología puede facilitar el proceso de la personalización y la anticipación en la prestación de los servicios públicos y reducir de forma significativa algunas de las barreras que tradicionalmente han dificultado este proceso, no siendo la masificación ya un obstáculo.
En cuarto término, sigue vigente el reto de sujetar a control jurisdiccional la actuación administrativa que se sirva de la IA (DE LA SIERRA MORÓN, 2020, 2022) y las iniciativas que pretenden llevar a cabo en España tanto el Ministerio de Trabajo como la Agencia Tributaria española podrían ser unas buenas muestras; así, por citar el primer ejemplo, según la Resolución de 29 de noviembre de 2021, de la Secretaría de Estado de Empleo y Economía Social, por la que se publica el Acuerdo de Consejo de Ministros de 16 de noviembre de 2021 por el que se aprueba el Plan Estratégico de la Inspección de Trabajo y Seguridad Social 2021-2023, “se utilizarán modelos predictivos, mediante la implementación de inteligencia artificial en la Herramienta de Lucha contra el Fraude, para la planificación de actuaciones en materia de seguridad y salud laboral, como se desarrolla en el Eje 3 de este Plan, relativo al fortalecimiento y modernización de la ITSS… Se mejorará la explotación de información y datos, a través de la inteligencia artificial, para planificar actuaciones de control del trabajo no declarado… Se introducirán técnicas de inteligencia artificial para tratar toda la información recibida en el Buzón y hacerla útil para la planificación de la actividad inspectora…”
No obstante, debe tenerse en cuenta que “el uso de algoritmos, la clasificación de los sujetos mediante perfiles de riesgo de incumplimiento y el tratamiento de datos de forma automatizada… con objeto de seleccionar las empresas a inspeccionar puede plantear múltiples problemas jurídicos. De un lado, las normas de protección de datos y, de otro, las normas antidiscriminación y de protección de la intimidad pueden suponer límites jurídicos al uso de estas técnicas” (Todolí Signes, 2020, 317).
En todo caso, y como señala HUERGO LORA, 2021, 91 y ss.), siempre que la predicción algorítmica “aporte algo, tiene que estar sometida a control. Utilizando las categorías bien conocidas, en estos casos la predicción algorítmica y, como fundamento de ella, el algoritmo, forman parte del expediente administrativo y, como tal, está sometida a control (que, en el caso del contencioso-administrativo, incluye su entrega a las partes para formalizar la demanda o la contestación). Ese control jurisdiccional será más fácil o más difícil, pero, en esencia, no se distingue demasiado del que ejercen los jueces y tribunales sobre otro tipo de tecnologías que también utiliza la Administración y que están sometidas a esa verificación, que normalmente se lleva a cabo con la ayuda de informes periciales.
Si los jueces se pronuncian todos los días sobre actos administrativos que están basados en juicios técnicos de tipo económico (por ejemplo, los relativos a la resolución, modificación o liquidación de concesiones administrativas), químico (en evaluaciones ambientales o autorizaciones ambientales integradas, o en procedimientos sancionadores sobre estas materias), médico (responsabilidad patrimonial de la Administración) o de ingeniería (cumplimiento de contratos de obra), ¿por qué no habrían de pronunciarse sobre actos administrativos que utilizan predicciones algorítmicas? Y, si el juez llega a la conclusión de que los elementos que se le suministran no le permiten saber si “el algoritmo” discrimina o no, o si utiliza parámetros que no deberían tenerse en cuenta en esa decisión administrativa, creo que la respuesta más probable será anular esa decisión. Pero, en mi opinión, el marco argumental del control jurídico del uso de la inteligencia artificial por la Administración debería ser éste, es decir, el de someter los sistemas de inteligencia artificial a control jurídico allí donde contribuyan a determinar el contenido de la actuación administrativa”.
Sobre estas cuestiones puede ser ilustrativo el conocido caso SyRI (acrónimo de System Risk Indication), el sistema que empleaba el Ministerio de Asuntos Sociales y Empleo de los Países Bajos para rastrear posibles fraudes al Estado a partir de la agregación de datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integración, educación, deudas o subsidio de desempleo de los contribuyentes. Esos datos se comparaban luego con un perfil de riesgo creado a partir de la información de quienes ya habían cometido fraude y se elaborada una lista de personas que se podía conservar hasta dos años. Pues bien, la Corte de Distrito de La Haya sentenció el 5 de febrero de 2020 que, si bien es lícito acudir a herramientas de este tipo si concurre un interés público que lo justifique y se han adoptado las medidas oportunas para que la injerencia sea la menos posibles en la vida privada de las personas investigadas, en el caso concreto concluyó que el sistema SyRI no ofrecía suficientes garantías y no respetaba el principio de proporcionalidad requerido para su compatibilidad con el derecho a la vida privada amparado por el artículo 8 del Convenio Europeo de Derechos Humanos.
El órgano judicial tuvo en cuenta también que la normativa aplicable no ofrecía información alguna sobre cómo determinados datos o circunstancias podían implicar un incremento del riesgo ni era posible comprobar cómo se formaba un perfil de riesgo o cómo resultaba el tratamiento de datos de aquellas personas que no derivan en perfiles de riesgo. Y es llamativo que el Gobierno holandés alegara que el funcionamiento del algoritmo debía ser oscuro, pues de lo contrario no se obtendrían datos masivos sobre el comportamiento de los ciudadanos de la suficiente calidad ya que éstos ajustarían su comportamiento a los parámetros del algoritmo empleado (LAZCOZ Y CASTILLO, 2020, 217 y ss).
El caso SyRI puede también valorarse como una muestra de la relevancia del control jurisdiccional como garantía frente al uso abusivo de la IA, pero, además, es necesario un control social por parte de la ciudadanía y para ello es imprescindible, por una parte, que, como se comentará más adelante, dicha ciudadanía tenga formación adecuada en la materia y, además, que disponga de la información precisa, algo que forma parte del Eje 5 de la ENIA –“se mejorará la calidad de los datos aportados y su accesibilidad, fomentando la cultura de orientación al dato, utilizando algoritmos transparentes y explicables, estrechando la relación entre la Administración y la ciudadanía” (p. 57)- y que está por ver si se convierte en realidad.
Y volviendo a la posibilidad de control jurisdiccional, también deben estar sometidas al mismo las decisiones de las autoridades administrativas independientes que, a su vez y de acuerdo con las propuestas de las instituciones europeas, actúen como autoridades nacionales de control sobre la aplicación de la IA.
En quinto lugar, es inherente al Estado de Derecho la garantía de una serie de derechos, inicialmente de índole “civil” y ahora también de carácter democrático y social, y, como hemos visto con más detalle en páginas anteriores, poca duda cabe sobre la necesidad de asegurar el disfrute de tales derechos en un contexto dominado por la IA.
3.- Estado democrático e inteligencia artificial [arriba]
Por lo que hace relación con el principio estructural del Estado democrático, es sabido que son consustanciales al mismo el reconocimiento del pluralismo de los grupos y las asociaciones, el respeto a las minorías y la participación ciudadana en las diferentes funciones del Estado (legislativa, ejecutiva, jurisdiccional), participación que es al tiempo un derecho fundamental y un mandato de actuación para los poderes públicos, como se evidencia, por ejemplo, en el artículo 9.2 de la Constitución española, en la línea, a su vez, del artículo 3.2 de la Constitución italiana.
En este ámbito, y en primer lugar, la IA es susceptible de ser aplicada en los procesos en los que la ciudadanía está llamada a participar en la elaboración de normas jurídicas y ello tanto para obtener datos e informaciones que puedan ser tenidos en cuenta en la decisión pública final como para valorar si se ha llegado a cabo un auténtico proceso participativo, pues uno de los riesgos del uso de la IA radica, precisamente, en la desigual capacidad de intervención ciudadana[10]. En la Declaración de Tallin sobre la administración electrónica, de 6 de octubre de 2017, se asume el compromiso de “que los medios digitales se utilicen para dar voz a los ciudadanos y a las empresas, permitiendo a quienes toman las decisiones políticas recabar nuevas ideas, implicar en mayor medida a los ciudadanos cuando se trata de la creación de servicios públicos y proporcionar mejores servicios públicos digitales”.
En segundo término, y en lo que tiene que ver con la aplicación de sistemas de IA en los procesos políticos de selección de representantes y de adopción de decisiones (referendos), la cuestión decisiva es si con ello se contribuye a mejorar la calidad de los antedichos procesos participativos, es decir, si garantizando requisitos esenciales del derecho de participación -que se ejerza de manera universal, libre, igual, directa y secreta-, facilita su ejercicio y aporta más transparencia y confianza a la ciudadanía, “con el fin de ampliar el debate político y favorecer una mejor y más legítima adopción de las decisiones políticas” (Principio nº 6 del Anexo a la Recomendación del Comité de Ministros del Consejo de Europa a los Estados miembros sobre la democracia electrónica (e-democracia), adoptada el 18 de febrero 2009), sin olvidar que más y mejor tecnología no conduce por sí misma a más y mejor democracia (Principio nº 49).
En esta línea, la Resolución del Parlamento Europeo, de 16 de marzo de 2017, sobre la democracia digital en la Unión Europea: posibilidades y retos (2016/2008(INI):
“1. Subraya las potenciales ventajas de la democracia digital, que se define como el apoyo y el refuerzo de la democracia tradicional por medio de las tecnologías de la información y la comunicación (TIC) y que puede complementar y reforzar los procesos democráticos añadiendo elementos de empoderamiento de los ciudadanos a través de diversas actividades en línea que incluyen, entre otras cosas, la administración pública electrónica, la gobernanza electrónica, la deliberación electrónica, la participación electrónica y la votación electrónica; acoge con satisfacción que las nuevas tecnologías de la información y la comunicación (TIC) permitan a un número de ciudadanos cada vez mayor participar en los procesos democráticos…
3. … señala que la democracia digital por sí misma no garantiza la participación política y que también debe abordarse un entorno no digital al objeto de procurar la participación política de los ciudadanos en paralelo a la democracia digital;
35. Destaca la necesidad de proteger, con carácter prioritario, la intimidad y los datos personales cuando se utilicen herramientas de democracia digital, y de fomentar un entorno más seguro en Internet, en particular por lo que se refiere a la seguridad de la información y de los datos, incluido el «derecho al olvido», así como de ofrecer garantías frente al software de vigilancia y la verificabilidad de las fuentes; pide, además, un mayor uso de los servicios digitales basados en habilitadores clave, como una identidad digital segura…; aboga por la creación de registros públicos digitales seguros y la validación de las firmas electrónicas para evitar interacciones fraudulentas múltiples, en consonancia con las normas de derechos humanos europeas e internacionales y con la jurisprudencia del Tribunal Europeo de Derechos Humanos y del Tribunal de Justicia de la Unión Europea; subraya, por último, que los problemas de seguridad no deben convertirse en un elemento disuasorio para la inclusión de individuos y grupos en los procesos democráticos
36. Insiste en la necesidad de mejorar la democracia a través de la tecnología, que debe usarse en un entorno seguro que esté a salvo del mal uso de las herramientas tecnológicas (por ejemplo, robots para el envío de correo basura, elaboración anónima de perfiles y usurpación de identidad), y recuerda la necesidad de respetar las normas jurídicas más exigentes…”
Es sabido que en España y en otros Estados las herramientas electrónicas ya se vienen usando para, por citar algunos ejemplos, agilizar el recuento de cualquier proceso electoral o consulta popular o facilitar la recogida de firmas en una iniciativa ciudadana, pero, a diferencia de lo que ha ocurrido en Estonia, ni el voto electrónico ni, menos todavía, un sistema de votación basado en la tecnología blockchain, han generado de momento expectativas amplias ni parecen augurar resultados que sean, en términos participativos, mucho mejores que los mecanismos ahora existentes[11].
Y volviendo a la IA, la varias veces mencionada Resolución del Parlamento Europeo sobre la inteligencia artificial en la era digital observa que “las plataformas tecnológicas dominantes hoy en día no solo tienen un importante control sobre el acceso a la información y su distribución, sino que también utilizan tecnologías de IA para obtener más información sobre la identidad y el comportamiento de una persona, y el conocimiento de su historial de decisiones; considera que esta elaboración de perfiles plantea riesgos para los sistemas democráticos, así como para la salvaguardia de los derechos fundamentales y la autonomía de los ciudadanos; destaca que esto genera un desequilibrio de poder y plantea riesgos sistémicos que podrían afectar a la democracia”.
Señala también que “las plataformas digitales pueden ser utilizadas, también mediante aplicaciones de marketing basadas en la IA, por la injerencia extranjera y para difundir desinformación y ultrafalsificaciones, actuando como redes de propaganda, troleo y acoso con el objetivo de socavar los procesos electorales; destaca que el aprendizaje automático permite, en particular, el uso selectivo de datos personales para manipular a votantes que no sean conscientes de ello, creando mensajes personalizados y convincentes; hace hincapié en la importancia de unas estrictas obligaciones de transparencia que se hagan cumplir de manera efectiva” (párrafos 90 y 91)
4.- Estado social e inteligencia artificial [arriba]
Finalmente, y a propósito del carácter social del Estado, la dimensión prestacional que lo caracteriza, así como la búsqueda de la mayor igualdad real posible, deben, como ya se ha dicho antes, evitar que en la era digital se consoliden sesgos que pueden afectar y discriminar a numerosas personas y a grupos sociales. Aquí no nos cansaremos de insistir en la necesidad de articular, especialmente para los poderes públicos, prescripciones normativas que establezcan obligaciones precisas y no meras políticas de fomento y promoción, como, por ejemplo, las incluidas en la reciente Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, cuyo artículo 23 dispone: “1. En el marco de la Estrategia Nacional de Inteligencia Artificial, de la Carta de Derechos Digitales y de las iniciativas europeas en torno a la Inteligencia Artificial, las administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las administraciones públicas tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio. 2. Las administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos. 3. Las administraciones públicas y las empresas promoverán el uso de una Inteligencia Artificial ética, confiable y respetuosa con los derechos fundamentales, siguiendo especialmente las recomendaciones de la Unión Europea en este sentido...”
En segundo lugar, y en lo que respecta al propio acceso de la ciudadanía al mundo digital, su efectividad dependerá también de las actuaciones formativas y de las dotaciones económicas que aporten los poderes públicos y, en tal sentido, cabría interpretar que tienen un claro contenido prestacional. En esta línea, la Resolución del Parlamento Europeo de 3 de mayo de 2022 “pide a los Estados miembros que hagan de las capacidades y la alfabetización digitales un componente de la educación básica y el aprendizaje permanente; pide un sistema educativo en materia de IA de alto rendimiento que fomente la alfabetización, las capacidades y la resiliencia digitales desde una edad temprana, comenzando en la educación primaria; hace hincapié en que el desarrollo de planes de estudios eficaces para la educación digital requiere voluntad política, recursos suficientes e investigación científica; pide a la Comisión que promueva la introducción de cursos de competencias computacionales y de IA en todas las escuelas, universidades e instituciones educativas europeas; recalca que dicho desarrollo de capacidades es necesario en la misma medida en la educación de adultos que en la educación primaria y secundaria; solicita una iniciativa política global y coherente de la Comisión y de los Estados miembros sobre las capacidades y la educación en materia de IA a escala de la Unión, así como una iniciativa legislativa sobre la IA en el lugar de trabajo” (párrafo 205).
Por su parte la ENIA subraya “la necesidad de crear una ciudadanía capacitada, que pueda entender las opciones y decisiones de los sistemas “inteligentes”. La formación en materia de competencias digitales debe abordarse desde la Educación Infantil, incluyendo la formación en pensamiento computacional, con el fin de crear una sociedad culta en tecnologías digitales fomentar las vocaciones STEM y reducir la brecha de género. En los niveles de Formación Profesional (FP) y la Universidad se debe realizar un mayor esfuerzo educativo en IA para garantizar que toda la ciudadanía tenga una base de pensamiento computacional… La inclusión de la IA en el entorno formativo no se puede ni debe restringir únicamente hacia áreas relacionadas con las ciencias, la tecnología, las ingenierías y las matemáticas (STEM, por sus siglas en inglés) sino que tiene que incluir componentes humanísticos y de las ciencias sociales (STEAM) para abordar los diferentes aspectos relevantes en la IA, con un enfoque interdisciplinar” (p. 31).
Además, la dimensión social de los derechos, unida al principio democrático, da una nueva perspectiva a la eficacia de éstos, que no sólo ha de ser vertical (frente a los poderes públicos), sino, al menos en algunos casos, también horizontal (entre individuos, dentro de la sociedad) y ahí deben tenerse también en cuenta la informática, la IA, la robótica y las tecnologías conexas y su incidencia en las relaciones laborales y en el ámbito del Derecho del consumo.
Por lo que respecta a las primeras, si se utiliza la IA en el trabajo los empleadores deben ser transparentes sobre la misma y su influencia en las condiciones laborales, debiendo informar a los trabajadores y a sus representantes antes de utilizar dispositivos y prácticas basados en la IA. En España, a través de la modificación introducida en el artículo 64 del Estatuto de los Trabajadores por el artículo único de la Ley 12/2021, de 28 de septiembre (la llamada ley rider) para garantizar los derechos laborales de las personas dedicadas al reparto en el ámbito de plataformas digitales, se ha ampliado el derecho al comité de empresa que, conforme al apartado 4.d, “con la periodicidad que proceda en cada caso, tendrá derecho a… ser informado por la empresa de los parámetros, reglas e instrucciones en los que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que pueden incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo, incluida la elaboración de perfiles” .
En lo que hace referencia al segundo ámbito, los consumidores deben contar con normas especiales de protección, deben ser informados si están interactuando con un dispositivo de IA y, en su caso, deberá estar disponible algún mecanismo de revisión humana del mismo; además, habría que facilitarles medios para combatir la vigilancia comercial o la fijación de precios personalizada, que puede ser una forma encubierta para la aplicación discriminatoria de tarifas . Un sector especialmente sensible, y al que por tanto habría que prestar especial atención, es el de los seguros, donde a las indudables ventajas que aportan la IA y las tecnologías conexas (mejorar la precisión de la prima, simplificar la tramitación, reducir el fraude, acelerar la liquidación se siniestros…) hay que sumar un buen número de importantes riesgos (intromisión en la vida privada, menos transparencia, exclusión de personas como resultado de la individualización del riesgo, posibles discriminaciones…) (MUÑOZ PAREDES, 2020, 141 y ss.)
Arroyo Jiménez, L. (2017): “Participación electrónica y elaboración de normas administrativas en España y en los Estados Unidos de América”, en Martín Delgado, I. (dir.) La reforma de la administración electrónica: una oportunidad para la innovación desde el derecho, Madrid, INAP, pp. 231-258.
Balaguer Callejón, F. (2021): “La constitución del algoritmo. El difícil encaje de la constitución analógica en el mundo digital”, en Nascimento Gomes, A. Y OTROS (coords.) Direito Constitucional: diálogos em homenagem ao 80º aniversário de J. J. Gomes Canotilho, Belo Horizonte: Fórum.
Canals i Ametller, D. (2019): “Incidencia del avance tecnológico en el Derecho Público (elaboración, práctica, docencia e investigación”, en PUENTES COCIÑA, B./QUINTIÁ PASTRANA, A. (coord..s) El Derecho ante la transformación digital: oportunidades, riesgos y garantías, Barcelona, Atelier, pp. 31-50.
Castellanos Claramunt, j. (2020): Participación ciudadana y buen gobierno democrático: posibilidades y límites en la era digital, Madrid, Marcial Pons.
Cerrillo i Martínez, A. (2019): “Com obrir les caixes negres de les administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes”, Revista Catalana de Dret Públic, núm. 58), pp. 13-28.
DE GREGORIO, G. (2022): Digital Constitutionalism in Europe Reframing Rights and Powers in the Algorithmic Society, Cambridge University Press.
DE LA SIERRA MORÓN, S. (2020): “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la Administración Pública”, Revista General de Derecho Administrativo, núm. 53.
huergo Lora, a. (dir.))/Díaz González, G. M. (coordinador) (2020): La regulación de los algoritmos, Thomson Reuters, pp. 181-234.
Gamero Casado, E. (2018): “El Derecho Digital a participar en los asuntos públicos: redes sociales y otros canales de expresión”, en de la Quadra-Salcedo, T./Piñar Mañas, J. L. (dirs.) Sociedad Digital y Derecho, Madrid, BOE/Red.es, pp. 225-236.
García Majado, P./Presno Linera, M. Á. (2022): “Democracia local y tecnología blockchain”, en Díaz González, g. m. (dir.) Blockchain y Gobiernos locales, Madrid, Fundación Democracia y gobierno local, pp. 237-274.
GARCÍA SAN JOSÉ, D. (2021): La Europa de los derechos ante los avances científicos y tecnológicos, Valencia, Tirant lo Blanch.
Hernández Ramos, M. (2021): Una mirada a la inteligencia artificial desde el Derecho constitucional, inédito.
HUERGO LORA, A. (2021): “Administraciones Públicas e inteligencia artificial: ¿más o menos discrecionalidad?”, El Cronista del Estado Social y Democrático de Derecho, núm. 96-97, pp. 78-95.
LAZCOZ MORATINOS, G./CASTILLO PARRILA, J. A. (2020): “Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: El caso SyRI”, Revista Chilena de Derecho y Tecnología, vol. 9, núm. 1, pp. 207-225.
MUÑOZ PAREDES, M. L. (2020): “Big data y contrato de seguro: los datos generados por los asegurados y su utilización por los aseguradores”; en HUERGO LORA, A. (dir.))/DÍAZ GONZÁLEZ, G. M. (coordinador) La regulación de los algoritmos, Thomson Reuters, pp. 129-162.
Presno Linera, M. Á. (2022): Libre desarrollo de la personalidad y derechos fundamentales, Madrid, Marcial Pons.
Psychogiopoulou, E./de la Sierra Morón, S. (eds.) (2022): Digital Media Governance and Supranational Courts, Edward Elgar.
PUENTES COCIÑA, B./QUINTIÁ PASTRANA, A. (coords.) (2019): El Derecho ante la transformación digital: oportunidades, riesgos y garantías, Barcelona, Atelier.
RAMIÓ, C. (2018): Inteligencia artificial y Administración pública. Robots y humanos compartiendo el servicio público, Madrid, Catarata.
Reche Tello, n. (2021): “Nuevos derechos frente a la neurotecnología: la experiencia chilena”, Revista de Derecho Político UNED, núm. 112, pp. 415-446.
Sánchez Barrilao, J. F. (2018): “Derecho constitucional, desarrollo informático e inteligencia artificial: aproximación a la propuesta del Parlamento Europeo a favor de una regulación sobre robótica”, en AA.VV. Retos jurídicos por la sociedad digital, Cizur Menos, Thomson Reuters/Aranzadi, pp. 21-76.
Sánchez Martínez, M. O. (2020): “Desafíos democráticos en el ecosistema digital”, en Solar Cayón, J. I (ed.) Dimensiones éticas y jurídicas de la inteligencia artificial en el marco del Estado de Derecho, Universidad de Alcalá/Defensor del Pueblo, pp. 97-119.
Sarrión Esteve, J. (2020): “El derecho constitucional en la era de la inteligencia artificial, los robots y los drones”, en Pérez Miras, A. Y OTROS (dirs.), Setenta años de Constitución Italiana y cuarenta años de Constitución Española, Madrid, CEPC, I, pp. 321-334.
Todolí Signes, A. (2020): “Retos legales del uso del big data en la selección de sujetos a investigar por la Inspección de Trabajo y de la Seguridad Social”, Revista Galega de Administración Pública, núm. 59, pp. 313-337.
Valero Torrijos, J. (2019): “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, núm. 58, pp. 82-96.
VELASCO RICO, C. “Vigilando al algoritmo. Propuestas organizativas para garantizar la transparencia”, en PUENTES COCIÑA, B./QUINTIÁ PASTRANA, A. (coords.) El Derecho ante la transformación digital: oportunidades, riesgos y garantías, Barcelona, Atelier, pp. 73-90.
YUSTE, R. Y OTROS “It´s time for Neuro-Rights?”, Horizons, núm. 18, https://www.cirsd.org/e n/horizons/horizo ns-winter-2021-i ssue-n o-18/its-time-f or-neuro--rights
[1] Me ocupé con más detalle de estas cuestiones en Derecho fundamentales e inteligencia artificial, Marcial Pons, Madrid, 2022.
[2] Catedrático de Derecho constitucional. Universidad de Oviedo. orcid: https://orcid.org/0000-0002-0033-6159; correos: presno@uniovi.es; presnolinera@gmail.com blog El Derecho y el revés: http://presnolin era.word press.com; twitter: @PresnoLinera; página web académica http://presnolinera.wix.com/presnolinera
[3] Cabe mencionar la NeuroRights Initiative, que ha sido promovida por el Centro de Neurotecnología de la Universidad de Columbia, y que aspira a que se reconozcan, en el plano internacional y nacional, los siguientes derechos: 1) el derecho a la identidad, evitando el riesgo de control externo de la integridad física y mental; 2) el derecho a la libertad de pensamiento y el libre albedrío para elegir las propias acciones frente a manipulaciones externas; 3) el derecho a la privacidad mental como capacidad de mantener los propios pensamientos protegidos frente a divulgaciones no consentidas; 4) el derecho a que los beneficios de las mejoras de la capacidad sensorial y mental a través de la neurotecnología se distribuyan de forma justa entre toda la población, y 5) el derecho a la protección contra el sesgo algorítmico, o la capacidad de garantizar que las tecnologías no introduzcan prejuicios; al respecto, YUSTE, R. Y OTROS “It´s time for Neuro-Rights?”, Horizons, núm. 18, https://www.cirsd.org/en/horizons/horizons-winter-2021-issue-no-18/its-time-for-neuro--rights (a 20 de enero de 2023).
[4] Sobre la necesidad de atender a la incidencia de informática y la inteligencia artificial en nuestras constituciones, véanse, en la doctrina española, Sánchez Barrilao, J. F. (2018): “Derecho constitucional, desarrollo informático e inteligencia artificial: aproximación a la propuesta del Parlamento Europeo a favor de una regulación sobre robótica”, en VALLS PRIETO, J. (coord.) Retos jurídicos por la sociedad digital, Cizur Menor, Thomson Reuters/Aranzadi, pp. 21-76; Sarrión Esteve, j. (2020): “El derecho constitucional en la era de la inteligencia artificial, los robots y los drones”, en PÉREZ MIRAS Y OTROS (dirs.), Setenta años de Constitución Italiana y cuarenta años de Constitución Española, I, pp. 321-334; Balaguer Callejón, F. (2021): “La constitución del algoritmo. El difícil encaje de la constitución analógica en el mundo digital”, en Nascimento Gomes Y OTROS (coords.) Direito Constitucional: diálogos em homenagem ao 80º aniversário de J. J. Gomes Canotilho, Belo Horizonte, Fórum, 2021; Hernández Ramos, m. (2021): Una mirada a la inteligencia artificial desde el Derecho constitucional, texto inédito amablemente facilitado por el autor. Para un conocimiento exhaustivo en el ámbito europeo, VARIOS AUTORES (2021): Constitutional Challenges in the Algorithmic Society, Cambridge University Press; De Gregorio, G. (2022): Digital Constitutionalism in Europe Reframing Rights and Powers in the Algorithmic Society, Cambridge University Press.
[5] https://www.lam oncloa.gob.es/ presidente/activid ades/Documents /2021/140721-Ca rta_Derechos _Digitales_ RedEs.pdf (a 20 de enero de 2023).
[6] La Carta menciona la indudable base que supone el Título X de la vigente Ley Orgánica 3/2018, de 5 de diciembre, de protección de datos personales y garantía de los derechos digitales y el más reciente Real Decreto-ley 28/2020, de 22 de septiembre, de trabajo a distancia, el primero de los cuales regula el derecho a la neutralidad de Internet, el de acceso universal a Internet, el derecho a la seguridad digital, el derecho a la educación digital, la protección de los menores en Internet, el derecho de rectificación en Internet, el derecho a la actualización de informaciones en medios de comunicación digitales, el derecho a la intimidad y uso de dispositivos digitales en el ámbito laboral, el derecho a la desconexión digital en el ámbito laboral, el derecho a la intimidad frente al uso de dispositivos de videovigilancia y de grabación de sonidos en el lugar de trabajo, el derecho a la intimidad ante la utilización de sistemas de geolocalización en el ámbito laboral, los derechos digitales en la negociación colectiva, la protección de datos de los menores en Internet, el derecho al olvido en búsquedas de Internet y en servicios de redes sociales y servicios equivalentes, el derecho a la portabilidad en servicios de redes sociales y servicios equivalentes y el derecho al testamento digital.
[7] Así, en la Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica, se dice que “las actividades de investigación en el ámbito de la robótica deben llevarse a cabo de conformidad con el principio de precaución, anticipándose a los posibles impactos de sus resultados sobre la seguridad y adoptando las precauciones debidas, en función del nivel de protección, al tiempo que se fomenta el progreso en beneficio de la sociedad y del medio ambiente”.
[8] En particular, se dice que “el potencial impacto positivo del desarrollo y despliegue de la IA genera expectativas, pero también incertidumbres debidas a las implicaciones éticas, legales, sociales y económicas. Para que España pueda ponerse en la vanguardia política y social en esta revolución tecnológica es necesario crear el marco de actuación apropiado. Debemos evaluar si nuestras normas de convivencia están adaptadas a las necesidades del momento, si es suficiente con el marco ético y jurídico que nos ha acompañado hasta hoy o qué ajustes y revisiones necesita para preservar los derechos de la ciudadanía en un mundo digital y anteponer objetivos éticos y democráticos al desarrollo de la IA”; p. 19.
[9] https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=32592 (a 20 de enero de 2023).
[10] Canals i Ametller, d.: “Incidencia del avance tecnológico en el Derecho Público (elaboración, práctica, docencia e investigación”, en PUENTES COCIÑA, B./QUINTIÁ PASTRANA, A. (coord..s) El Derecho ante la transformación digital: oportunidades, riesgos y garantías, Barcelona, Atelier, pp. 42 y 43; con carácter más general, Gamero Casado, e. (2018): “El Derecho Digital a participar en los asuntos públicos: redes sociales y otros canales de expresión”, en DE LA CUADRA SALCEDO, T./Piñar Mañas, J. L. (dirs.) Sociedad Digital y Derecho, Madrid, BOE/Red.es, pp. 225-236; sobre las experiencias en España y Estados Unidos, Arroyo Jiménez, l. (2017): “Participación electrónica y elaboración de normas administrativas en España y en los Estados Unidos de América”, en Martín Delgado, I. (dir.) La reforma de la administración electrónica: una oportunidad para la innovación desde el derecho, Madrid, INAP, pp. 231-258.
[11] Sobre el uso electoral de la tecnología blockchain, García Majado, p./Presno Linera, m. a. (2022): “Democracia local y tecnología blockchain”, en Díaz González, g. m. Blockchain y Gobiernos locales, Madrid, Fundación Democracia y gobierno local, pp. 237-274; en general, Castellanos Claramunt, j. (2020): Participación ciudadana y buen gobierno democrático: posibilidades y límites en la era digital, Madrid, Marcial Pons; Sánchez Martínez, m. o. (2020): “Desafíos democráticos en el ecosistema digital”, en Solar Cayón, J. I. (ed.) Dimensiones éticas y jurídicas de la inteligencia artificial en el marco del Estado de Derecho, Universidad de Alcalá/Defensor del Pueblo, pp. 79-119.
