El gran reto de la explicabilidad de la IA[1]

Eva Mª Menéndez Sebastián*

I. Introducción [arriba] 

Sin apenas darnos cuenta cuando desbloqueamos un Smartphone por reconocimiento facial, consultamos el correo electrónico del que se eliminan automáticamente los correos no deseados o utilizamos la escritura predictiva, en apenas unos minutos hemos usado varias herramientas que utilizan IA. Y en todo ello el Derecho juega un papel relevante, destacando el Derecho administrativo[2] cuando se trata del empleo de esta tecnología en el sector público, por ejemplo, cuando la frecuencia del transporte público se decide haciendo uso de IA o la prelación de las urgencias se decide con una algoritmo.

Aunque quizás la velocidad propia de los avances científicos y tecnológicos que rozan no ya la obsolescencia programada, sino inmediata, hagan necesaria la actualización permanente de estos ejemplos.

Que la IA ya está presente en nuestras vidas es un hecho[3], también que paradójicamente se proyecta hacia un futuro –incierto–, incierto por muchas razones no solo la propia del uso de la IA, pero que oscila entre el sueño de un mundo mejor, casi perfecto, y la pesadilla de la esclavitud de la humanidad por la máquina o el miedo a la manipulación mental[4].

Aún sin pecar de un excesivo optimismo, pero sí de una firme creencia en lo público (muy probablemente este sea ya un primer sesgo difícil de eludir), me inclino por incluirme dentro del colectivo de quienes quieren imaginar un mañana con mejores servicios públicos, con una Administración más eficaz, preocupada por los ciudadanos, que, apuesta proactivamente por la innovación, pero sin descuidar las garantías de los destinatarios de esa acción pública y, por tanto, de todos nosotros.

En definitiva, siguiendo a Umberto Eco, me posiciono con los integrados más que con los apocalípticos, y desde esta postura he afrontado el estudio de este tema, tan interesante y a la vez complejo; buscando las oportunidades, aunque sin dejar de lado los riesgos[5], a los que inevitablemente debemos referimos los juristas, como bien ha indicado el Conseil d’État francés en un reciente estudio sobre la IA en la acción pública[6].

Partiendo de esta perspectiva, es preciso comenzar por encuadrar el tema sentando una serie de premisas. La primera de ellas que la IA no deja de ser una herramienta más de la que disponen las Administraciones públicas, es decir, un medio al servicio del interés general y no un fin[7].

La segunda, que el desarrollo e implementación de la IA no se puede disociar del contexto global de la transformación digital de la acción pública[8], donde aún queda mucho camino por recorrer.

La tercera, que se trata de un elemento que se incardina dentro de una nueva forma de gestión de lo público, la nueva gobernanza pública. También es preciso apuntar la necesidad de acompasar su integración en el sector público de una cultura del cambio que debe permear también en la organización administrativa.

Pues bien, en este contexto, quiero referirme a una las cuestiones clave a las que la Administración debe dar respuesta para poder servirse de todo el potencial de la IA en la mejora de la toma de decisiones y de la prestación de servicios sin poner en riesgo los derechos y garantías de los ciudadanos, me refiero a la explicabilidad.

Y es que entre los riesgos asociados a la utilización de IA se encuentra, sin duda, con un papel destacado, la falta de una adecuada transparencia, la difícil explicabilidad y la compleja motivación de las decisiones[9].

II. El derecho a la motivación [arriba] 

Resulta evidente que todos y cada uno de los derechos procedimentales que deben ser respetados y garantizados con carácter general por la Administración en su quehacer diario, también han de cumplirse cuando se utilice IA en el procedimiento concreto[10]. Unos derechos que alcanzaron en el ámbito de la Unión Europea el carácter de fundamental en el art. 41 de la Carta de Derechos Fundamentales.

Dentro de los mismos y por las razones evidentes, adquiere aquí gran relevancia el tema de la motivación. Recuérdese además, que precisamente dentro de la buena administración se da un papel relevante a la motivación de las decisiones[11], así como la diligencia debida en cuanto a la toma en consideración de los hechos[12]; pues solo esa adecuada ponderación de todas las circunstancias y elementos presentes en cada caso servirá para tomar la decisión más adecuada[13]. En fin, se trata de la obligación de due care o due diligence de la que habla el Tribunal de Justicia de la Unión Europea[14].

Ello enlaza fácilmente con el uso de medios TIC para llevar a cabo una investigación adecuada[15]; o con el inquisitorial principle del sistema danés, es decir, en el sentido de que debe garantizarse que las decisiones dirigidas a los ciudadanos se basen en información pertinente, necesaria y correcta[16].

Además aquí se sostiene que, aunque de forma diferente, la motivación ha de existir tanto en el ejercicio de potestades discrecionales como regladas, valga el ejemplo de la aplicación de un baremo perfectamente objetivizado. Lo dicho implica, por tanto, que incluso en el caso de utilizar IA en la toma de decisiones de carácter reglado, sea necesario poder conocer la lógica de funcionamiento del algoritmo o sistema de IA empleado, así como la posibilidad de comprobar que responde adecuadamente a lo establecido en la norma, pliego o convocatoria.

Me explico de forma más concreta. La elección inherente a las decisiones discrecionales o con cierto margen de apreciación y la motivación de estas, encaja en la idea de buena administración aquí manejada y expuesta ya en otros trabajos[17], la de la mejor decisión. De ahí también la importancia de los estudios de impacto[18], donde puede jugar a favor el uso de determinados sistemas de IA, como los simuladores, que ofrecen las posibles consecuencias de las decisiones. En esos casos, esa herramienta, como los denominados “gemelos digitales”, lejos de perjudicar a la motivación sirven a la misma.

De otro lado, cabe hacer también otra precisión importante, y es que, a mi juicio, es preciso partir de la gran variedad de tipos de decisiones que la Administración tiene que adoptar a lo largo de su quehacer diario, algunas aparentemente de gran sencillez y otras de una complejidad abrumadora. Pues bien, considero que en principio la noción de buena administración debe impregnar todas ellas, debe ser una guía constante de la Administración en su toma de decisiones. Bien es cierto que se ha venido poniendo el foco en las decisiones discrecionales, por evidentes razones, y en efecto es en ellas donde quizás mayor predicamento y un despliegue más intenso de la noción de buena administración resulta imprescindible, sin embargo, tampoco se puede perder de vista otro tipo de decisiones y la labor de aplicación que en las mismas desarrolla la Administración.

Es cierto que hay decisiones, en mi opinión cada vez las que menos, en las que en principio la Administración se limita a hacer un silogismo –y donde precisamente más predicamento tienen los sistemas de IA–, es decir, la norma le dice de forma concreta qué debe decidir ante unos hechos específicos, las llamadas decisiones regladas. Sin embargo, incluso en las mismas se debe hacer un encaje de las circunstancias del caso en el ámbito de aplicación de la norma, es decir, habrá de hacer una apreciación y calificación de los hechos, a los que, a mi juicio, no escapa la due cure o duo diligence de la que habla el TJUE y que conecta con la buena administración[19]. Es decir, ha de exigírsele también en esos casos una diligencia adecuada en la calificación y apreciación de los hechos, así como tomar en consideración las normas aplicables al caso.

En fin, a mi juicio, la obligación jurídica existente de tomar en consideración con la máxima diligencia y cuidado posibles los hechos, los intereses, derechos y normas jurídicas implicados en la toma de toda decisión administrativa discrecional[20], tiene también cierta aplicación, al menos, en cuanto a la calificación de los hechos –a efectos de encajarlos en la norma correspondiente–, también en otro tipo de decisiones o, más bien, en prácticamente todas, si bien, por supuesto, que no con la misma intensidad[21]. Eso me lleva a entender que incluso en el caso de utilizar IA en la toma de decisiones de carácter reglado, ello no impide ni evita la necesidad de poder conocer la lógica de funcionamiento del algoritmo o sistema de IA empleado, así como poder comprobar que responde adecuadamente a lo establecido en la norma.

Es más, en cuanto a la motivación, piedra angular de una buena administración, es preciso tener en cuenta que la referencia que hace el art. 41 de la Carta de los Derechos Fundamentales de la Unión Europea a la necesaria motivación de las decisiones tiene carácter general, por cuanto habla de la obligación que incumbe a la Administración de motivar sus decisiones[22], sin matizar ni distinguir entre ellas, en línea con lo que también establece el art. 296 del TFUE, cuando dice que los actos jurídicos deberán estar motivados[23]. Por tanto, la conclusión o consecuencia es que tanto los actos reglados como discrecionales deben motivarse, lo que supone una diferencia importante con lo que nuestro ordenamiento determina, en particular, en el art. 35 de la Ley N° 39/2015.

En definitiva, a este respecto, es preciso tener en cuenta que el uso de sistemas de IA no puede soslayar la necesaria motivación de la decisión, particularmente cuando esta es individual, pero también que ciertas herramientas pueden ayudar a motivar mejor.

III. Transparencia y explicabilidad [arriba] 

La motivación a su vez conecta con otros dos elementos, como son la transparencia y la explicabilidad. En primer lugar, hay que destacar que cabe un doble enfoque, es decir, la transparencia vinculada más a la motivación de la decisión individual o la transparencia conectada con la rendición de cuentas[24], especialmente cuando de decisiones colectivas se trata o también de conocer cómo funciona un servicio público.

En efecto, no es suficiente con poder conocer el sistema, código fuente o algoritmo utilizado, sino que además ha de poder entenderse[25]. Asimismo este aspecto conecta con otro que, a mi juicio, es crucial, me refiero a la igualdad y las posibilidades de crear diferencias en atención a la dificultad de comprensión de cómo se ha decidido, pues ello puede repercutir incluso en el acceso a la tutela judicial efectiva. Sin olvidar tampoco que no es buena administración obligar a los afectados a acudir a los tribunales para poder tener acceso y entender cómo se ha tomado una decisión que les ha perjudicado.

Transparencia y explicabilidad son dos cuestiones a las que la doctrina se ha dedicado profusamente, por lo que cabe ahora centrarse únicamente en alguna cuestión concreta, pero necesaria. Así, en primer lugar, cabe recordar que en nuestro sistema hay una doble vía o normativa que influye en esta cuestión: la propia del procedimiento administrativo y régimen jurídico y la de la transparencia regulada, principalmente, en la LTAIBG (Ley N° 19/2013, de 9 de diciembre, de Transparencia, Acceso a la Información y Buen Gobierno.

Conforme a la misma, en mi opinión, es obligatoria esa transparencia respecto al uso de sistemas de IA por las Administraciones, en línea con las más recientes previsiones a que haré referencia seguidamente.

Sin embargo, como ya he precisado, ello no implica que cuando se está ante una decisión individual la única referencia sea el art. 35 de la Ley N° 39/2015 o el 41 de la Ley N° 40/2015, sino que una vez concluido el procedimiento los interesados también pueden ejercer el derecho de acceso de la LTAIBG. De hecho, en otros sistemas, como el francés, la cuestión se regula en una única norma, el CRPA[26].

Como se acaba de adelantar, cabe una mención especial a la previsión contenida en el art. 23 de la Ley N° 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación[27]. En la misma, se establece, si bien de forma un tanto genérica, que en el marco de la Estrategia Nacional de Inteligencia Artificial[28], de la Carta de Derechos Digitales[29] y de las iniciativas europeas en torno a la IA, las Administraciones públicas favorecerán la puesta en marcha de mecanismos para que los algoritmos involucrados en la toma de decisiones que se utilicen en las Administraciones públicas tengan en cuenta criterios de minimización de sesgos[30], transparencia y rendición de cuentas[31], siempre que sea factible técnicamente. En estos mecanismos se incluirán su diseño y datos de entrenamiento, y abordarán su potencial impacto discriminatorio. Para lograr este fin, se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio[32].

Añade además que las Administraciones públicas, en el marco de sus competencias en el ámbito de los algoritmos involucrados en procesos de toma de decisiones, priorizarán la transparencia en el diseño[33] y la implementación y la capacidad de interpretación de las decisiones adoptadas por los mismos.

Y que tanto las Administraciones públicas como las empresas promoverán el uso de una IA ética, confiable[34] y respetuosa con los derechos fundamentales[35], siguiendo especialmente las recomendaciones de la Unión Europea en este sentido. E incluso se refiere a la posibilidad de crear un sello de calidad de los algoritmos, lo que se está desarrollando en el sandbox regulatorio de la IA creado por el Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento del Reglamento Europeo de IA.

De forma muy sencilla, a mi juicio, no deben existir “cajas negras”[36] que impidan conocer cómo se ha decidido, especialmente cuando hablamos de actos desfavorables o favorables que pueden afectar a terceros, suponer trato desigual o vulnerar el interés general, ni tampoco que obliguen a los afectados a acudir a los tribunales, ni mucho menos que en sede judicial no quepa un control profundo de la decisión[37].

Este es un límite al uso de IA compleja que no puede saltarse, lo que no debe llevarnos tampoco a entender que no cabe ningún despliegue de este tipo de sistemas en la Administración, pues no todos ni mucho menos son inexplicables. Esa característica no es consustancial a todo tipo de IA. Se trata de un gran reto científico, poder explicar el funcionamiento de los sistemas de IA conocidos como aprendizaje automatizado y, especialmente, los de aprendizaje profundo, puesto que existe una tensión entre su mayor eficiencia y su explicabilidad, la cual además de ser una garantía es un requisito imprescindible para la propia aceptabilidad social[38].

La explanability[39], es decir, el requisito de explicabilidad, en sentido amplio, exige que el responsable del sistema sea capaz de comprender las operaciones que ha realizado la máquina para producir sus resultados, por tanto, lo que viene denominándose interpretabilidad[40], y además presentarse en un lenguaje comprensible para cualquier persona (o al menos para la persona en cuestión) los elementos clave del “razonamiento” –lo que sería la explicabilidad en sentido estricto–[41], o inteligibilidad[42].

Además, este requisito puede concebirse en dos niveles, de un lado, la explicabilidad “local”, que presupone poder explicar el resultado producido para un caso particular, lo que implica, al menos, identificar las variables clave que determinaron la producción del resultado por parte del sistema; y, de otra parte, la explicabilidad “global”, más ambiciosa, y que pretende que el modelo sea interpretable para todos los datos, y no para una persona o situación concreta[43].

La explicabilidad en el caso de los modelos basados en aprendizaje automático, aunque ha sufrido importantes avances, está lejos aún, lo que supone uno de los grandes retos del uso de la IA en el sector público[44], dada la necesidad de garantizar la motivación y la rendición de cuentas. Además, se ha dicho también que la rendición de cuentas de los algoritmos se refiere, en última instancia, a la asignación de responsabilidad por la forma en que se crea un algoritmo y su impacto en la sociedad[45].

Otro tema conexo es el de la transparencia, el derecho de acceso y los posibles límites derivados de la concurrencia de otros intereses jurídicamente protegidos, como los secretos profesionales o incluso la seguridad pública. Cabe recordar, en todo caso, que la propiedad intelectual no es en sí un límite, sino que en esos supuestos es preciso dar trámite de alegaciones a los terceros afectados[46]. Estos problemas se ven incrementados cuando se recurre a contratistas que diseñan esos sistemas, de ahí también la necesidad de lograr mayor autonomía por parte de las Administraciones.

Sin embargo, como en todo, es preciso hacer matizaciones, pues la explicabilidad pura y perfecta no puede, sin embargo, constituir una condición sine qua non para el despliegue de sistemas públicos de IA, como tampoco se conoce y entiende de forma completa el funcionamiento del cerebro humano en una situación dada, y con ello deben convivir los ciudadanos[47]. A este respecto, las auditorias previas de expertos podrían venir en cierto modo a cubrir esa necesidad.

A este respecto también hay que tener en cuenta distintos supuestos, empezando por si se trata de actividad material o formalizada, pues resulta evidente que el grado de conocimiento que debe darse cuando se trata de una decisión individual desfavorable, en la que está en juego la tutela judicial efectiva misma, no será el mismo que si se trata de actividad material en la prestación de un servicio en que, aunque no cabe la total opacidad por imperativo de la rendición de cuentas[48][49], habrá que hacer una valoración ponderada, teniendo en cuenta, entre otras cuestiones, la contribución a la mejora del servicio, es decir, el principio de desempeño[50].

En este sentido el art. 13 del Reglamento europeo se limita a exigir que los sistemas de IA de alto riesgo se diseñen y desarrollen de un modo que garantice que funcionan con un nivel de transparencia suficiente para que los responsables del despliegue interpreten y usen correctamente su información de salida, así como para poder cumplir con las obligaciones establecidas en la sección 3 de dicha norma, entre las que cabe destacar las que se refieren a los responsables del despliegue de sistemas de IA de alto riesgo[51]. Es, por tanto, un requisito de interpretabilidad, limitada al usuario, y no de explicabilidad en beneficio de las personas respecto de las cuales este usuario (como pueda ser la Administración) implementa el sistema.

En definitiva, y al igual que en otros sistemas como el francés, debe regir el principio de transparencia por defecto[52], limitado solo en casos justificados por la concurrencia de otros derechos o intereses jurídicamente protegibles, por ejemplo, ciertos límites de la LTAIBG, y tras la previa y adecuada ponderación.

Cabe destacar igualmente la triple dimensión a que se ha referido algún autor[53] dentro de la transparencia, a saber, la trazabilidad[54], la explicabilidad[55] y la auditabilidad[56].

También es preciso apuntar hacia la importancia de la transparencia misma en el diseño, así como la participación[57] y/o colaboración en el mismo[58], por ejemplo, a través de la inteligencia colectiva[59] o la co-creación de servicios[60], pues ello redundará en la aceptabilidad.

Precisamente, otra cuestión relevante en el tema de las garantías es el de las mencionadas auditorias[61]. Especialmente vinculadas a la necesidad de garantizar la igualdad y trato no discriminatorio. A este respecto téngase en cuenta que esa discriminación, por ejemplo, algorítmica, puede provenir de un diseño defectuoso, pero también del uso de datos carentes de la calidad y limpieza necesarias, máxime cuando se trata de datos antiguos que pueden contener sesgos[62], a lo que ya me he referido.

En relación con esta cuestión téngase en cuenta el mencionado art. 23 de la Ley N° 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación, al que ya se ha hecho referencia. Y es que si bien no supone una concreción deseada, al menos, es un primer paso en el reconocimiento de la necesidad de que el uso de sistemas de IA en las Administraciones públicas responda a la transparencia, la rendición de cuentas y la no discriminación.

Cabe aquí traer de nuevo a colación la indudable conexión entre buena administración y utilización de sistemas de IA. A este respecto, destaca la good administration impact assessment de los sistemas de IA impuesta en Dinamarca –principalmente por efecto de las decisiones del Defensor del Pueblo danés–[63], cuya denominación no puede ser más expresiva en cuanto a su conexión con la buena administración, y que requiere de pruebas exhaustivas y medidas de implementación previas, sin olvidar tampoco los programas de vigilancia permanentes a fin de recabar información sobre errores, fallas o deficiencias que surjan posteriormente durante el uso de dicha tecnología. O en la misma dirección el informe del European Law Institute Model Rules on Impact Assessment of Algorithmic Decision–Making Systems Used by Public Administration.

Y es que resulta imprescindible evaluar antes, durante y después de la puesta en marcha de estos sistemas, puesto que conocer el impacto que tienen en las decisiones es uno de los puntos clave a tener en cuenta.

Si bien resulta imprescindible que esas auditorías sean adecuadas y fiables, dado que si están mal definidas o son inexactas existe un riesgo importante de que oculten los problemas de los sistemas algorítmicos y creen una estructura de permisos en torno a una IA mal diseñada o aplicada, lo que carece de sentido en el mejor de los casos y, en el peor, incluso excusa daños que las auditorías pretenden mitigar. Las auditorías inadecuadas o sin normas claras proporcionan una falsa garantía de cumplimiento de normas y leyes, lo que se viene denominando "lavado de auditorías", que pueden permitir prácticas problemáticas o ilegales[64].

Precisamente el tema de las auditorías es uno de los puntos clave del Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial para todo el territorio europeo, que el pasado día 13 de marzo de 2024, el Parlamento Europeo, pero que excede de este trabajo.

IV. Bibliografía [arriba] 

BARONE A., “Ammistrazione del rischio e intelligenza artificiale”, ERDAL, Volume 1, Issue 1–2, 2020.

BERND W. W., DigitalGovernment. Strategy, Government Models and Technology, Springer, Switzerland, 2022.

BINNS R. et al., “It’s Reducing a Human Being to a Percentage’: Perceptions of Justice in Algorithmic Decisions”, Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018.

BRAUNEIS R. and GOODMAN E. P., Algorithmic Transparency for the Smart City, Yale Journal of Law & Technology, Vol. 20, 2018.

CAPLAN R. et al., “Algorithmic accountability: a primer”, Data & Society, 2018.

CASTELLANOS CLARAMUNT J., “Democracia, Administración pública e inteligencia artificial desde una perspectiva política y jurídica”, Revista Catalana de Dret Públic, N° 60, 2020.

CERRILLO I MARTÍNEZ A. y PEGUERA POCH M. (Coords.), Retos jurídicos de la inteligencia artificial, Thomson Reuters, Cizur Menor, 2020.

CLUZEL–MÉTAYER L., “The Judicial Review of the Automated Administrative Act”, ERDAL, Volume 1, Issue 1–2, 2020.

COPELAND E., “10 principles for public sector use of algorithmic decision making. What should be in a code of standards for public sector use of algorithmic decision making?”, Government Innovation, 28 June 2018.

CONSEIL D’ÉTAT, Intelligence artificielle et action publique: construiré la confiance, servir la performance. Etude adoptée en assemblée générale pleénière du 31/03/2022, Paris, 2022.

COUNCIL OF EUROPE, Algorithms and Human Rights. Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular Algorithms) and Possible Regulatory Implications, Doc. DGI(2017)12.

CRIADO J. I. y GIL–GARCÍA J. R., “Creating public value through smart technologies and strategies. From digital services to artificial intelligence and beyond”, International Journal of Public Sector Management, Vol. 32 N°. 5, 2019.

EDWARDS L. and VEALE M., “Enslaving the Algorithm: From a “Right to an Explanation” to a “Right to Better Decisions”?”, IEEE Security & Privacy, 16(3), 2018.

FRA, Getting the future right. Artificial Intelligence and fundamental rights, Publications Office of the European Union, Luxembourg, 2020.

GALETTA D.–U., “Algoritmi, procedimento amministrativo e garanzie: brevi riflessioni, anche alla luce degli ultimi arresti giurisprudenziali in materia”, Rivista Italiana di Diritto Pubblico Comunitario, 2020.

– “Digital Transition of Public Administration in Italy and the Right to a Good Administration: Problems and Prospects also it in the Perspective of the Implementation of the National Recovery and Resilence Plan”, European Review of Digital Administration & Law (ERDAL), Volume 3, Issue 1, 2022.

GOODMAN E. P. and TRÉHU J., AI Audit–Washing and Accountability, GMF, Policy Paper, Washington, November 2022.

GUALDI F. and CORDELLA A., “Artificial Intelligence and Decision–Making: the question of Accountability”, Emerging Topics in Digital Government, 5 January 2021.

GUILLAUD H., “Vers des algorithmes exemplaires?”, Internet Actu, 2018.

JANSSEN M., HARTOG M., MATHEUS R., YI DING A., and KUK G., “Will Algorithms Blind People? The Effect of Explainable AI and Decision–Makers’ Experience on AI–supported Decision–Making in Government”, Social Science Computer Review, 40(2), 2022.

MANTELERO A., Beyond Data. Human rights, Ethical and Social Impact Assesment in AI, Springer, Torino, 2022.

MANZONI M., MEDAGLIA R., TANGI L., VAN NOORDT C., VACCARI L. and GATTWINKEL D., Al Watch Road to the Adoption of Artificial Intelligence by the Public Sector. A Handbookfor Policymakers, Public Administrationsand Relevant Stakeholders, Publications Office of the European Union, Luxembourg.

MARTÍN DELGADO I., “Automation, Artificial Intelligence and sound administration. A few insights in the light of the spanish legal system”, ERDAL, Volume 3, Issue 1, 2022.

MAXWELL J. and TOMLINSON J., Experiments in automating immigrations systems, Bristol University Press, Bristol, 2022.

MENÉNDEZ SEBASTIÁN E. Mª., From bureaucracy to artificial intelligence: the tension between effectiveness and guarantees, Cedam, Milán, 2023.

MERLI F., “Automated Decision–Making Systems in Austrian Administrative Law”, CERIDAP, 30 January 2023.

MOTZFELDT H. M., “Reflections on the need for further research within national administrative law before the EU Artificial Intelligence Act comes into effect: A Danish perspective”, European Review of Digital Administration & Law, Volume 3, Issue 1, 2022.

NYMAN METCALF K., “e–Governance and Good Administration: Examples from Estonia”, ERDAL, Volume 3, Issue 1, 2022.

OROFINO A. G., La trasparenza oltre la crisi. Acceso, informatizzazione e controllo cívico, Bari, Cacucci Editore, 2020.

– “L’intelligenza artificiale al servizio delle funzioni amministrative: profili problematici e spunti di riflessione”, en Giurisprudenza italiana : con repertorio generale annuale di giurisprudenza, dottrina e legislazione , N° 7, 2020.

PÉGNY M. AND IBNOUHSEI I., Quelle transparence pour les algorithmes d’apprentissage machine? 2018.

PINOTTI G., “Amministrazione digitale algoritmica e garanzie procedimentali”, Labour & Law Issues, 7(1), 2021, I.88.

PONCE SOLÉ J., PONCE SOLÉ J., “Remunicipalización y privatización de los servicios públicos y derecho a una buena administración. Análisis teórico y jurisprudencial del rescate de concesiones”, Cuadernos de Derecho Local, Fundación Democracia y Gobierno Local, 2016.

– “Law, Digital Nudging and Manipulation: Dark Patterns, Artificial Intelligence and the Right to Good Administration”, ERDAL, Volume 3, Issue 1, 2022.

SAKA E., “Big Data and Gender–Biased Algorithms”, in K. Ross (Ed.), The International Encyclopedia of Gender, Media, and Communication, John Wiley & Sons, New York, 2020.

SUNSTEIN C. R., “Algorithms, Correcting Biases”, An International Quarterly, Volume 86, N° 2, Summer 2019.

VALERO TORRIJOS J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista catalana de dret públic, N° 58, 2019.

VEALE M. et al., “Fairness and Accountability Design Needs for Algorithmic Support in High?Stakes Public Sector Decision?Making”, Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018.

VILLANI C.,  SCHOENAUER M., BONNET Y., CHARLY B.,. CORNUT A.–CH, LEVIN F. and  RONDEPIERRE B., Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne, France, 2018.

ZELLENBERG U. E., “Das Recht auf eine gute Verwaltung”, in Ch. Grabenwarter, W. Pöcherstorfer and C. Rosenmayr–Klemenz (Dirs.) Die Grundrechte des Wirtschaftslebens nach dem Vertrag von Lissabon, Jan Sramek Ferlag, KG, Viena, 2012.

Notas [arriba] 

* Catedrática de Derecho Administrativo. Universidad de Oviedo

[1] Este trabajo es parte del proyecto “Digital citizenship: administrative implications” TED2021-129283B-I00, financiado por MCIN/AEI/10.13039/501100011033 y la Unión Europea NextGeneration EU/PRTR.
[2] MOTZFELDT H. M., “Reflections on the need for further research within national administrative law before the EU Artificial Intelligence Act comes into effect: A Danish perspective”, European Review of Digital Administration & Law, Volume 3, Issue 1, 2022.
[3] Prueba de ello es que la Fundación del Español Urgente (FundéuRAE) otorgó el título de palabra del año 2022 a la expresión compleja inteligencia artificial.
[4] Respecto a posibles manipulaciones con el empleo de la inteligencia artificial, resulta de máximo interés conocer los llamados nudges e hypernudges digitales, así como los patrones oscuros, estudiados por PONCE SOLÉ J., “Law, Digital Nudging and Manipulation: Dark Patterns, Artificial Intelligence and the Right to Good Administration”, ERDAL, Volume 3, Issue 1.
[5] En relación precisamente de la inteligencia artificial y la gestión del riesgo véase, entre otros, BARONE A., “Ammistrazione del rischio e intelligenza artificiale”, ERDAL, Volume 1, Issue 1-2, 2020, pág. 63-67.
[6] CONSEIL D’ÉTAT, Intelligence artificielle et action publique: construiré la confiance, servir la performance. Etude adoptée en assemblée générale pleénière du 31/03/2022, Paris, 2022.
[7] Esta es una idea reiterada con frecuencia, así, baste mencionar, entre otros, MARTÍN DELGADO I., “Automation, Artificial Intelligence and sound administration. A few insights in the light of the spanish legal system”, ERDAL, Volume 3, Issue 1, 2022; etc.
[8] En relación con el impacto de la digitalización en la Administración pública desde una perspectiva global, véase, entre otros, BERND W. W., DigitalGovernment. Strategy, Government Models and Technology, Springer, Switzerland, 2022.
[9] En palabras de MANZONI M., MEDAGLIA R., TANGI L., VAN NOORDT C., VACCARI L. and GATTWINKEL D., Al Watch Road to the Adoption of Artificial Intelligence by the Public Sector. A Handbookfor Policymakers, Public Administrationsand Relevant Stakeholders, Publications Office of the European Union, Luxembourg, el mencionado sesgo algorítmico, la opacidad y complejidad de los algoritmos.
[10] Pues, como bien recuerda GALETTA D.-U., “Algoritmi, procedimento amministrativo e garanzie: brevi riflessioni, anche alla luce degli ultimi arresti giurisprudenziali in materia”, Rivista Italiana di Diritto Pubblico Comunitario, 2020, haciéndose eco de lo dicho por el Consiglio di Stato italiano, habrá que adaptar las reglas e instituciones de siempre a la nueva realidad.
[11] Valga mencionar, entre otras, las sentencias del TS, Sala de lo Contencioso-administrativo, de 2 de junio de 2004, recurso de casación N° 202/2002; de 10 de diciembre de 2003, recurso de casación N° 3905/2000; de 22 de febrero de 2005, recurso de casación N° 3055/2001; de 29 de marzo de 2004, recurso de casación 8697/1999; de 30 de noviembre de 2004, recurso de casación N° 3456/2002; de 13 de mayo de 2005, recurso de casación 2414/2002; de 13 de diciembre de 2005, recurso N° 120/2004; de 25 de julio de 2006, recurso de casación N° 466/2003; de 26 de septiembre de 2006, recurso de casación N° 8712/2003; de 23 de enero de 2007, recurso de casación N° 5837/2003; de 3 de mayo de 2007, recurso de casación N° 4693/2003; de 19 de junio de 2007, recurso de casación N° 8888/2003; de 4 de noviembre de 2009, ECI:ES:TS:2009:7575; de 15 de octubre de 2010, ECLI:ES:TS:2010:5190; de 30 de enero de 2012, ECI:ES:TS:2012:293; de 14 de marzo de 2014, ECI:ES:TS:2014:842; de 2 de octubre de 2014, recurso de casación N° 2229/2012; de 19 de octubre de 2015, ECI:ES:TS:2015:4326; o la sentencia del TSJ de Cataluña N° 959/2017, de 29 de diciembre, ECI:ES:TSJCAT:2017:12396, etc.
[12] A este respecto, véanse, entre otras, las sentencias del TS de 5 de octubre de 2012, Sala de lo Contencioso-administrativo, ECLI:ES:TS:2012:7318; de 13 de marzo de 2013, Sala de lo Contencioso-administrativo, ECLI:ES:TS:2013:1364; de 14 de mayo de 2013, Sala de lo Contencioso-administrativo, ECLI:ES:TS:2013:2340, etc.
[13] Es decir, la obligación jurídica existente de tomar en consideración con la máxima diligencia y cuidado posibles los hechos, intereses, derechos y normas jurídicas implicados en la toma de toda decisión administrativa discrecional, de la que habla, PONCE SOLÉ J., “Remunicipalización y privatización de los servicios públicos y derecho a una buena administración. Análisis teórico y jurisprudencial del rescate de concesiones”, Cuadernos de Derecho Local, Fundación Democracia y Gobierno Local, 2016, pág. 94.
[14] Así, por ejemplo, véase a este respecto la sentencia del Tribunal de Justicia (Gran Sala), de 4 de abril de 2017, asunto C 337/15 P, ECLI:EU:C:2017:256, que se refiere precisamente a la propia actuación del Defensor del Pueblo Europeo, y donde se habla del principio de diligencia, entendido como la obligación de examinar minuciosa e imparcialmente todos los elementos pertinentes del asunto de que se trate, así como que la obligación de diligencia, que es inherente al principio de buena administración y se aplica con carácter general a la acción de la Administración de la Unión en sus relaciones con el público, implica que ésta debe actuar con minuciosidad y prudencia. O la sentencia del Tribunal de Justicia (sala Sexta), de 22 de noviembre de 2017, asunto C 691/15 P, ECLI:EU:C:2017:882, en cuyo apartado 47 se dice que, en virtud de su obligación de diligencia, está obligada a examinar con detalle e imparcialidad otros elementos que, aunque no estén expresamente previstos en dichas disposiciones, sean no obstante pertinentes.
[15] GALETTA D.-U., “Digital Transition of Public Administration in Italy and the Right to a Good Administration: Problems and Prospects also it in the Perspective of the Implementation of the National Recovery and Resilence Plan”, European Review of Digital Administration & Law (ERDAL), Volume 3, Issue 1, 2022.
[16] MOTZFELDT H. M., “Reflections on the need for further research within national administrative law before the EU Artificial Intelligence Act comes into effect: A Danish perspective”, op. cit.
[17] MENÉNDEZ SEBASTIÁN E. Mª., De la función consultiva clásica a la buena administración. Evolución en el Estado Social y Democrático de Derecho, Marcial Pons, Barcelona, 2021.
[18] En relación con esa importancia de las memorias y los estudios de impacto en la determinación de una buena decisión, véanse también las sentencias del TS, Sala de lo Contencioso-administrativo, de 18 de junio de 2012, ECI:ES:TS:2012:4591; la N° 2571/2016, de 12 de diciembre, recurso de casación N° 902/2014; N° 2586/2016, de 13 de diciembre, recurso de casación N° 873/2014; o respecto a la calidad regulatoria en general, por ejemplo, las sentencias del TS, Sala de lo Contencioso-administrativo, de 24 de marzo de 2009, recurso de casación N° 4708/2006; de 15 de julio de 2010, ECI:ES:TS:2010:4057de 23 de marzo de 2015, ECI:ES:TS:2015:1139; N° 2563/2016, de 5 de diciembre, recurso de casación N° 378/2013; etc.
[19] Valga de ejemplo, la sentencia del Tribunal General (Sala Cuarta), de 29 de abril de 2015, asunto T-217/11, Claire Staelen vs. European Union Ombudsman, ECLI:EU:T:2015:238, en particular, los apartados 81 a 83.
[20] J. Ponce Solé, Remunicipalización y privatización de los servicios públicos y derecho a una buena administración. Análisis teórico y jurisprudencial del rescate de concesiones, cit., 94.
[21] Como bien indicara M. Taruffo, La prueba de los hechos, Trotta, Madrid, 2011, los problemas acerca de la noción de prueba y de la justificación de las decisiones jurídicas sobre los hechos son de capital importancia teórica y práctica.
[22] Así, dicha obligación de motivación es el primer aspecto destacado en el trabajo Principles of Good Administration In the Member States of the European Union, Statskontoret, 2005.
[23] Así, como indica ZELLENBERG U. E., “Das Recht auf eine gute Verwaltung”, in Ch. Grabenwarter, W. Pöcherstorfer and C. Rosenmayr-Klemenz (Dirs.) Die Grundrechte des Wirtschaftslebens nach dem Vertrag von Lissabon, Jan Sramek Ferlag, KG, Viena, 2012, pág. 96, el art. 41 es más que un simple refuerzo de las garantías desarrolladas en el derecho judicial, también resume los derechos que el derecho primario ya reconocía, como la motivación de las decisiones, el derecho a indemnización y la garantía lingüística.
[24] Véase, por ejemplo, GUALDI F. and CORDELLA A., “Artificial Intelligence and Decision-Making: the question of Accountability”, Emerging Topics in Digital Government, 5 January 2021, pág. 2297-2306.
[25] Incluso hay soluciones a este respecto distintas a la apertura del código fuente, como explican BRAUNEIS R. and GOODMAN E. P., Algorithmic Transparency for the Smart City, Yale Journal of Law & Technology, Vol. 20, 2018, pág. 103-176.
[26] Code des relations entre le public et l'administration, aprobado por la Ordonnance N° 2015-1341 du 23 octobre 2015 relative aux dispositions législatives du code des relations entre le public et l'administration, JO, N° 0248, 25 octobre 2015.
[27] O de forma más concreta a nivel autonómico el art. 16.1, l) de la Ley N° 1/2022, de 13 de abril, de Transparencia y Buen Gobierno de la Comunitat Valenciana, que dentro de la publicidad activa y, en concreto, la información jurídica, que incluye dentro de la información sometida a obligación de publicidad activa, la relación de sistemas algorítmicos o de inteligencia artificial que tengan impacto en los procedimientos administrativos o la prestación de los servicios públicos con la descripción de manera comprensible de su diseño y funcionamiento, el nivel de riesgo que implican y el punto de contacto al que poder dirigirse en cada caso, de acuerdo con los principios de transparencia y explicabilidad.
[28] De noviembre de 2020 y cuyo eje estratégico 5 dedica al uso de la inteligencia artificial en las Administraciones públicas.
[29] Téngase en cuenta que esta Carta no tiene carácter vinculante, sin embargo, es relevante que se mencione en la Ley N° 15/2022. En particular, en su art. XVIII, se prevén los derechos de la ciudadanía en relación con la inteligencia artificial en el marco de la actuación administrativa, donde aborda, entre otras cuestiones, por ejemplo, la motivación, la transparencia, la adopción de decisiones automatizadas, en particular, cuando se trata de potestades discrecionales, etc.
[30] A este respecto véase el interesante trabajo de SUNSTEIN C. R., “Algorithms, Correcting Biases”, An International Quarterly, Volume 86, N° 2, Summer 2019, pág. 499-511.
[31] Como bien afirman MAXWELL J. and TOMLINSON J., Experiments in automating immigrations systems, Bristol University Press, Bristol, 2022, VII, “digital technology holds out considerable promise as a tool for speedy and cost- eff ective decision making in many areas in the public sector, yet it holds out challenges as well. In modern democracies, we expect public sector decision making to be accountable and fair”.
[32] Así, como señala COPELAND E., “10 principles for public sector use of algorithmic decision making. What should be in a code of standards for public sector use of algorithmic decision making?”, Government Innovation, 28 June 2018, las organizaciones del sector público deben publicar detalles que describan los datos sobre los que se entrenó (o se entrena continuamente) un algoritmo y las suposiciones utilizadas en su creación, junto con una evaluación de riesgos para mitigar posibles sesgos. Es decir, las organizaciones del sector público deben demostrar que han considerado los sesgos inevitables en los datos sobre los que se entrenó (o se entrena continuamente) un algoritmo y las suposiciones utilizadas en su modelo. Una vez hecho esto, deben describir los pasos que han tomado para mitigar las consecuencias negativas que podrían seguir, para demostrar su comprensión del impacto potencial del algoritmo. La duración y el detalle de la evaluación de riesgos deben estar vinculados a la probabilidad y gravedad potencial de producir un resultado negativo para un individuo.
[33] Precisamente, se ha indicado que normalmente el diseño de los algoritmos no está pensando en la necesidad de poder explicarlos, véase BINNS R. et al., “It’s Reducing a Human Being to a Percentage’: Perceptions of Justice in Algorithmic Decisions”, Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018, pág. 10.
[34] Lo que implica, como ha señalado el Conseil d’État, Intelligence artificielle et action publique: construiré la confiance, servir la performance. Etude adoptée en assemblée générale pleénière du 31/03/2022, op. cit., 9, que se defina una doctrina administrativa de la IA basada en un conjunto de principios fundamentales: medidas legales, organizativas, técnicas, pedagógicas y de gobernanza; involucrando a todas las partes interesadas.
[35] En relación con ejemplos de uso de la IA y el respeto de los derechos fundamentales, véase, entre otros, FRA, Getting the future right. Artificial Intelligence and fundamental rights, Publications Office of the European Union, Luxembourg, 2020; o MANTELERO A., Beyond Data. Human rights, Ethical and Social Impact Assesment in AI, Springer, Torino, 2022. Y es que como ha puesto de manifiesto el Consejo de Europa la IA puede afectar a diversos derechos fundamentales, Council of Europe, Algorithms and Human Rights. Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular Algorithms) and Possible Regulatory Implications, Doc. DGI(2017)12.
[36] Comprender lo que sucede en las cajas negras algorítmicas no es tan sencillo, así, GUILLAUD H., “Vers des algorithmes exemplaires ?”, Internet Actu, 2018, precisamente explica algunos proyectos que se llevan a cabo para hacer más entendibles esas cajas negras.
[37] En relación con el control judicial de las decisiones tomadas con apoyo de algoritmos, véase, por ejemplo, CLUZEL-MÉTAYER L., “The Judicial Review of the Automated Administrative Act”, ERDAL, Volume 1, Issue 1-2, 2020, pág. 101-103.
[38] VILLANI C.,  SCHOENAUER M., BONNET Y., CHARLY B.,. CORNUT A.-CH, LEVIN F. and  RONDEPIERRE B., Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne, France, 2018, pág. 141-142.
[39] Véase, por ejemplo, EDWARDS L. and VEALE M., “Enslaving the Algorithm: From a “Right to an Explanation” to a “Right to Better Decisions”?”, IEEE Security & Privacy, 16(3), 2018, pág. 46-54.
[40] ¿Cómo consiguió el modelo este resultado? ¿Usando qué datos? ¿Mediante qué cálculos?
[41] ¿Por qué se produjo este resultado y no otro?
[42] Inteligibilidad del procedimiento e inteligibilidad de los resultados, según indican PÉGNY M. AND IBNOUHSEI I., Quelle transparence pour les algorithmes d’apprentissage machine ?, 2018.
[43] Y que llega hasta la “prueba formal” de los sistemas basados en machine learning, es decir, la formalización de todas las reglas de un modelo entrenado, como si este formara parte de una inteligencia artificial “basada en reglas” (como un sistema experto).
[44] En relación con algunos de los principales retos jurídicos a los que es preciso dar respuesta véase CERRILLO I MARTÍNEZ A. y PEGUERA POCH M. (Coords.), Retos jurídicos de la inteligencia artificial, Thomson Reuters, Cizur Menor, 2020.
[45] CAPLAN R. et al., “Algorithmic accountability: a primer”, Data & Society, 2018, pág. 10.
[46] Por lo que se refiere a los derechos de propiedad intelectual o industrial, no siempre adecuadamente diferenciados, debe tenerse en cuenta que en caso de autoría de terceros que ostentan derechos de autor, en aplicación de lo establecido en el art. 19.3 de la LTAIBG, ha de dárseles traslado de la solicitud para que formulen alegaciones y, si no se hace, el CTBG ordena retrotraer el procedimiento (RT0321/2017, de 26 de marzo de 2018, del CTBG).
[47] Conseil d’État, Intelligence artificielle et action publique: construiré la confiance, servir la performance. Etude adoptée en assemblée générale pleénière du 31/03/2022, cit.
[48] Esta preocupación ha dado lugar al resurgimiento de la investigación sobre la IA explicable, que se refiere a las soluciones basadas en métodos y técnicas algorítmicas que pueden ser entendidas por los expertos humanos, véase al respecto JANSSEN M., HARTOG M., MATHEUS R., YI DING A., and KUK G., “Will Algorithms Blind People? The Effect of Explainable AI and Decision-Makers’ Experience on AI-supported Decision-Making in Government”, Social Science Computer Review, 40(2), 2022, pág. 478–493.
[49] CASTELLANOS CLARAMUNT J., “Democracia, Administración pública e inteligencia artificial desde una perspectiva política y jurídica”, Revista Catalana de Dret Públic, N° 60, 2020, pág. 137-147.
[50] Aunque con carácter general no se requiera el mismo grado de explicabilidad en la actividad material de prestación de servicios, no se puede olvidar alguna cuestión relevante a estos efectos, como, por ejemplo, la necesidad de conocer si funcionó correctamente o no el servicio de cara a una hipotética responsabilidad patrimonial. Siendo relevante aquí el tema de los estándares.
[51] Art. 26.
[52] VALERO TORRIJOS J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista catalana de dret públic, N° 58, 2019, pág. 82-96.
[53] MARTÍN DELGADO I., “Automation, Artificial Intelligence and sound administration. A few insights in the light of the spanish legal system”, op. cit.
[54] Capacidad para llevar a cabo un seguimiento documentado de los datos, proceso y desarrollo de despliegue de un sistema de inteligencia artificial.
[55] Capacidad de explicar los procesos técnicos de un sistema de inteligencia artificial.
[56] Capacidad de un sistema de inteligencia artificial de someterse a la evaluación de sus algoritmos, datos y procesos de diseño.
[57] VEALE M. et al., “Fairness and Accountability Design Needs for Algorithmic Support in High Stakes Public Sector Decision Making”, Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 2018.
[58] PINOTTI G., “Amministrazione digitale algoritmica e garanzie procedimentali”, Labour & Law Issues, 7(1), 2021, I.88.
[59] Un ejemplo es la Open Social Innovation (OSI).
[60] A este respecto, entre otros, CRIADO J. I. y GIL-GARCÍA J. R., “Creating public value through smart technologies and strategies. From digital services to artificial intelligence and beyond”, International Journal of Public Sector Management, Vol. 32 N°. 5, 2019, pág. 438-450.
[61] Dado que resulta fundamental este tipo de controles previos, como bien indica MERLI F., “Automated Decision-Making Systems in Austrian Administrative Law”, CERIDAP, 30 January 2023.
[62] Respecto a la discriminación de género en este ámbito, véase, por ejemplo, el estudio de casos realizado por SAKA E., “Big Data and Gender-Biased Algorithms”, in K. Ross (Ed.), The International Encyclopedia of Gender, Media, and Communication, John Wiley & Sons, New York, 2020.
[63] MOTZDELT H. M., Reflections on the need for further research within national administrative law before the EU Artificial Intelligence Act comes into effect: A Danish perspective, op. cit.
[64] Como bien indican GOODMAN E. P. and TRÉHU J., AI Audit-Washing and Accountability, GMF, Policy Paper, Washington, November 2022.