La pandemia de Covid-19 ha provocado un aumento espectacular del uso de Internet. Investigaciones recientes muestran, de hecho, que en el último año se ha producido un aumento de hasta el 30% en el consumo digital[2].
En este entorno digital, las arquitecturas de elección se realizan constantemente, ya sea de forma activa o pasiva. Para quienes no estén familiarizados con el término, la arquitectura de la elección (choice architecture) es un concepto que refleja la conciencia de que la elección entre diferentes opciones se ve afectada por la forma en que dichas opciones han sido propuestas[3].
Los seres humanos nos enfrentamos a elecciones todos los días, pero el resultado de cada decisión no sólo se ve influido por deliberaciones racionales sobre las opciones disponibles. El diseño del entorno de elección en el que se presenta la información puede ejercer una influencia subconsciente en el resultado. En otras palabras, la decisión depende a menudo de cómo se presenta la elección; de ahí que la arquitectura de la decisión altere el comportamiento de las personas de forma predecible. Los cambios más sencillos en el entorno de elección -en el que se presentan las opciones- pueden influir en la decisión de las personas y empujarlas (nudging) a comportarse de determinada manera. De hecho, no existe una forma neutra de presentar las opciones. Por ejemplo, se ha demostrado que el mero hecho de cambiar las opciones por defecto para la donación de órganos -de opt-in a opt-out- casi ha duplicado el porcentaje de personas que consienten en donar órganos.
Siempre hay un diseño del contexto de decisión, que es creado y modelado -consciente o inconscientemente- por un arquitecto de la elección: un contexto en el que los consumidores y usuarios de servicios públicos eligen entre opciones concretas y llegan a tomar decisiones (comprar, vacunarse, etc.) y lo mismo ocurre en el ámbito digital.
En consecuencia, cabe inferir que puede haber -y de hecho hay- actividades privadas y públicas dirigidas a fomentar o desincentivar el comportamiento de los consumidores y usuarios tanto fuera como -sobre todo- dentro del mundo digital. Estas arquitecturas de elección pueden ser transparentes o no y tener finalidades que pueden resultar aceptables e incluso positivas (por ejemplo, fomentar el consumo sin estafas, respetar la voluntad de los consumidores, personalizar los servicios públicos para ofrecer una mejor gestión pública, etc.) o ética y jurídicamente inaceptables[4] (por ejemplo, aumentar la venta de productos o servicios a los consumidores, orientar o dificultar el uso de los servicios públicos[5], obtener datos personales sin un consentimiento claro y explícito -manipulando así a las personas-, etc.).
En otras palabras, en esos y otros casos, nos encontramos ante nudges o acicates digitales[6]. Un nudge es, según la conocida definición de Thaler y Sunstein, cualquier aspecto barato y fácil de evitar de la arquitectura de decisiones en el entorno digital que modifica el comportamiento de las personas de forma predecible, sin prohibir ninguna opción y sin cambiar los incentivos económicos[7]. Por lo tanto, el nudging digital, a efectos de esta reflexión, es el uso de elementos de diseño de la interfaz de usuario para guiar el comportamiento de las personas en entornos de elección digitales. A su vez, los entornos de elección digitales son interfaces de usuario -como formularios web y pantallas ERP (Enterprise Resource Planning)- que requieren que las personas realicen juicios o tomen decisiones[8].
Dado el espectacular crecimiento actual en el uso de los medios digitales, la arquitectura de la elección digital está ganando importancia y lo mismo ocurre en el caso de los incentivos o nudges digitales que persuaden a los consumidores y usuarios de servicios públicos.
El presente artículo supone un breve análisis sobre cómo se están desarrollando estos incentivos en los sectores privado y público. Se abordará el posible uso, por parte de gobiernos, plataformas digitales y empresas, de los conocimientos sobre comportamiento alcanzados en las últimas décadas. En el caso del sector público, esos incentivos digitales pueden ser una forma de promover el derecho a una buena administración (art. 41 de la Carta Europea de Derechos Fundamentales y normativa nacional equivalente[9]), pero su aplicación digital también puede ser utilizada para aprovecharse de los sesgos cognitivos de las personas con el consiguiente riesgo de manipulación inaceptable ¬específicamente identificado por el Comité de Ministros del Consejo de Europa en la Declaración sobre las capacidades manipuladoras de los procesos algorítmicos de 13 de febrero de 2019[10].
Es importante destacar que una reciente publicación promovida por el Consejo de Europa advertía: "También debe prestarse especial atención al uso potencial de la IA (inteligencia artificial) en la interacción hombre-máquina para implementar estrategias de nudging. En este caso, debido a la complejidad y oscuridad de las soluciones técnicas adoptadas, la IA puede aumentar el papel pasivo de los ciudadanos y afectar negativamente al proceso democrático de toma de decisiones. En caso contrario, debería preferirse un enfoque activo basado en la participación consciente y activa en los objetivos de la comunidad, mejor gestionada por las herramientas de participación de la IA. Cuando se adopten, las estrategias de nudging deben seguir un enfoque basado en pruebas"[11].
Pasando a nuestro primer ámbito de análisis, las aplicaciones y sitios web en el sector privado -sin referirnos específicamente a la IA-, es necesario reflexionar, en primer lugar, sobre la expresión que designa el uso manipulador de los nudges digitales en detrimento de los consumidores y usuarios: los patrones oscuros (dark patterns).
A continuación, el artículo tratará de responder a algunas preguntas esenciales relativas a los patrones oscuros:
- ¿Qué son los patrones oscuros?
- ¿Cuáles son los patrones oscuros más comunes?
- ¿De qué sesgos cognitivos se aprovechan?
- ¿Qué se puede hacer contra ellos?
- ¿Es necesaria la intervención pública contra los patrones oscuros? ¿Qué tipo de intervención?
- ¿Hay alguna otra cuestión pendiente en relación con los patrones oscuros?
2.1. ¿Qué son los patrones oscuros?
Según la opinión de varios especialistas[12], los patrones oscuros son diseños de interfaz de usuario (UI) y experiencias de usuario (UX) que intentan explotar las vulnerabilidades de las personas mediante la manipulación y el engaño con la intención de empujarlas hacia un determinado resultado.
Esta definición pone de relieve la amplitud del concepto de patrones oscuros, así como el gran número de propósitos a los que pueden servir (por ejemplo, obtener más datos personales, dinero, influir en un voto o, en general, en cualquier decisión).
Del mismo modo, la Ley de Derechos de Privacidad de California (CPRA) de 2020, que, como se explicará, fue modificada recientemente para prohibir los patrones oscuros, informa: "Por "patrón oscuro" se entiende una interfaz de usuario diseñada o manipulada con el efecto sustancial de subvertir o menoscabar la autonomía, la toma de decisiones o la capacidad de elección del usuario, tal como se define con mayor detalle en la normativa"[13].
2.2. ¿Cuáles son los patrones oscuros más comunes?
Se han detectado, estudiado y etiquetado patrones oscuros con nombres sin duda originales. A continuación se expondrán algunos ejemplos concretos de estos diseños oscuros, extraídos de diversas fuentes[14], para comprender mejor el fenómeno[15].
- Confirmshaming. Combinando en su nombre la confirmación y la vergüenza, es un patrón oscuro en el que el usuario debe elegir entre activar determinadas opciones/registrarse en algún servicio o no. En caso de disentir, se hace sentir al consumidor mal, culpable o avergonzado[16].
- Disguised Ads. Traducible como anuncios camuflados, es un patrón oscuro en el que los anuncios aparecen "disfrazados", confundidos en medio de contenidos normales, reproductores de vídeo o elementos de navegación, con el fin de engañar al usuario para que haga clic en ellos sin darse cuenta[17].
- Forced Continuity. Esta continuidad forzada se produce cuando se cobra dinero sin previo aviso al finalizar una prueba gratuita de un servicio o en el caso de suscripciones que se renuevan automáticamente sin pedir consentimiento explícito[18].
- Friend Spam. La plataforma pide permisos para acceder a los contactos (amigos) de correo electrónico, teléfono y/o redes sociales para una acción concreta -por ejemplo, encontrar amigos-, pero esos permisos se utilizan para enviar spam a los contactos del usuario[19]. Hace unos años, LinkedIn, que recurría habitualmente a este diseño, recibió una multa de 13 millones de dólares, al considerarse una práctica claramente abusiva[20].
- Misdirection. Como sugiere su nombre (despiste) es un patrón oscuro que consiste en una distracción de los usuarios destinada a hacerles seguir un camino que conduce a un resultado preestablecido y no al que realmente querían conseguir[21].
- Price comparison prevention. Este patrón oscuro obstaculiza la comparación entre un artículo y otro con el fin de impedir que los usuarios tomen decisiones informadas[22].
- Privacy Zuckering. El nombre de este diseño combina -por razones obvias y bien conocidas- el apellido de Mark Zuckerberg, CEO de Facebook, con el término informal sucker (embaucador) respecto a la privacidad. De hecho, se produce cuando se engaña a los usuarios para que compartan más información privada de la que realmente desean. Esto se debe a que la letra pequeña oculta en los términos y condiciones que los usuarios aceptan para acceder a los servicios en línea da permiso para vender sus datos personales a otras empresas[23].
- Roach motel. Detrás de este nombre metafórico (hotel de cucarachas) se esconde una práctica muy habitual que consiste en facilitar la entrada o suscripción a un servicio y luego dificultar enormemente la cancelación[24].
- Bait and switch. Traducible como “cebo y cambio” identifica un patrón oscuro que surge en aquellos casos en los que el usuario quiere realizar una operación, pero realiza otra completamente distinta, que es la que interesa a la web "engañosa"[25].
- Sneak into basket. Se trata de una práctica de los sistemas de venta online en la que se incluyen algunos artículos extra en la cesta de la compra para que la gente los compre sin darse cuenta (se cuelan en la cesta). Los artículos extra suelen añadirse a través de una casilla de verificación o un botón de radio que apenas es visible durante uno o varios pasos de la compra. Se trata de una práctica muy habitual en los sitios web de las aerolíneas de bajo coste[26].
- Hidden cost. Este oscuro patrón es muy similar al anterior, ya que consiste en la inclusión repentina de algunos costes adicionales (ocultos), como gastos de envío o impuestos. La principal diferencia es que éste aparece al final del proceso de venta[27].
2.3. ¿Qué sesgos cognitivos explotan los patrones oscuros para manipular a los consumidores?
Los ejemplos de patrones oscuros mencionados anteriormente tratan de utilizar los sesgos de los consumidores de forma deshonesta para inducir a las personas a cometer errores/operaciones -o evitar que realicen acciones específicas- manipulándolas[28].
Antes de profundizar en la cuestión, podría ser útil decir algunas palabras sobre los sesgos cognitivos.
En las últimas décadas, gracias a los conocidos trabajos de los psicólogos israelíes Amos Tversky -fallecido en 1996- y Daniel Kahneman –premio Nobel de 2002-, la psicología ha sido la que más ha contribuido a que se acepte de forma generalizada que[29]:
- La racionalidad absoluta de la persona, del homo economicus, no existe. En primer lugar, porque la racionalidad es limitada (como puso de relieve Herbert Simon hace mucho tiempo) y, en segundo lugar, porque es un concepto que no tiene en cuenta comportamientos perfectamente racionales como la reciprocidad y el altruismo (que dan lugar a un modelo de homo reciprocans que toma decisiones basándose en normas sociales, en las que importan la reciprocidad, el altruismo y la confianza).
- La racionalidad se ve interferida por la heurística y los sesgos cognitivos. Los trabajos de los autores citados señalan que los esquemas cognitivos y los heurísticos son reglas que simplifican la selección y el procesamiento de la información. Vienen a ser atajos intuitivos, que funcionan como mecanismos adaptativos frente a los límites de nuestros recursos cognitivos (así, un octógono rojo suele significar "alto", mientras que una mano extendida expresa "saludo") y, en situaciones de riesgo e incertidumbre, conducen a ciertos sesgos de evaluación y predicción. Los heurísticos pueden proporcionar atajos rápidos y eficientes en el procesamiento de la información, pero a veces también conducen a errores sistemáticos y predecibles. Así pues, los heurísticos producen errores, y los sesgos son errores que se producen sistemáticamente. No obstante, no todos los errores son sesgos, aunque todos los sesgos son errores.
Debido a estos sesgos, no es raro que nuestro cerebro nos engañe y nos convierta en individuos que cometen errores y toman malas decisiones, incluso cuando disponemos de información completa. Aunque pueda resultar sorprendente, puesto que las desviaciones de la racionalidad de las personas ya han sido bien estudiadas, los avances científicos de las últimas décadas nos demuestran que las personas no somos decisores perfectos que maximizan su interés de forma absolutamente racional. Kahneman explicó de forma muy didáctica que en nuestro interior coexisten dos sistemas de toma de decisiones: uno es automático y rápido, el llamado sistema 1; mientras que el otro, el sistema 2, supone un esfuerzo ligado a la deliberación previa. El sistema 1 se activa de forma inconsciente y funciona bien en varias ocasiones, pero en muchas otras da lugar a errores cognitivos provocados por aquellos heurísticos y sesgos que utiliza nuestra mente para tomar decisiones rápidas sin un consumo excesivo de energía.
La principal premisa de la teoría de la psicología cognitiva, por tanto, es entender que el cerebro humano es un procesador limitado de información incapaz de procesar con éxito todos los estímulos entrantes.
Así, los patrones oscuros están hechos para explotar los sesgos cognitivos; para afectar a la toma de decisiones y las emociones de los seres humanos y los consumidores en su detrimento y en beneficio de las empresas privadas que actúan como arquitectos de la elección de la gente.
El confirmshaming, por ejemplo, explota el sesgo de encuadre y el sentimiento de culpa, mientras que el misdirection aprovecha la falta de atención, el efecto de anclaje y el sesgo de escasez, etc... Algunos estudios recientes ya han relacionado los patrones oscuros con los sesgos cognitivos que manipulan a las personas en beneficio de las empresas[30]. En el siguiente cuadro[31] se ofrece un resumen de estas conexiones.
2.4 ¿Qué se puede hacer contra los patrones oscuros?
Lógicamente, el primer paso es tomar conciencia de su existencia, que, como ya se ha dicho, suele ser difícil de detectar. Basándonos en las investigaciones del Premio Nobel Daniel Kahneman antes citadas, las personas y los consumidores debemos dirigir nuestro esfuerzo personal a potenciar el sistema 2 de pensamiento, evitando así el sistema 1 caracterizado por la toma de decisiones rápidas e intuitivas. Esto implica un esfuerzo de desprejuicio.
Sin duda, el esfuerzo personal requerido va a ser titánico, porque nosotros, como consumidores, nos enfrentaremos a un ejército de diseñadores equipados con el conocimiento de nuestros sesgos y manipulabilidad. Así lo confirman claramente algunas publicaciones que enumeran cientos de estrategias de diseño inteligente basadas en la forma de pensar de las personas[32].
Por lo tanto, es necesario reflexionar sobre si se puede dejar a las personas solas frente a estos malvados arquitectos de sus elecciones; si se las puede involucrar o no en una lucha David-Goliat en la que representan a las primeras, que rara vez ganan.
2.5. ¿Qué tipo de control público puede ejercerse sobre los modelos oscuros? ¿Cuál es la regulación existente sobre ellos en la Unión Europea y Estados Unidos?
A partir de lo anterior, y dado que el desarrollo de patrones oscuros implica en realidad fallos del mercado y prácticas abusivas de las empresas, parece necesario intervenir públicamente contra ellos.
Obviamente, puede haber distintos tipos de intervención[33]. Así, las intervenciones públicas pueden consistir en campañas de información al consumidor y fomento de la autorregulación de las empresas (algo que la UE lleva intentando con éxito relativamente limitado -a la vista de lo extendidas que están estas prácticas- desde 2018 con el Código de Prácticas de Desinformación[34]), así como la regulación legal de la arquitectura de decisión digital (prohibiendo y estableciendo requisitos específicos de protección al consumidor, incluyendo la tipificación, en su caso, de infracciones y sanciones -actividad tradicional de "ordeno y mando"-).
Tanto la Unión Europea como los Estados Unidos tienen normativas sobre patrones oscuros, pero su enfoque es diferente.
En Estados Unidos están entrando en vigor algunas leyes que definen y prohíben específicamente los patrones oscuros, como es el caso del Estado de California, según hemos visto más arriba.
Por el contrario, en la Unión Europea tradicionalmente no ha existido ni una definición del fenómeno ni una regulación ad hoc. Varias voces han señalado que ello no sería necesario, puesto que las normas europeas vigentes sobre protección de datos y protección de los consumidores ya lo regulan en términos generales[35]. En todo caso, la reciente aprobación, en el momento de escribir estas líneas, del Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo de 19 de octubre de 2022 relativo a un mercado único de servicios digitales y por el que se modifica la Directiva 2000/31/CE (Reglamento de Servicios Digitales), publicado en el DOUE de 27 de octubre de 2022 ha decidido, por primera vez, abordar directamente la regulación de los patrones oscures, como vamos a ver enseguida.
2.6. ¿Qué cuestiones relativas a los patrones oscuros siguen abiertas?
Es necesario arrojar más luz sobre los patrones oscuros, especialmente en el caso de la Unión Europea, pero también es esencial reflexionar sobre algunas cuestiones que siguen sin respuesta, como:
¿Subsisten los patrones oscuros por la ausencia de regulación específica o por la falta de aplicación efectiva de la regulación general existente en ámbitos como la protección de datos o la protección de los consumidores?
¿Es la autorregulación -como el Código de Prácticas de Desinformación de la UE- un instrumento realmente eficaz en este ámbito? ¿Qué modelo puede ser más eficaz, el estadounidense de prohibición y regulación explícita, o el europeo? ¿Existen suficientes mecanismos en la UE para desarrollar políticas públicas eficaces contra los modelos oscuros? Si no es así, ¿qué debería hacerse en el futuro?
Por último, aunque el análisis de la inteligencia artificial ha quedado excluido de esta primera reflexión, es imposible no preguntarse qué nos deparará en un futuro próximo el uso de algoritmos de aprendizaje automático en combinación con nudges. ¿Patrones "más oscuros"? ¿Aborda esta cuestión la reciente propuesta de Reglamento de la UE en el ámbito de la inteligencia artificial? ¿Debería?
Sin embargo, en espera de la aprobación de dicho Reglamento, la primera regulación de la UE respecto a los patrones oscuros se ha producido ya, finalmente en el Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo de 19 de octubre de 2022 relativo a un mercado único de servicios digitales y por el que se modifica la Directiva 2000/31/CE (Reglamento de Servicios Digitales), como antes avanzábamos.
En concreto, el art. 25 del Reglamento de Servicios Digitales señala ahora lo siguiente:
“Artículo 25
Diseño y organización de interfaces en línea
1. Los prestadores de plataformas en línea no diseñarán, organizarán ni gestionarán sus interfaces en línea de manera que engañen o manipulen a los destinatarios del servicio o de manera que distorsionen u obstaculicen sustancialmente de otro modo la capacidad de los destinatarios de su servicio de tomar decisiones libres e informadas.
2. La prohibición del apartado 1 no se aplicará a las prácticas contempladas en la Directiva 2005/29/CE o en el Reglamento (UE) 2016/679.
3. La Comisión podrá publicar directrices sobre cómo el apartado 1 se aplica a prácticas específicas, en particular:
El Considerando 67 del Reglamento señala respecto a los patrones oscuros (que denomina “interfaces engañosas” en traducción que pretende ser literal de la expresión “dark patterns” incluida en la versión oficial inglesa) lo siguiente
“Las interfaces engañosas de las plataformas en línea son prácticas que distorsionan o merman sustancialmente, de forma deliberada o efectiva, la capacidad de los destinatarios del servicio de tomar decisiones autónomas y con conocimiento de causa”.
Tras esta definición, el considerando se centra los efectos de estas “interfaces egañosas”:
“Estas prácticas pueden utilizarse para persuadir a los destinatarios del servicio de que adopten comportamientos no deseados o decisiones no deseadas que tienen consecuencias negativas para ellos. Por esta razón, debe prohibirse a los prestadores de plataformas en línea engañar o empujar en esta dirección a los destinatarios del servicio y distorsionar u obstaculizar la autonomía, la toma de decisiones o la capacidad de elección de los destinatarios del servicio a través de la estructura, el diseño o las funcionalidades de una interfaz en línea o una parte de esta.”
Asimismo, se indica que:
“Entre estas prácticas se han de incluir, entre otras, las opciones de diseño abusivas que dirigen al destinatario hacia acciones que benefician al prestador de plataformas en línea, pero que pueden no favorecer los intereses de los destinatarios, al presentar opciones de una manera que no es neutra, por ejemplo, dando más protagonismo a determinadas opciones mediante componentes visuales, auditivos o de otro tipo, cuando se le pide al destinatario del servicio que tome una decisión.
Otras prácticas que también deben estar incluidas son solicitar repetidamente al destinatario del servicio que tome una decisión cuando esa decisión ya ha sido tomada, hacer que el procedimiento de anulación de un servicio sea considerablemente más engorroso que la suscripción a dicho servicio, hacer que determinadas opciones sean más difíciles o lleven más tiempo que otras, dificultar excesivamente la interrupción de las compras o la desconexión de una plataforma en línea determinada que permite a los consumidores celebrar contratos a distancia con comerciantes, y engañar a los destinatarios del servicio empujándoles a tomar decisiones sobre transacciones o mediante ajustes por defecto que sean muy difíciles de cambiar, dirigiendo de forma injustificada la toma de decisiones del destinatario del servicio, de manera que se distorsione y merme su autonomía, su toma de decisiones y su capacidad de elección.”
En todo caso:
“Sin embargo, las normas contra las interfaces engañosas no deben entenderse en el sentido de que impidan a los prestadores interactuar directamente con los destinatarios del servicio y ofrecerles servicios nuevos o adicionales. Las prácticas legítimas, como las publicitarias, que sean conformes con el Derecho de la Unión no deben considerarse en sí mismas interfaces engañosas. Dichas normas sobre interfaces engañosas deben interpretarse en el sentido de que se aplican a las prácticas prohibidas que entran en el ámbito de aplicación del presente Reglamento en la medida en que no estén ya cubiertas por la Directiva 2005/29/CE o el Reglamento (UE) 2016/679.”
Partiendo de estos considerandos, como hemos visto, el nuevo art. 25 del Reglamento de Servicios Digitales prohíbe dichos patrones oscuros y anuncia la posibilidad de que la Comisión elabore directrices al respecto, lo que sin duda, puede ser de utilidad para precisar qué prácticas y en qué contexto suponen una explotación prohibida de los sesgos de las personas.
Tras considerar el problema de los patrones oscuros y las posibles soluciones legales, la segunda parte de esta reflexión se centrará en el papel de la inteligencia artificial y la intervención pública en concreto.
3. Arquitectura de decisiones y nudges digitales. ¿En contra de la humanidad? [arriba]
En el apartado anterior se ha introducido la idea de que las arquitecturas digitales de decisión y el uso de nudges digitales pueden representar graves riesgos de manipulación, tal y como declaró el Consejo de Europa en 2019, como hemos visto. Sin embargo, esa reflexión se centraba en su uso por parte del sector privado, en los llamados patrones oscuros, por lo que no se hacía referencia específica a la inteligencia artificial.
En esta parte, se complementará el análisis añadiendo el sector público y la IA al debate sobre las posibilidades y riesgos relacionados con el nudging digital.
3.1. La gran manipulación digital de nuestros sesgos cognitivos en la economía de la atención
Como se ha mencionado en la sección anterior, el uso de nudges, ya sean digitales o no, no implica necesariamente manipulación u opacidad. Los nudges digitales pueden ser perfectamente éticos y lícitos, transparentes, y fomentar el consumo de productos "deseables" o la búsqueda del interés general. De hecho, en el caso de los gobiernos y las administraciones públicas, los nudges digitales, si son transparentes y se diseñan respetando la ley, pueden ser un elemento de promoción del derecho a una buena administración, al servir a las personas con un enfoque centrado en el ciudadano[36].
Desgraciadamente, en el caso del sector privado, según voces autorizadas como Williams[37], actualmente los nudges digitales implican un proyecto de manipulación a gran escala que lleva mucho tiempo desarrollándose y que apenas ha sido reconocido hasta ahora. Este proyecto recuerda a los sistemas religiosos/míticos/totalitarios, está en manos de muy pocas personas en el mundo y se dirige al consumidor: un objetivo que se persigue gastando ingentes cantidades de dinero en publicidad (en 2017 el gasto publicitario fue de 223.000 millones y crece un 10% anual). Los consumidores, como se ha dicho, son el blanco de las manipulaciones de los sesgos cognitivos y así lo ha denunciado también Williams, que cita explícitamente a Kahneman y Tzaversky en su apoyo.
Este sistema de manipulación a gran escala opera en la economía de la atención, un entorno en el que los productos y servicios digitales compiten sin descanso para captar y explotar la atención de los consumidores[38]. Obviamente, el riesgo también puede identificarse en el caso del sector público, aunque por razones diversas[39].
3.2. La manipulación digital contra el derecho a la libertad de pensamiento, la dignidad de la persona, el libre desarrollo de la personalidad y el Estado Social y Democrático de Derecho
Es importante subrayar que la atención está ligada a la libertad y a la voluntad humana, y que el sistema de manipulación a gran escala por diseño digital que se ha descrito perjudica a ambas.
En primer lugar, porque no puede haber libertad de pensamiento sin libertad de atención. En el clásico "Sobre la libertad", libro de John Stuart Mill publicado en 1859, ya se explicaba un concepto muy similar sobre la libertad de pensamiento (p. 15 y ss.):
"Comprende, en primer lugar, el dominio interior de la conciencia; la exigente libertad de conciencia en el sentido más amplio; la libertad de pensamiento y sentimiento; la libertad absoluta de opinión y sentimiento sobre todos los temas, prácticos o especulativos, científicos, morales o teológicos. La libertad de expresar y publicar opiniones puede parecer que cae bajo un principio diferente, ya que pertenece a la parte de la conducta de un individuo que concierne a otras personas; pero, siendo casi de tanta importancia como la propia libertad de pensamiento, y descansando en gran parte en las mismas razones, es prácticamente inseparable de ella. En segundo lugar, el principio exige la libertad de gustos y actividades; de trazar el plan de nuestra vida de acuerdo con nuestro propio carácter; de hacer lo que queramos, sujetos a las consecuencias que puedan derivarse: sin impedimento de nuestros semejantes, siempre que lo que hagamos no les perjudique, aunque piensen que nuestra conducta es insensata, perversa o equivocada.
[...]
La libertad de pensamiento no se requiere sólo, ni siquiera principalmente, para formar grandes pensadores. Al contrario, es tanto o más indispensable para que los seres humanos medios alcancen la estatura mental de la que son capaces".
Cuando las interacciones digitales manipulan la libertad de atención, afectan también a la libertad de pensamiento: un derecho a la libertad protegido por la Declaración Universal de Derechos Humanos y el Convenio Europeo de Derechos Humanos (art. 9).
Tomando como ejemplo el caso español, aunque la Constitución Española no menciona explícitamente este derecho, cabe suponer que su art. 20, que salvaguarda la libertad de expresión, también protege la libertad de pensamiento. Además, como ha recordado el Tribunal Constitucional español en la sentencia número 76/2019, la libertad ideológica garantizada por el art. 16.1 de la Constitución Española tiene dos dimensiones: una es interna e implica el derecho a adoptar una determinada posición intelectual ante la vida y otras cuestiones relacionadas con ella, y a representar o juzgar la realidad de acuerdo con las convicciones personales. La otra, la externa, es la dimensión del agere licere: el derecho a actuar conforme a las propias ideas sin incurrir en sanción o demérito alguno y sin sufrir coacción o injerencia por parte de los poderes públicos.
Por tanto, se puede afirmar que un diseño digital -público o privado- que aproveche los sesgos para manipular y captar la atención de las personas puede menoscabar su derecho constitucional a la libertad de pensamiento, íntimamente ligado al valor de la dignidad y a la libertad de desarrollo de la personalidad (siguiendo con el ejemplo español, art. 10.1 de la Constitución Española).
En segundo lugar, esta manipulación de la atención implica obstaculizar la voluntad humana. No puede haber voluntad humana sin atención, porque la voluntad, que es la facultad de decidir y ordenar la propia conducta, sólo puede existir si hay atención y ausencia de manipulación. Desde un punto de vista jurídico, la manipulación digital puede considerarse, por tanto, una amenaza a la libertad de los individuos para establecer normas de conducta para sí mismos y para los demás dentro de los límites de la ley, por lo tanto, un impedimento a la autonomía de la voluntad salvaguardada por muchos ordenamientos jurídicos (utilizando de nuevo el ejemplo de España, por el art. 1255 del Código Civil).
En tercer lugar, hay que tener en cuenta que, si se juega con la libertad de pensamiento y la voluntad individual a través de la manipulación digital de millones de personas, también se afecta a la voluntad general, perjudicando así a la democracia y al Estado de Derecho. Por ello, en la sentencia citada -y en otros muchos casos similares- el Tribunal Constitucional español ha subrayado que, sin libertad de pensamiento, tampoco tendrían cabida los principios fundamentales de un ordenamiento jurídico basado en los valores democráticos y en el Estado de Derecho.
3.3. Un proyecto anti-ilustración: los modos de manipulación digital
La economía de la atención y la manipulación digital perjudican tanto a las personas como a los sistemas sociales, jurídicos y políticos. Por tanto, su impacto negativo no es trivial. Es mucho lo que está en juego.
En su libro antes citado[40], Williams propone una triple distinción útil sobre este efecto nocivo para comprenderlo mejor: el impacto sobre "el hacer" (que él llama luz del foco, spotlight), el impacto sobre "el ser" (sobre los valores que nos guían, que él llama luz de las estrellas, starlight) y el impacto sobre "el saber" (que él llama luz del día, daylight):
- La manipulación digital y las distracciones de la atención sobre "el hacer". Se trata de la típica pérdida de concentración debida a los diseños digitales destinados a distraer al individuo (siendo conscientes de que, tras cada distracción, la atención se recupera generalmente en aproximadamente 23 minutos). El autor señala que el impacto sobre "el hacer" no es sólo individual: también puede tener trascendencia social, ya que puede afectar a la vida política. De hecho, los diseños digitales pueden distraer de la información relevante que permite estar informado políticamente. Entre los ejemplos aportados por Williams se encuentran las prácticas llevadas a cabo por China y el expresidente estadounidense Donald Trump. Este tipo de manipulación, sin embargo, no es la única forma en el entorno digital y, aunque grave, no es la más corrosiva para la convivencia democrática.
- Manipulación digital y distracciones de la atención sobre "el ser". Este segundo tipo de distracción digital pretende hacer perder los valores de las personas mediante el fomento de la mezquindad (es decir, la asignación de valor intrínseco a metas y objetivos sin valor intrínseco, que suelen estar marcados por la pobreza de espíritu y la miopía, y que revelan falta de prudencia), el narcisismo y la fragmentación social, con la consiguiente erosión de valores como la cohesión social.
- Manipulación digital y distracciones de la racionalidad en relación con "el saber". Según el autor, se trata de la "distracción epistémica", que afecta a la reflexión, la memoria, la predicción, la calma, la lógica y la fijación de objetivos. El entorno digital lo hace a través de las fake news, el deterioro de la inteligencia y de las capacidades emocionales, generando estrés y otras patologías, afectando a la reflexión a través de notificaciones y aplicaciones, promoviendo la indignación moral continua y llevando a la deshumanización y al populismo. En este sentido, diversos estudios han llevado a Nicholas Carr a declarar a la BBC que nos estamos volviendo menos inteligentes, más cerrados de mente y limitados intelectualmente por la tecnología[41]. Una técnica al servicio de este deterioro del “saber” es precisamente el uso de patrones oscuros ya abordado en el apartado anterior.
Conviene recordar también que, en un conocido artículo escrito en 1784, Kant señalaba que la ilustración se caracteriza por la decisión y el valor de utilizar el propio entendimiento sin la guía de otros; el famoso sapere aude, que puede sacar a las personas de una dependencia autoculpable causada por la pereza y la cobardía[42]. Siglos más tarde, estos conceptos han vuelto a cobrar actualidad debido a la manipulación digital: un proyecto impulsado por el mercado para devolvernos a la dependencia mediante distracciones que merman nuestra atención y empujones ocultos que nos empujan hacia donde no queremos ir.
Por lo tanto, la manipulación digital puede considerarse un proyecto "anti-ilustración".
3.4. Tecnologías que incentivan la compulsión. El impacto de la inteligencia artificial (IA)
Dicho de otra forma, y según lo visto con anterioridad, la manipulación digital actúa aprovechándose de los sesgos, jugando con ellos, explotando y potenciando el sistema 1 de pensamiento y desactivando el sistema 2.
Es probable que este escenario empeore en el futuro, al menos por dos razones. La primera es el aumento potencial del ocio disponible y el consiguiente incremento del consumo de tecnologías que incentivan la compulsión.
En segundo lugar, por el impacto de la IA. En este sentido, Yeung ha introducido el concepto de "hypernudge": nudging potenciado por Big Data y algoritmos que tiene la capacidad de pasar del diseño "talla única" a nudges "a medida" -de precisión-, que se dirigen a individuos concretos en función de sus características específicas a través del aprendizaje automático (machine learning)[43].
Yeung advirtió que el nudging basado en Big Data es ágil, discreto y muy potente. Proporciona a los titulares de los datos la capacidad de generar una arquitectura de elección altamente personalizada guiando las decisiones de las personas, independientemente de que sean consumidores o usuarios de un servicio público. De hecho, la autora concibe los hiperenlaces como instrumentos de control basados en el diseño y, para dar un ejemplo directo sobre ellos, señaló el orden de las páginas de resultados que ofrecen los motores de búsqueda -por ejemplo, Google, Bing, etc.-. Estos instrumentos no nos obligan a mirar sólo las primeras webs de la lista -que resultan ser también las más favorables para el marketing de los buscadores-, ni a renunciar a los otros cientos de miles de webs, pero eso es exactamente lo que hacemos, y el buscador lo sabe, debido a nuestras limitaciones cognitivas y temporales.
El hipernudge se basa en destacar correlaciones determinadas algorítmicamente entre elementos de datos que la cognición humana no puede observar, ni siquiera con la ayuda de la tecnología informática estándar. Esto confiere un protagonismo indiscutible a los patrones de datos resaltados, ya que permiten configurar dinámicamente la elección informativa del usuario e influir en sus decisiones aprovechando el priming: el efecto psicológico por el que la exposición a un estímulo -por ejemplo, imágenes, sonidos, palabras, etc.- influye en la respuesta a un estímulo posterior y, por tanto, también en futuros comportamientos y acciones.
El nudging basado en Big Data puede ser muy útil en medicina[44] y gestión de servicios públicos[45], pero también en campos como el cumplimiento tributario y la administración tributaria, como demuestra el ejemplo del Plan Estratégico 2020-2023 diseñado por la Agencia Tributaria española[46]. Sin embargo, no hay que olvidar que también puede poner en riesgo los derechos de las personas.
Esto último es particularmente evidente en términos de protección de datos personales, como señaló el Tribunal de Distrito de La Haya a principios de 2020 con mención expresa al art. 8 del Convenio Europeo de Derechos Humanos (CEDH)[47]. En el caso en cuestión, SyRI, el Sistema Algorítmico de Indicación de Riesgos neerlandés, y las autoridades públicas que lo implementaron y gestionaron, fueron acusados de haber recopilado, durante varios años, una cantidad desproporcionada de datos personales de los contribuyentes -sobre ingresos, pensiones, seguros, tipo de vivienda, impuestos, multas, integración, educación, deudas y prestaciones por desempleo- para calcular quién tenía más probabilidades de defraudar al sistema de bienestar.
Los datos personales, sin embargo, no son lo único que está en juego. Yeung subrayó que la manipulación y el engaño son otros dos problemas críticos y que la aceptación de información por parte de los usuarios y las solicitudes de consentimiento para el uso de entornos digitales no son aptas para resolverlos. Esto enlaza con la posible violación del derecho a la libertad de pensamiento y de los principios democráticos ya mencionados.
Es evidente, por tanto, que urge diseñar mecanismos adecuados para prevenir estos graves riesgos digitales.
3.5. ¿Qué debe -y no debe- hacerse?
A la luz de la situación descrita y de la probabilidad de que se produzcan acontecimientos futuros peligrosos, resulta útil tener en cuenta el Manifiesto Onlife financiado por la Comisión Europea[48], en el que se subraya que:
"En la economía digital, la atención se enfoca como una mercancía que se intercambia en el mercado o que se canaliza en los procesos de trabajo. Pero este enfoque instrumental de la atención descuida sus dimensiones sociales y políticas, es decir, el hecho de que la capacidad y el derecho a centrar nuestra propia atención es una condición crítica y necesaria para la autonomía, la responsabilidad, la reflexividad, la pluralidad, la presencia comprometida y el sentido. En la misma medida en que los órganos no deberían intercambiarse en el mercado, nuestras capacidades atencionales merecen un trato protector. El respeto de la atención debería estar vinculado a derechos fundamentales como la intimidad y la integridad corporal, ya que la capacidad atencional es un elemento inherente al yo relacional por el papel que desempeña en el desarrollo del lenguaje, la empatía y la colaboración. Creemos que, además de ofrecer opciones informadas, los ajustes por defecto y otros aspectos diseñados de nuestras tecnologías deberían respetar y proteger las capacidades atencionales".
Como ya se ha señalado, defender la atención de la manipulación y el engaño significa defender la libertad de pensamiento y la voluntad humana, tanto a nivel individual como colectivo. Se trata de una tarea política que requiere una reforma previa del actual sistema totalitario de las tecnologías de la información, porque el diseño digital es la política detrás de la política.
Antes de proponer medidas concretas, hay algunas acciones y actitudes que conviene evitar para hacer frente a los peligros descritos. "No hacer nada" es la primera postura desaconsejable, porque las evidencias existentes sugieren la necesidad de adoptar un enfoque activo y preventivo (basado en el principio de precaución) frente a las tecnologías, especialmente en el ámbito social. Tampoco se puede resolver el problema aconsejando a los usuarios que se desconecten o se adapten a la situación actual. Además, consideramos imprudente e inconveniente confiar únicamente en la autorregulación y la ética de las empresas tecnológicas, ya que éstas pueden ser sólo una fachada y un intento de dejar de lado el Derecho[49].
¿Qué hacer entonces? La solución pasa por introducir incentivos en el diseño de las tecnologías que beneficien a consumidores y usuarios y contribuyan a hacerlas más humanas.
Las principales intervenciones que podrían ayudar a mover la economía de la atención en la dirección correcta son: (1) repensar la naturaleza y el propósito de la publicidad, (2) la reingeniería conceptual y lingüística, (3) cambiar los determinantes previos del diseño, y (4) avanzar en mecanismos de responsabilidad, transparencia y medición.
1) Publicidad: en este campo, Williams sugiere en su libro que el software de bloqueo de anuncios sea obligatorio y se active por defecto, pudiendo el usuario desbloquearlo si lo desea. Así, aunque no utiliza el término "nudge", esto es exactamente lo que quiere decir al proponer una opción por defecto o, más concretamente, un opt-in: no recibir publicidad a menos que yo decida recibirla. Se trata de una propuesta importante que nos lleva a reflexionar también sobre la batalla legal que se libra desde hace años contra las aplicaciones de bloqueo de anuncios en Internet[50].
2) Lenguaje: Williams identifica varios términos relacionados con el lenguaje de la persuasión digital, que agrupa en tríadas, de menor a mayor impacto sobre la atención y la voluntad de las personas: invitar-tentar-seducir / sugerir-persuadir-exigir / dirigir-guiar-impulsar. Es necesario avanzar en la especificación de cuáles son estos contextos de persuasión, porque, como decía Wittgenstein, "los límites de mi lenguaje significan los límites de mi mundo (Tractatus Logico-Philosophicus, proposición 5.6)". Para lograr un diseño más humano de las tecnologías es, por tanto, abrumadoramente importante nombrar, clasificar y reflexionar sobre los nudges digitales[51].
3) Modificación del diseño tecnológico: los responsables políticos deben desempeñar un papel fundamental en la respuesta a la crisis de la economía de la atención digital. Podemos inspirarnos en las normativas predigitales sobre el correo basura o las llamadas de telemarketing, que, al fin y al cabo, trataban de evitar intrusiones no deseadas en la vida privada. La transparencia sobre los objetivos del diseño digital es primordial[52].
Ya se pueden observar ejemplos de cómo los responsables políticos y los jueces pueden proteger a los ciudadanos de la manipulación y el engaño digital. Algunos de ellos pueden encontrarse en la sentencia de 1 de octubre de 2019 del Tribunal de Justicia de la Unión Europea (TJUE), Gran Sala, en la que se establece que la existencia de un consentimiento genuino implica evitar las casillas marcadas por defecto, de acuerdo con el Derecho de la UE (Directiva 2002/58/CE sobre privacidad, art. 6 del Reglamento General de Protección de Datos y Directiva 95/46/CE)[53].
Otra línea de intervención interesante podría ser la creación de plataformas de medios digitales que podrían desempeñar un papel similar al que la radiodifusión pública ha desempeñado en los medios de comunicación tradicionales. De acuerdo con este planteamiento, que considera la prestación de servicios públicos digitales para contrarrestar las manipulaciones mencionadas y aumentar las "luces" (que, no obstante, deberían controlarse por su potencial para crear riesgos similares), merece la pena llamar la atención sobre la experiencia italiana ITsART[54]. Se trata de una nueva plataforma promovida por el Ministerio de Cultura italiano y la Cassa Depositi e Prestiti (Caja de Depósitos y Préstamos de Italia) para la distribución mundial de contenidos artísticos y culturales en formato digital. El socio comercial del proyecto es CHILI Spa, empresa seleccionada por sus conocimientos industriales y tecnológicos. ITsART se gestiona a través de una sociedad con un 51% de participación pública; una asociación público-privada en la que CHILI Spa sólo posee el 49% de las acciones.
Esta última propuesta cuestiona la idea generalizada de que el Estado debe retirarse siempre de la prestación de servicios públicos y convertirse en un mero garante o regulador, dadas sus carencias e insuficiencias frente al sector privado. Esto no es cierto ni necesario en todos los casos, a menos que se defienda con un objetivo ideológico específico, como señaló hace algún tiempo el Premio Nobel Herbert Simon[55]. Evitar ese sesgo ideológico es crucial, así como analizar caso por caso si la intervención de las Administraciones se hace necesaria y apta para servir al interés general, tanto en el mundo digital como fuera de él. La idea de una democracia formal como garante de derechos y libertades formales debe dar paso a una democracia material que permita a todos disfrutar de esos derechos y libertades de forma igualitaria; algo que sería imposible sin reforzar el principio de igualdad. La libertad sin igualdad es un concepto vacío. De ahí la necesidad de que los gobiernos dirijan la vida económica y se esfuercen por alcanzar el máximo bienestar general.
4) Rendición de cuentas y medición: aunque culpar a los diseñadores de bajar nuestras "luces" no es sensato -ya que es el resultado de un funcionamiento sistémico que incentiva la manipulación-, la introducción de un juramento profesional para los diseñadores digitales, similar al juramento hipocrático, puede ser una buena opción, según Williams. Sin embargo, también admite que su aplicación no estaría exenta de complicaciones, especialmente debido a la pluralidad de profesiones que intervienen en el diseño digital, incluidas personas sin formación específica, y a la falta de asociaciones profesionales[56].
3.6. Insuficiencias de la ética y la autorregulación (incluso regulada): lobbies y regulación
Así las cosas, queda claro que la combinación de diseño digital, nudges (incluyendo patrones oscuros), explotación de sesgos cognitivos, Big Data e IA puede crear un cóctel explosivo para la libertad y el libre albedrío de los ciudadanos y para el funcionamiento de los Estados Sociales y Democráticos de Derecho. Sin embargo, no debemos "tirar las campanas al vuelo" y negar o desaprovechar el potencial de todas estas técnicas y tecnologías al servicio del interés general. Parece claro que las amenazas a la democracia y a los derechos de las personas descritas anteriormente no pueden atajarse únicamente mediante la autorregulación de las empresas privadas o entusiastas llamamientos a la ética; del mismo modo que las enfermedades graves no pueden curarse únicamente con amor y oraciones.
El papel del Derecho y, dentro de él, de los nudges positivos en defensa de los ciudadanos es una cuestión más acuciante que nunca. En Europa ya hemos tenido amargas experiencias con la autorregulación -incluida la autorregulación regulada-, por ejemplo, en el sector bancario. Así lo puso de manifiesto la Gran Recesión y así lo reconoció la Comisión Europea, al señalar que los actores financieros habían determinado erróneamente sus actuaciones y políticas empresariales con nefastas consecuencias[57].
Esperemos que no se repitan los mismos errores en el ámbito digital y se aprenda de las frustraciones generadas por la ineficacia de la autorregulación, como en el caso del Código de Desinformación de la UE mencionado con anterioridad. Este ejemplo de autorregulación ha sido evaluado por la Comisión Europea, que considera que la evaluación "ha revelado deficiencias significativas. Entre ellas se incluyen la aplicación incoherente e incompleta del Código entre plataformas y Estados miembros, limitaciones intrínsecas a la naturaleza autorreguladora del Código, así como lagunas en la cobertura de los compromisos del Código. La evaluación también destacó la falta de un mecanismo de supervisión adecuado (...), la falta de compromisos sobre el acceso a los datos de las plataformas para la investigación sobre la desinformación y la escasa participación de las partes interesadas, en particular del sector de la publicidad". Por ello, la Comisión Europea concluye que es necesario "transformar el Código en un instrumento más sólido para hacer frente a la desinformación y crear un entorno en línea más seguro y transparente".
En la misma línea, la OCDE ha señalado que "la autorregulación de la industria[58] puede ser un complemento ventajoso de las políticas gubernamentales, pero también plantea una serie de retos" y que "el uso de la ISR para ayudar a abordar los problemas de los consumidores debe considerarse sistemáticamente cuando los responsables políticos y las autoridades encargadas de hacer cumplir la ley desarrollen opciones para tomar medidas […] la RSI puede formar parte de una respuesta polifacética a un problema, apoyando otras medidas que puedan adoptar los gobiernos. Con respecto al desarrollo, el seguimiento y la evaluación de estos mecanismos, parece que la participación de las partes interesadas ha sido limitada, y que puede ser beneficioso explorar si hay formas de reforzar esa participación, de manera que beneficie a todas las partes interesadas"[59].
Aunque las poderosas fuerzas del mercado opuestas a la regulación en aras del interés general probablemente seguirán actuando como grupos de presión contra una regulación más estricta cuando, en su caso, lo entiendan necesario, se trata de ser oportunos y evitar la opacidad a gran escala y la mutación psicológica negativa de los consumidores, los ciudadanos y los sistemas políticos democráticos.
El futuro reglamento europeo sobre la IA ofrece una oportunidad ideal para debatir estas cuestiones y, por tanto, para ir más allá de la necesaria pero insuficiente preocupación por la protección de los datos personales[60]. El Título II de la propuesta de reglamento hecha pública en abril de 2021 establece una lista de IA prohibidas. Esta propuesta de reglamento sigue un enfoque basado en el riesgo, diferenciando entre los usos de la IA que constituyen (i) un riesgo inaceptable, (ii) un riesgo elevado, y (iii) un riesgo bajo o mínimo. La lista de prácticas prohibidas incluida en el Título II comprende todos aquellos sistemas de IA cuyo uso se considera inaceptable por contravenir los valores de la UE; entre ellos, "la comercialización, puesta en servicio o uso de un sistema de IA que despliegue técnicas subliminales más allá de la conciencia de una persona con el fin de distorsionar materialmente el comportamiento de una persona de manera que cause o pueda causar a esa persona o a otra un daño físico o psicológico" (art. 5.1.a)
Cabe señalar también que la propuesta señala que otras prácticas de manipulación o explotación facilitadas por los sistemas de IA podrían estar cubiertas por la legislación sobre protección de datos, protección de los consumidores y servicios digitales, garantizando que las personas estén debidamente informadas y puedan elegir libremente no ser sometidas a la elaboración de perfiles u otras prácticas que puedan afectar a su comportamiento.
La referencia al daño físico o psicológico, sin embargo, no es particularmente apropiada, dada la importancia de los diseños digitales en relación con la IA potencialmente manipuladora. Debería sustituirse por una simple mención a la posibilidad de provocar o inducir a error o engaño, afectando así a la autonomía de la voluntad. A este respecto, ya se mencionó en la sección anterior la reciente modificación de la Ley de Derechos de Privacidad de California (CPRA) de 2020 para prohibir los patrones oscuros.
En suma, valdría la pena reformular el proyecto de reglamento europeo incluyendo la prohibición de cualquier sistema de IA que despliegue técnicas subliminales más allá de la conciencia de una persona con el fin de distorsionar su comportamiento para subvertir o perjudicar su autonomía, toma de decisiones o elección. Esta es la línea del Reglamento UE de Servicios aprobado en 2022, prohibiendo los patrones oscuros, como hemos visto anteriormente.
La preocupación por el conocimiento conductual en el ámbito digital ha cobrado gran importancia durante la pandemia de COVID-19. Aunque el nudging digital puede ser útil para hacer efectivo el derecho a una buena administración, puede dar lugar a manipulaciones inaceptables. En este ámbito, el posible uso por parte del sector público y privado de los denominados patrones oscuros, sobre los que el Parlamento Europeo ha propuesto recientemente incluir una prohibición en la futura Ley de Servicios Digitales, y lo que se conoce como hypernudging plantea dudas jurídicas sobre una posible vulneración de la libertad de pensamiento, tal y como ha indicado el Comité de Ministros del Consejo de Europa en una reciente declaración de 2019. El Reglamento UE de Servicios Digitales aprobado en 2022 ha introducido por primera vez una regulación de los patrones oscuros en el ámbito europeo y el futuro reglamento de Inteligencia Artificial podría y debería introducir disposiciones que eviten también los peores efectos de la manipulación digital.
La puerta está abierta para utilizar lo mejor de la inteligencia artificial y evitar lo peor, mediante regulaciones europeas y nacionales razonables que eviten que los ciudadanos nos convirtamos en zombis digitales en manos de gobiernos y corporaciones.
*Catedrático de Derecho Administrativo. Universidad de Barcelona.
[1] Una versión del presente trabajo, uno de los resultados de investigación del proyecto PID2020-115774RB-I00, financiado por MICIN/AEI/10.13039/501100011033, fue originalmente publicado con el título “Law, Digital Nudging and Manipulation: Dark Patterns, Artificial Intelligence and the Right to Good Administration” en el núm. 1, vol. 3 (2022) de la European Review of Digital Administration & Law. El presente estudio parte de esa previa versión inglesa, cuya traducción se ha elaborado en el marco del proyecto TED2021-129283B-I00, financiado por MCIN/AEI/10.13039/501100011033 y la Unión Europea NextGenerationEU/PRTR, pero el autor ha introducido nuevas reflexiones originales en torno al impacto de la aprobación del Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo de 19 de octubre de 2022 relativo a un mercado único de servicios digitales y por el que se modifica la Directiva 2000/31/CE (Reglamento de Servicios Digitales).
[2] Véanse las cifras facilitadas por WARC, en Global Ad Trends: State of The Industry 2020/21.
[3] R. H. Thaler, C.R. Sunstein & J.P. Balz, Choice architecture, en E. Shafir (ed.), The behavioral foundations of public policy, Princeton, N.J., Princeton University Press, 2013, 428.
[4] M. Lavi, Evil nudges, en Vanderbilt Journal of Entertainment & Technology Law, vol. 21, núm. 1, 2018, 1.
[5] R.H. Thaler, Nudge, not sludge, en Science, vol. 361, núm. 6401, 2018, 431.
[6] Según la «Fundación del Español Urgente», Fundéu-BBVA (fundeu.es), La palabra española acicate es una alternativa válida al anglicismo nudge: https://www.fu ndeu.es/re comendacion/ acicate-alte rnativa-a-nud ge/ . Sin embargo, se prefiere mantener en este documento la palabra original inglesa, al provenir el texto de una versión original en ese idioma.
[7] R.H. Thaler & C.R. Sunstein, Nudge. The Final Edition, Londres, Penguin Books, 2021.
[8] M. Weinmann, C. Schneider & J. vom Brocke, Digital Nudging, en Business & Information Systems Engineering, vol. 58, núm. 6, 2016, 433.
[9] J. Ponce, The Right to Good Administration and the role of Administrative Law in promoting good government, en A. Cerrillo & J. Ponce (eds.), Preventing Corruption and Promoting good Government and Public Integrity, Bruselas, Bruylant, 2017, 25.
[10] Vid. Declaración sobre the manipulative capabilities of algorithmic processes, disponible oficialmente sólo en inglés y francés, en www.coe.int.
[11] Towards regulation of AI systems, 2020 (disponible, también solo en inglés y francés, en https://edoc.c oe.int/en/artificia l-intelligence/ 9656-toward s-regulation- of-ai-systems.html).
[12] Vid. Dark Patterns, en www.darkpatterns.org.
[13] California Privacy Rights Act (CPRA), del año 2020.
[14] C. Álvarez, Dark Patterns: the dark side of the UX, en www.wildwildweb.es; Dark Data — Zines, en www.parsons.edu.; Dark patterns - Types of dark pattern, en www.dark patterns .org.
[15] Se opta por dejar la identificación del nombre de cada patrón en inglés, por su difusión más común en esta lengua, aunque se añaden algunas notas útiles para la comprensión en castellano (N. de la T.).
[16] Véanse ejemplos en confirmshaming, en www.tu mblr.com.
[17] Pueden verse también ejemplos en www .tumblr.com.
[18] Ejemplos en Forced continuity - a type of dark pattern, en www.darkpatter ns.org.
[19] Pueden verse igualmente ejemplos en www.da rkpatterns.org.
[20] Cfr. After Lawsuit Settlement, LinkedIn’s Dishonest Design Is Now A $13 Mil, en www.fastco mpany.com.
[21] Es un patrón particularmente difícil de definir. Pueden verse ejemplos en Misdirection, en www.darkpa tterns.org.
[22] Ejemplos en Price comparison prevention - a type of dark pattern, www.darkpatt erns.org.
[23] Ejemplos en www.darkpatte rns.org.
[24] También ejemplos en Roach motel - a type of dark pattern, en www.d arkpatterns.org.
[25] Pueden verse asimismo ejemplos en Bait and switch - a type of dark pattern, en www.darkpatt erns.org.
[26] Otros ejemplos en www.dark patterns.org.
[27] Más información en Hidden costs, en www.dark patterns.org.
[28] Esos diseños resultaron ser tan significativos que un miembro del consejo editorial del New York Times les dedicó un artículo de opinión: The Internet's 'Dark Patterns' Need to Be Regulated, disponible en ww w.nytimes.com.
[29] D. Kahneman, Thinking, fast and slow, Penguin Books, Londres, 2011.
[30] A. Mathur, G. Acar, M. J. Friedman, E. Lucherini, J. Mayer, M. Chetty & A. Narayanan, Dark Patterns at Scale: Findings from a Crawl of 11K Shopping Websites, en CSCW, art. 81, 2019.
[31] Extraído del trabajo citado en la nota precedente.
[32] S. M. Weinschenk, 100 Things Every Designer Needs to Know about People, Indianapolis, IN, New Riders Publishing, 2011.
[33] R. Rist, Carrots, Sticks and Sermons. Policy Instruments and Their Evaluation, Londres, Routledge, 2003.
[34] Puede accederse al texto del código en www.arc hive-it.org.
[35] S. Rieger & C. Sinders, Dark Patterns: Regulating Digital Design, Stiftung Neue Verantwortung, 2020; S. Berbece, Let There Be Light! Dark Patterns Under the Lens of the EU Legal Framework, KU Leuven Student Master´s work, 2019, accessible en SSRN: https://ssrn.com/abstract=3472316.
[36] J. Ponce (ed.), Nudges, Good Governance and Good Administration. Behavioral Insights, Nudging and Public and Private Sectors, Atenas, European Public Law Organization (EPLO), 2022. Existe versión española publicada por editorial Marcial Pons: J. Ponce (Coord), Acicates (nudges), buen gobierno y buena administración. Aportaciones de las ciencias conductuales, nudging y sectores público y privado, colección “Derecho, buen gobierno y transparencia”, Marcial Pons Ediciones, 2022.
[37] En este punto se consideran las notables reflexiones que ofrece el libro de James Williams, Stand out of our Light. Freedom and Resistance in the Attention Economy, Cambridge, Cambridge University Press, 2018. Esta interesante publicación del cofundador de "Time Well Spent" -movimiento que dio lugar a la creación del Center for Humane Technology- ganó el premio Nine Dots. James Williams trabajó como estratega en Google durante 10 años y, a raíz de esta experiencia, decidió dejar la empresa para doctorarse en Oxford e investigar sobre la filosofía y la ética de la tecnología.
[38] "...cuando utilizamos el término "atención" en el lenguaje cotidiano, solemos referirnos a lo que los científicos cognitivos llaman el "foco" de atención, o la dirección de nuestra conciencia momento a momento dentro del dominio de la tarea inmediata": J. Williams, Stand out of our Light, 44-45.
[39] Un artículo publicado en The Guardian el 8 de septiembre de 2021 subraya, en relación con el Gobierno británico, que algunos estudios muestran un uso cada vez mayor por parte del Gobierno de datos sensitivos para incentivar comportamientos. Véase TechScape: Should government use the web to nudge our behaviour? en www.thegu ardian.com.
[40] J. Williams, Stand out of our Light, 2018.
[41] Pueden verse así sus declaraciones en https://www.bbc.c om/mundo/notic ias-55856164.
[42] Beantwortung der Frage: Was ist Aufklärung?, usualmente conocido como “¿Qué es la ilustración”, es un ensayo de 1784, publicado en diciembre de ese año en Berlinische Monatsschrift.
[43] K. Yeung ‘Hypernudge’: Big Data as a mode of regulation by design, Information, en Communication & Society, vol. 20, núm. 1, 2017, 118.
[44] D. Misawa, J. Fukuyoshi & S. Sengoku, Cancer Prevention Using Machine Learning, Nudge Theory and Social Impact Bond, en International Journal of Environmental Research and Public Health, vol. 17, núm. 3, 2020, 790.
[45] J. Ponce, El derecho a una buena administración y la personalización de los servicios públicos. Sesgos, “nudging” e inteligencia artificial, en B. Puentes Cociña & A. Quintiá Pastrana (eds.), El derecho ante la transformación digital: oportunidades, riesgos y garantías, Barcelona, Atelier, 2019, 51.
[46] Puede consultarse en https://sede .agenciatrib utaria.gob.es/S ede/planificacion/ plan-estrategico-a gencia-tributaria-20 20-2023.html.
[47] El Tribunal (Rechtbank Den Haag) sostuvo el 5 de febrero de 2020 que el sistema de algoritmos System Risk Indication (SyRI), un instrumento legal que el gobierno neerlandés utilizaba para detectar el fraude en ámbitos como prestaciones, subsidios e impuestos, violaba el artículo 8 del CEDH (derecho al respeto de la vida privada y familiar).
[48] L. Floridi, The Onlife Manifesto. Being Human in a Hyperconnected Era, Berlín, Springer, 2015,13, § 4.6. Disponible en https://link.springer. com/book/10.1007/97 8-3-319-04093-6.
[49] Al respecto puede verse la entrevista con la prof. Karen Yeung en https://www.birmin gham.ac.uk/resea rch/quest/em erging-fron tiers/AI-and-the-la w.aspx.
[50] A.M. Russell, The Legal Fate of Internet Ad-Blocking, en Boston University Journal of Science & Technology Law, 24, 2018, 299.
[51]"Aclarar el lenguaje de la persuasión tendrá el beneficio añadido de garantizar que no anclemos implícitamente la ética de la atención y la persuasión en cuestiones de adicción", que es un problema central, pero también "una distracción conveniente de cuestiones más profundas sobre el propósito fundamental de un diseño": J. Williams, Stand out of our Light, 114.
[52] En su libro, Williams llega a proponer la introducción de una tasa por superar determinados niveles de "compensación de atención". Esta idea, que implica castigar a las empresas por provocar daños intencionados, no fue más detallada y desarrollada por el autor; sin embargo, refleja claramente el importante papel que debe desempeñar la ley.
[53] Precisamente por esta normativa, España añadió en 2014 el art. 60 bis al Real Decreto Legislativo 1/2007, de 16 de noviembre, por el que se aprueba el texto refundido de la Ley General para la Defensa de los Consumidores y Usuarios y otras leyes complementarias. En concreto, el art. 60 bis establece que los consumidores y usuarios tienen derecho al reembolso de los pagos adicionales cobrados por el comerciante sin su consentimiento expreso a través de las opciones por defecto.
[54] Vid. www.ITsART.tv.
[55] H.A. Simon, Why Public Administration?, en Journal of Public Administration Research and Theory, vol. 8, núm. 1, 1998, 1.
[56] Para superarlas, el autor estudia cómo elaborar el juramento y qué contenido debería tener, haciendo una propuesta concreta: J. Williams, Stand out of our Light, 120.
[57] Comisión Europea, Green Paper - Corporate governance in financial institutions and remuneration policies {COM(2010) 286 final} {SEC(2010) 669}.
[58] ISR, por las siglas en inglés de Industry Self-Regulation (N. de la T.).
[59] OCDE, Industry Self-Regulation: Role and Use in Supporting Consumer Interests, 2015, disponible,en inglés y francés, en: Industry Self-Regulation: Role and Use in Supporting Consumer Interests, www.oecd.org.
[60] Toda la información sobre la propuesta puede consultarse en https://digital-str ategy.ec.europa .eu/es/library/prop osal-regulation -laying-down-harm onised-rules-artific ial-intelli gence.
