Discriminação algorítmica e o sequestro do livre arbítrio humano

Algorithmic discrimination and the kidnapping of human free will

Juliana Callado Gonçales[1]
Silveira Advogados
juliana@silveiralaw.com.br

Datos del Artículo:

Recibido: 30-11-2022

Aprobado: 19-12-2022

Introdução [arriba] 

Informação é poder e na era da sociedade digital essa máxima é ainda mais exponencial. Estamos cada vez mais conectados, compartilhamos nossas informações pessoais mais íntimas sem ter a menor consciência de como serão utilizadas, por que são necessárias?

Privacidade e proteção de dados pessoais assumem posição de destaque na era da vigilância. Temos regras que ajudam a diminuir a nossa vulnerabilidade, mas como aplicá-las?

O propósito deste texto é despertar a consciência da importância de entendermos melhor o que há por trás de todo esse ecossistema tecnológico e como navegarmos nele com o mínimo de segurança.

1. O que é um algotitmo e como eles impactam a nossa vida? [arriba] 

Os algoritmos podem ser definidos como uma sequência de comandos e instruções programados para a resolução de um problema ou para a execução de tarefas pré-determinadas.

Trata-se de uma fórmula matemática com uma sequência de raciocínios, instruções ou operações direcionadas para se alcançar um objetivo previamente definido. Os passos que devem ser seguidos são finitos e devem ser operados sistematicamente. Haverá sempre uma informação de entrada (input) e uma de saída (output), que serão mediadas e decorrentes das instruções determinadas pelo desenvolvedor da fórmula algorítmica.

A utilização dos algoritmos nas mais variadas rotinas sociais está aumentando de forma significativa. Cada vez mais tomada de decisões dependem exclusivamente de fórmulas algorítmicas, fazendo com que as decisões automatizadas (sem a participação humana) sejam cada vez populares. Algoritmos podem ser utilizados em praticamente todos os setores sociais.

O desenvolvimento tecnológico e o advento do Big Data contribuíram com a expansão algorítmica no setor privado e nas tarefas governamentais. Essa propagação dos algoritmos impacta significativamente as relações sociais, pois decisões que até então eram tomadas por seres humanos, passam a ser tomadas por algoritmos.

Um exemplo que nos sujeitamos diariamente (muitas vezes sem qualquer consciência desse fato) é o algoritmo das redes sociais, responsável por definir o que irá aparecer no seu feed de notícias.

Softwares conectados nas câmeras dos aparelhos celulares, notebooks, e TV já são capazes de detectar as emoções humanas com base nos movimentos dos olhos e dos músculos faciais. Com isso, muitas vezes sem sermos informados de forma clara e transparente, estamos diante de dispositivos que mapeiam situações que nos fazem rir, chorar, que nos irritam ou que nos deixam entediados.

Com desenvolvimento do biohacking[2]  será possível ter pleno conhecimento de como cada evento cotidiano influencia o nosso ritmo cardíaco, nossa respiração, atividade cerebral e hormônios.

Esses algoritmos permitiram que empresas e governos saibam, melhor que nós mesmos, sobre a nossa personalidade, o que nos emociona e o que nos impacta positiva ou negativamente. Isso é um caminho muito perigoso, por permitir manipulações, discriminações, entre outras consequências negativas.

Infelizmente, o efeito de hackear a tomada de decisão dos humanos não está sendo estudado na mesma proporção da criação de novas tecnologias que nos monitoram e decidem por nós.

O sequestro da tomada de decisões dos humanos faz com que nos tornemos cada vez mais dependentes dos algoritmos. Pouco a pouco podemos perder a capacidade de decidir já que o algoritmo passa a fazer isso por nós nas mais variadas situações rotineiras. Hoje um algoritmo já define os nossos trajetos (waze), com quem nos relacionamos (redes sociais em geral), o que assistimos (Netflix) e até como nos informamos (google).

A vida humana gira em torno da tomada de decisões. São nossas decisões que determinam o rumo da nossa vida. Toda consequência é o resultado de uma decisão. Todo drama da vida humana gravita entre diversas decisões possíveis.

Se paramos de desenvolver a nossa aptidão de tomar decisões, delegando-as aos algoritmos, a nossa vida passará cada vez mais definida por eles, ou melhor, pela organização, privada ou púbica, que os desenvolveu.

A aptidão de tomar decisões é como um músculo, pare de estimulá-la e ela atrofiará. Quanto menos decisões tomamos, mais inseguros nos tornamos para decidirmos sobre o rumo da nossa vida. Sem perceber, pouco a pouco vamos confiando menos em nós e mais nos algoritmos.

Será esse o caminho que a nossa sociedade quer trilhar ou é algo que sendo imposto de forma mascarada por meio de aplicativos que “gentilmente” facilitam a nossa vida? E são disponibilizados de forma gratuitas? Somos os consumidores ou o produto nesse ecossistema? Se somos os produtos, quem são os consumidores?

Esse texto não pretende demonizar a internet, tampouco encontrar um vilão para a sociedade. O propósito é despertar a nossa consciência a enxergar o que está por traz de tantas facilidades oferecidas gratuitamente por empresas de tecnologia.

Ora, se as suas informações estão sendo registradas e utilizadas para os mais diversos fins você não deveria, pelo menos, ser claramente informado sobre isso? Você não deveria ser remunerado por isso, já que organizações lucram altas cifras com as suas informações? Não haveria um limite? Regras? 

Informações pessoais não são ativos empresariais, tampouco são de propriedade da administração pública, elas pertencem aos seus titulares, que devem participar da tomada de decisões sobre a sua utilização.

No Brasil, a Lei Federal nº 13.709/2018, mais conhecida por Lei Geral de Proteção de Dados Pessoais, ou simplesmente “LGPD” tem como objetivo maior proteger a privacidade, os direitos fundamentais e o livre desenvolvimento da personalidade humana. Ora, esse último aspecto tem grande relação com o dito acima.

O desenvolvimento da personalidade humana depende das escolhas que fazemos sobre o que vivenciar, o que estudar, o que consumir, com quem se relacionar, onde trabalhar, onde morar etc. Ou seja, depende de decisões.

Por isso essa pauta é tão importante: passar a autoridade decisória dos humanos para os algoritmos impacta no desenvolvimento da nossa personalidade. Em larga escala, impacta na estrutura da nossa sociedade. O que isso vai causar a longo prazo? A verdade é que ninguém sabe ou quase ninguém.

O grande problema é a sensação de que os algoritmos estão apenas nos auxiliando. Tudo é passado como se eles fossem bons “conselheiros”, desenvolvido de forma que não pareça que a autoridade decisória está sendo retirada do ser humano.

Um dos fundamentos da LGPD é a autodeterminação informativa, que visa assegurar aos titulares o poder de gerenciar as operações realizadas com suas informações pessoais, e quando não for possível ter esse controle, que seja garantida ao menos a transparência com relação aos seus dados.

Na prática, isso significa que empresas e governos devem ser claros com os titulares sobre o que realmente é feito com os dados pessoais coletados e dar a oportunidade de decisão, quando possível, sobre o que pode, ou não, ser feito com os dados pessoais.

Importante ressaltar que ser claro significa informar sem uso de linguagem técnica, usar técnicas de designer para que seja possível transmitir a informação de forma acessível. Logo, textos enormes com letras minúsculas não cumprem esse propósito. Permitir efetivamente a gestão dos tratamentos e não simplesmente impô-los, exceto quando indispensável para a prestação do serviço ou para execução de políticas públicas, é o que rege esse direito.

Outro importante direito previsto na LGPD é a revisão de decisões automatizadas (art. 20), que dispõe o seguinte:

Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade.

- 1º O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.

- 2º Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.

Esse dispositivo legal garante o direito de questionar os critérios da decisão algorítmica, de modo que seja possível entender quais critérios a fundamentaram. Trata-se de importante instrumento para questionar eventuais discriminações ou qualquer outra forma de violações de direitos feita pelos algoritmos.

Considerando que cada vez mais decisões são tomadas por algoritmos, esse dispositivo legal é um importante instrumento para proteger os titulares dos impactos dessas decisões. Grandes conjuntos de dados utilizados para a elaboração da fórmula algorítmica podem ter erros de registro, ser imprecisos e com isso produzir resultados tendenciosos.

Fogarolli Filho (2022) com sábias palavras ressalta:

"Não se pode admitir que seja considerada válida a decisão tomada por um algoritmo que tenha utilizado no seu modelo de dados pessoais obtidos de forma ilícita, justamente por conta da ilicitude da origem (base de dados) da decisão. A ideia aqui proposta é que se aplique a “Teoria dos Frutos da Árvore Envenenada” às decisões algorítmicas, propondo que se consiga alcançar o mínimo de transparência no ato da tomada de decisão gerada pela inteligência artificial."

O direito de revisão de decisões automatizadas assegurado pela LGPD (art. 20), garante àquele que tiver o seu crédito negado por uma instituição financeira, por exemplo, questionar quais os critérios e informações foram consideradas para tal decisão. Isso é muito importante e uma grande proteção para o titular, primeiro porque o algoritmo não é infalível, segundo porque as informações pessoais consideradas para a decisão podem estar desatualizadas ou equivocadas.

A programação do algoritmo não está isenta de obedecer a legislação e de observar preceitos éticos e morais. A definição dos perfis pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade não pode ser determinado exclusivamente por uma fórmula matemática. A participação do titular é fundamental para decisões adequadas e justas, principalmente considerando os impactos que irão causar na sua vida.

A utilização de algoritmos pode trazer sérios problemas pela falta de transparências nos critérios definidos no momento da sua programação e pela falta de conhecimento técnicos daqueles que o operam. As consequências jurídicas da decisão algorítmica devem ser consideradas, sob pena de normalizarmos as manipulações e discriminações.

Nosso esforço enquanto sociedade é exigir o cumprimento desses direitos por empresas e governos. A conscientização é o caminho. Na sociedade digital novos direitos são necessários para garantir o respeito à dignidade humana, livre desenvolvimento da personalidade e a democracia.

2. Ditadura e discriminação digital: Possível realidade ou teoria da conspiração? [arriba] 

Nos filmes de ficção científica não é raro vermos robôs se rebelando contra a humanidade e ganhando “vida própria”. Contudo, não é esse o medo que devemos ter das máquinas, ao contrário, devemos temer o fato de elas fazerem exatamente aquilo que foram programadas para fazer, ou seja, seguir a fórmula matemática (algoritmo) programada.

A obediência cega dos algoritmos em mãos de pessoas benignas pode trazer frutos positivos, já em mãos de pessoas cruéis trará consequências nefastas.

A vigilância que estamos submetidos através dos dispositivos eletrônicos de “uso obrigatório” para a convivência social praticamente anularam a nossa privacidade. Nossas informações são monitoradas o tempo todo. Essa vigilância acompanha nossas atividades, monitora as nossas emoções e está prestes em entrar na nossa pele para observar nossas experiências mais íntimas.

Qual o propósito de captar todas essas informações? Por que nossos sentimentos, emoções e vivências interessam tanto para empresas de tecnologia e governos?

Os Big Datas permitem o processamento de grande quantidade de informações centralizadas. Sistemas centralizados são muito mais eficientes do que sistemas difusos. Concentrando a informação de todos os nacionais em um único banco de dados e desconsiderando qualquer conceito de privacidade e proteção de dados pessoais, permite um total controle sobre todos os aspectos da vida humana.

O que um regime autoritário pode fazer com isso? Quanto mais os algoritmos nos conhecem, quanto mais abrirmos mãos de nossa privacidade, aceitando sem questionamento termos de uso sem ler, mais autorizamos o controle absoluto. Nas mãos de um governo autoritário, o regime saberá não só o que você sente, mas também conseguirá fazer você sentir o que ele bem quiser. A ditadura também pode entrar na era digital e se alastrar assim como a quantidade de celulares que possuem o WhatsApp instalado.

Harari (2018) faz um importante alerta:

"É improvável que enfrentemos uma rebelião de robôs nas próximas décadas, mas poderíamos ter de lidar com hordas de bots que sabem, melhor do que nossas mães, como manipular nossas emoções e usar essa misteriosa habilidade para nos tentar vender alguma coisa - seja um carro, um político ou toda uma ideologia. Os robôs poderiam identificar nossos temores, ódios e desejos mais profundos, e usar essas alavancas interiores contra nós. Já tivemos uma amostra disso em eleições e referendos recentes por todo o mundo, quando hackers aprenderam como manipular eleitores individuais, analisando dados e explorando os seus preconceitos."

E há uma solução? Há como evitar tais resultados e mudar o rumo que a nossa sociedade está caminhando? Sim, desde que o investimento na consciência e instrução humana seja feito na mesma proporção do desenvolvimento tecnológico.

Conscientização sobre a importância da privacidade. Privacidade importa e importa muito. Na sociedade da vigilância digital, a privacidade assume outros contornos, não se trata apenas do direito de ser deixado “só”, mas na criação de perfis pessoais que poderão ser utilizados contra você, para te monitorar e manipular, sem que você sequer perceba.

Consciência do poder das suas informações, responsabilidade no uso da tecnologia, fiscalização sobre o cumprimento de regras elaboradas para a proteção dos titulares pessoais, esse é o caminho para a preservação das garantias e liberdades individuais na sociedade digital.

3. Conclusão [arriba] 

A tecnologia trouxe inegáveis melhorias para a vida humana, de modo algum devemos encará-la como uma vilã irremediável. Não cabe pregar a volta do modelo analógico, mas sim analisarmos melhor o que estamos aceitando como normal no uso da tecnologia.

A dependência e onipresença software até para tarefas mais simples de nossa vida nos torna vulneráveis, rouba silenciosamente a nossa capacidade de decidir, e, como consequência, o livre desenvolvimento de nossa personalidade.

A inovação de modo algum pode ser impedida ou prejudicada, mas ela deve andar ao lado do respeito à privacidade e da proteção dos dados pessoais. Isso é plenamente possível quando o nosso potencial humano não é desconsiderado.

Chegamos a um ponto de inflexão, as ferramentas para mudar o mundo já estão em nossas mãos, precisamos agora decidir como iremos utilizá-las: para construir um futuro melhor ou para tornar a humanidade um mero rebanho. Podemos atingir melhorias inimagináveis ou aceitar passivamente o que será decidido para nós. Literalmente, essa escolha está em nossas mãos.

Referencia bibliográfica [arriba] 

FOGAROLLI FILHO, Paulo Roberto. Discriminação Algorítmica nas relações de trabalho. Rio de Janeiro. Lumen Juris, 2022.

GOODMAN. Marc. Future Crimes: tudo está conectado, tudo está conectado e o que podemos fazer sobre isso. São Paulo. HSM Editora, 2015.

HARARI, Yuval Noah. 21 lições para o século 21. São Paulo. Companhia das Letras, 2018.

REIS, Paulo Victor Alfeo. Algoritmos e o direito. São Paulo: Almedina, 2020.

Notas [arriba] 

[1] advogada especialista em privacidade e proteção de dados pessoais, direito tributário pelo IBET – Instituto Brasileiro de Estudos Tributários e Contencioso Estratégico pela FGV/SP.

[2] Biohacking é uma técnica que permite o mapeamento do corpo humano a fim de detectar anormalidades, doenças entre outras finalidades. É realizado através da inserção de dispositivos que monitoram o funcionamento do organismo.