Direito e Software: Discriminação Algorítmica

Este texto foi produzido pela estudante Larissa Goto Sala, a partir da palestra de Marcela Mattiuzzo na Disciplina de Direito e Software, em 04/06/2019.

Pode-se definir um Algoritmo como uma sequência finita de instruções bem definidas para atingir um resultado, como uma receita de bolo, por exemplo. Os algoritmos computacionais, no entanto, exigem uma descrição ainda mais precisa, pois instruções de máquinas são exatas e possuem pouca tolerância a conceitos abertos.

Dessa maneira, muitas vezes por algum erro de treinamento de inteligências artificiais (através de um conjunto de dados enviesado/ não representativos da realidade) ou erro durante o processo de design, planejamento ou programação do algoritmo, este acaba obtendo um comportamento discriminatório em determinado aspecto, que pode ser considerado antiético frente ao seu uso na sociedade. Por exemplo, bancos que realizam análise de crédito por meio do CEP acabam, de forma não proposital, dando vantagem para as pessoas que moram em locais socioeconomicamente melhores. ]

O papel do Direito nesse âmbito é, além de tomar as providências necessárias para esses casos, refletir em quais situações é válido utilizar a perspectiva de um algoritmo para tomar decisões. Algumas pessoas defendem que deveríamos usar generalizações estatísticas para tomar decisões jurídicas, mas isso seria de fato justo e efetivo na prática?

Uma generalização estatística pode ser considerada correta se for: universal (é uma verdade absoluta na realidade, e sempre será), por maioria (característica está presente na maior parte do grupo) ou comparativa (realizar uma classificação das características comparando diversas classes). Porém o que dirá se o uso dessa generalização é aceitável ou não é o contexto de sua aplicação, e se esses dados estatísticos representam e se adequam a ele.

Com relação às leis que temos hoje, a LGPD (Lei Geral de Proteção de Dados) cobre a não discriminação no princípio IX de seu Artigo 6º, impossibilitando o tratamento de dados pessoais se o fim for ilícito ou abusivo. O conceito de licitude refere-se ao que está na lei, mas o conceito de abusivo pode ser mais relativo dependendo do contexto, e lida com a transgressão do valor ou limites de algo ou alguém.

No entanto, o desafio atual é unir as áreas de direito e computação para compreender os dois lados da moeda e pensar em meios de resolver esses problemas, pois é necessário que as pessoas que proponham soluções entendam tanto a parte técnica quanto jurídica. Estão recentemente surgindo princípios de governança algorítmica e grupos para promover discussões e análises ao redor do mundo inteiro, o que é um ponto muito positivo, porém ainda há um longo caminho a ser percorrido.