DISCRIMINAÇÃO ALGORÍTMICA | Patrícia Rezende Pennisi | Artigo

06 de agosto de 23021

 

Enxergar um mundo humanizado, evoluído e de maneira otimista, definitivamente não é prioridade para um grupo de pessoas que resolveu se dedicar a pesquisas sobre um tema fascinante, mas cujos perigos precisam ser apontados e, mais que isso, corrigidos. Trata-se da inteligência artificial, mais especificamente, dos vieses incorporados em algoritmos criados para gerarem informações a partir do reconhecimento facial.

“Isso já acontece na China, mas como estamos no Brasil não há com o que se preocupar, não é mesmo? Eu não confiaria nisso!”

 

Uma destas pesquisas foi realizada pela cientista da computação e ativista digital ganense-americana Joy Buolamwini, que trabalha no MIT Media Lab e analisou diferentes softwares, como: IBM, Microsoft, Face++ e Google. Todos eles tiveram melhores resultados com rostos masculinos e, mais que isso, brancos! Isso mesmo, os dados utilizados para identificarem padrões apresentaram distorções, acarretando, por consequência, resultados distorcidos.
A partir destas descobertas Buolamwini iniciou uma luta para provar que os dados que alimentaram a tão evoluída inteligência artificial estavam reproduzindo perversidades e conduzindo diferentes sociedades à utilização de tecnologias enviesadas e tão preconceituosas quanto nós, com o agravante de que poucos se questionam sobre a credibilidade destas tecnologias. Encontrou forças em Cathy O’Neil, autora do livro Weapons of Math Destruction,
traduzido como Algoritmos de Destruição em Massa, cujo nome por si só já indica a periculosidade a que estamos expostos.

Neste momento, você pode considerar que esta é uma realidade distante da sua, pensar em abandonar esta leitura e sentir que não há motivos para este texto alarmante. Será que não? O que isso tudo significa na prática?
Estamos todos expostos ao convívio com máquinas que realizam tarefas e reproduzem o raciocínio humano, o que certamente representa uma grande evolução. Conhecemos muitos dos bônus que recebemos a partir da utilização destas máquinas, mas os algoritmos têm também um alto poder de destruição e precisamos nos conscientizar disso. Não acredita?

“Uma mulher foi detida sendo confundida com uma criminosa que, inclusive, já estava presa.”

Imagine-se sendo observado ao andar pelas ruas: você resolve sair de sua casa e ir até o mercado, no caminho as câmeras instaladas pelo bairro capturam o seu rosto e, com base numa leitura feita pelo reconhecimento facial indicam o seu nível de confiabilidade enquanto indivíduo pertencente à sociedade, um sistema de crédito social.
Com este sistema você passa a ter um escore (pontuação), que lhe permite entrar em seu condomínio, utilizar ônibus, trem, metrô, fazendo com que seu rosto lhe conceda um status de recebedor de mais ou menos crédito. Isso também modifica as relações de amizade, você passa a escolher como amigos apenas pessoas que tenham um escore alto, afinal, isso os torna mais confiáveis. Também pode pagar valores mais altos ou mais baixos por diferentes produtos, basta que se comporte bem e mantenha o seu escore elevado, do contrário, pode ser impedido
de frequentar alguns locais ou de utilizar alguns serviços e, se for um locatário é importante manter seus aluguéis em dia ou pode ser apontado como um mau pagador a partir da análise facial. Isso já acontece na China, mas como estamos no Brasil não há com o que se preocupar, não é mesmo? Eu não confiaria nisso!

Recebemos dicas de compras a partir de hábitos que registramos inconscientemente, sugestões de amigos, de grupos, de notícias, tudo a partir de nossas preferências, somos direcionados de modo que encontremos tudo aquilo que mais nos agrade, mas algumas pessoas ainda acreditam que não são manipuladas de nenhuma forma. Algumas destas se consideram suficientemente inteligentes e aptas a perceberem o uso dos algoritmos como apenas um banco
de dados inteligente, cujo controle sobre a utilização pertence a cada indivíduo isolado, muitas vezes sendo favoráveis ao uso destas bases para a criação de políticas públicas, sobretudo aquelas relacionadas à segurança pública. Pensam que assim é possível estarmos mais protegidos, pois pessoas procuradas pela justiça podem ser identificadas apenas por estarem caminhando pelas ruas. A solução perfeita para que indivíduos perigosos sejam detidos?

Seria uma solução perfeita se estudos como o de Buolamwini não tivessem apontado os perigos do enviesamento no trato dos dados que alimentam estas inteligências artificiais, se os computadores não estivessem fazendo uma leitura de mundo com base em toda a discriminação que precisamos combater, gerando a possibilidade de que sejamos interpretados como indivíduos criminosos em qualquer momento, sofrendo os “falsos positivos”, sobre os quais não
temos nenhuma garantia de correção.

Já aconteceu, e não foi na China, foi logo ali no Rio de Janeiro, quando uma mulher foi detida sendo confundida com uma criminosa que, inclusive, já estava presa. Um erro de atualização nos registros, que posteriormente foi corrigido, mas uma situação pela qual eu realmente não gostaria de passar! Um erro no reconhecimento facial a levou a passar por isso e, muito embora a Lei Geral de Proteção de Dados (LGPD) já esteja em vigor em nosso país,
prometendo mais atenção e cautela no uso do meu, do seu, dos nossos dados, é bom que saibamos que as informações usadas e coletadas para uso em segurança pública estão excluídas da obrigatoriedade de cumprimento das regras impostas por esta legislação.

Na prática isso significa que estamos sendo monitorados diuturnamente e de diferentes formas, pouco sabemos sobre como são inseridos os dados utilizados para o cruzamento que
gera informações a partir do uso da inteligência artificial que permite o reconhecimento  facial, desconhecemos os limites destas utilizações no Brasil e, enquanto pessoas como Joy Buolamwini e Cathy O’Neil, já citadas anteriormente, além de outras, como Silkie Carlo, diretora da organização de direitos humanos Big Brother Watch, do Reino Unido e Safiya Umoja Noble, professora e autora de Algorithms of Oppression: How Search Engines Reinforce Racism (Algoritmos de opressão: como os motores de busca reforçam o racismo, na tradução livre), se
uniram em luta para forçarem governantes de diferentes países a buscarem alternativas para lidarem com o que se reconhece como discriminação algorítmica, originando o documentário intitulado Coded Bias e conseguindo a proibição do uso desta tecnologia pela polícia de alguns locais, por aqui a solução mágica parece ter cativado alguns de nossos governantes, é o caso de São Paulo.

Para nossa sorte, temos algumas iniciativas questionando os problemas jurídicos, a proteção dos sistemas e a precisão dos algoritmos, mas até que realmente tenhamos evoluído de maneira mais equilibrada e ética, sugiro que possamos criar formas de conscientização sobre como tudo isso nos afeta.

 

OUTROS ARTIGOS DE PATRICIA REZENDE PENNISI

MASCARAS E ESTEREÓTIPOS SOCIAIS 

 

CIDADANIA HACKEADA