Colunistas

Racismo algorítmico

Giselle Beiguelman Publicado em: 2 de outubro de 2020

 

Imagem do documentário Coded Bias (2020), de Shalini Kantayya. O filme retrata os experimentos da artista Joy Buolamwini com softwares de reconhecimento facial.

O novo James Bond foi indicado por Inteligência Artificial (IA). O eleito foi Henry Cavill, ator britânico que ficou famoso com o papel de Super-Homem em Batman vs Superman: A Origem da Justiça (2016). É o primeiro caso de “casting assistido” por uma IA e leva a assinatura da Largo Films, braço cinematográfico da suíça Largo.ai.

O resultado da indicação frustra as expectativas de quem esperava assistir a primeira mulher negra como protagonista, conforme fartamente noticiado no ano passado. Muito embora seja uma indicação e não a escolha definitiva, a seleção mostra mais que o aumento exponencial da diversificação do uso da Inteligência Artificial na cultura. Mostra a força do racismo algorítmico.

Como qualquer previsão apoiada em análise de dados, as conclusões dependem não apenas da quantidade, mas da qualidade dos dados. E é na amostragem dos dados que treinaram os algoritmos que se entende por que não foi uma mulher ou ator negro o indicado para substituir Daniel Craig, protagonista pela quinta e última vez de um filme do famoso espião (Sem Tempo para Morrer, previsto para novembro de 2020).

Para encontrar o novo Bond, a Largo Films desenvolveu um sistema alimentado com 1.000 atributos deste personagem, cobrindo de características físicas a elementos da narrativa. Contrapôs, ainda, cada um desses atributos à recepção do público, comparando os dados com os de filmes históricos. Identificada a “pegada de DNA” (DNA footprint) para o personagem, estudou como isso combinava com o DNA algorítmico de cada ator.

O desenvolvimento do programa que fez a seleção é fruto de um processo de aprendizagem maquínica que computou análises dos metadados de mais de 400 mil filmes, 1.8 milhão de atores e 59 mil roteiros. Os números são gigantescos (“robustos”, para usar um jargão da área). Acontece, porém, que a indústria cinematográfica tem ínfima participação de negros e outras minorias étnicas entre seus protagonistas.

À época da histórica campanha #OscarSoWhite (Oscar tão branquinho) de 2016, as estatísticas mostravam que, entre 1928 e 2015, apenas 1% de mulheres não brancas e 6.8% de homens não brancos foram contemplados com o prêmio. A proporção ganha mais consistência se levarmos em conta que apenas 14% dos indicados do ano de 2015 não eram brancos. Esse número praticamente dobra em 2019, chegando a 27,6%, porém evidenciando que ainda estamos longe de ver o mundo do cinema refletir a diversidade social de raça e gênero.

Antes que se questione a “nacionalidade” desses dados, é importante ter em mente que o cinema hollywoodiano é a mais importante força global, em termos de distribuição e bilheteria. Apesar da produção da Índia ser a maior do mundo, ela é considerada pelos especialistas de impacto local.

É, portanto, o caráter “tão branquinho” desse setor da economia da cultura o que explica a total impossibilidade do trabalho da IA da Largo Films bater com as expectativas de indicação de uma mulher negra para o papel de James Bond. Os dados utilizados são pobres nessas referências. Protagonistas negros são poucos (negras, menos ainda) e os que o foram certamente não batem com os pressupostos de construção dos metadados associados aos atributos de um James Bond.

 

A presença dos algoritmos no cotidiano é crescente. Vai da comunicação interpessoal à saúde (basta lembrar do monitoramento da quarentena, via o GPS do celular para desfazer qualquer dúvida), passando pelas buscas, indexação e construção de perfis de todos, via o uso dos mais banais aplicativos de compra e diversão. Podem por isso influenciar se a pessoa será admitida em um emprego, o valor do seu seguro de vida e até serem usados para métricas de adequação a um sistema de governo para liberação de crédito social, como ocorre na China. Ao automatizar procedimentos, os algoritmos modelam comportamentos e impactam os processos políticos, conforme os escândalos da Cambridge Analytica e dos robôs de WhatsApp na última campanha presidencial brasileira evidenciaram.

Isso não é “natural” do algoritmo em si (um conjunto de regras matemáticas que informa uma ação), mas da sua modelagem. Alguns dos seus resultados nocivos são o direcionamento de resultados de buscas, como imagens hiperssexualizadas para pesquisas com o termo “garotas negras”, o tagueamento automático de negros e negras como gorilas, pelo Google; e aplicativos de “embelezamento” de selfies por meio do branqueamento das imagens, conforme apontam estudos de Tarcízio Silva e Safiya Noble, autora do referencial Algorithms of Math Oppresion (2018).

Racismo algorítmico é o que traduz essa situação. Não porque o algoritmo possa ser por si só preconceituoso. Mas porque o universo de dados que o construiu reflete a presença do racismo estrutural da indústria e da sociedade a qual pertence, e o expande em novas direções. A violência social ganha aí contornos datificados nos pressupostos de sua arquitetura. Afinal, ao buscar um novo Bond, a partir daquilo que sempre foi o velho Bond, não se poderia esperar um resultado muito distinto daquele que confirma o padrão James Bond desde sempre. Um homem branco, de traços europeus, que no limite de sua idealização machista conta sempre com uma bela mulher para enfeitar suas ações intrépidas.

 

Imagem do documentário Coded Bias (2020), de Shalini Kantayya. O filme retrata os experimentos da artista Joy Buolamwini com softwares de reconhecimento facial.

Não é por acaso que ocorrem tantos erros de identificação de pessoas negras por sistemas de Reconhecimento Facial. Aliás, esse foi o mote do documentário Coded Bias (2020). Dirigido por Shalini Kantayya, o filme estreou no Festival Sundance em janeiro e gira em torno da pesquisa e militância da artista Joy Buolamwini. Para um projeto de arte de uma disciplina no MIT, Buolamwini queria criar um espelho que colocaria outros rostos na sua face. Mas o software de reconhecimento facial não conseguia detectar o seu! Até ela decidir colocar uma máscara branca. Isso se tornou o estopim de uma investigação ativista que pôs a artista em um lugar de centralidade nos movimentos de pressão por uma legislação nos EUA contra o preconceito nos algoritmos que afetam todos nós e, particularmente, mulheres negras.

Um estudo sobre as leituras de imagens no Google Cloud Vision, realizada por Andre Mintz e Tarcízio Silva, com foco em retratos de mulheres negras, mostrou que as fotos apresentam recorrentemente o rótulo “peruca”, sempre que seus cabelos estavam em evidência. Dito de outro forma, não havia no banco de dados especificação (rótulos, tecnicamente) para cabelos cacheados e que não são lisos como os de brancos caucasianos. A limitação dessa Inteligência Artificial do Google é, sobretudo, cultural, não se restringe a essa empresa e se desdobra política e socialmente. O tema é de extrema importância e urgência. Conforme se expandem os sistemas de visão computacional, seus algoritmos podem impor novas modalidades de exclusão e racismo, determinando o que é ou não visível para nós, nas bolhas dos aplicativos e também socialmente. ///

 

Giselle Beiguelman é colunista do site da ZUM, artista e professora da FAUUSP. Assina também a coluna Ouvir Imagens na Rádio USP e é autora de Memória da amnésia: políticas do esquecimento (2019), entre outros. Entre seus projetos recentes, destacam-se Odiolândia (2017), Memória da Amnésia (2015) e a curadoria de Arquinterface: a cidade expandida pelas redes (2015).

 

Tags: , ,