Racismo algorítmico
Publicado em: 2 de outubro de 2020
O novo James Bond foi indicado por Inteligência Artificial (IA). O eleito foi Henry Cavill, ator britânico que ficou famoso com o papel de Super-Homem em Batman vs Superman: A Origem da Justiça (2016). É o primeiro caso de “casting assistido” por uma IA e leva a assinatura da Largo Films, braço cinematográfico da suíça Largo.ai.
O resultado da indicação frustra as expectativas de quem esperava assistir a primeira mulher negra como protagonista, conforme fartamente noticiado no ano passado. Muito embora seja uma indicação e não a escolha definitiva, a seleção mostra mais que o aumento exponencial da diversificação do uso da Inteligência Artificial na cultura. Mostra a força do racismo algorítmico.
Como qualquer previsão apoiada em análise de dados, as conclusões dependem não apenas da quantidade, mas da qualidade dos dados. E é na amostragem dos dados que treinaram os algoritmos que se entende por que não foi uma mulher ou ator negro o indicado para substituir Daniel Craig, protagonista pela quinta e última vez de um filme do famoso espião (Sem Tempo para Morrer, previsto para novembro de 2020).
Para encontrar o novo Bond, a Largo Films desenvolveu um sistema alimentado com 1.000 atributos deste personagem, cobrindo de características físicas a elementos da narrativa. Contrapôs, ainda, cada um desses atributos à recepção do público, comparando os dados com os de filmes históricos. Identificada a “pegada de DNA” (DNA footprint) para o personagem, estudou como isso combinava com o DNA algorítmico de cada ator.
O desenvolvimento do programa que fez a seleção é fruto de um processo de aprendizagem maquínica que computou análises dos metadados de mais de 400 mil filmes, 1.8 milhão de atores e 59 mil roteiros. Os números são gigantescos (“robustos”, para usar um jargão da área). Acontece, porém, que a indústria cinematográfica tem ínfima participação de negros e outras minorias étnicas entre seus protagonistas.
À época da histórica campanha #OscarSoWhite (Oscar tão branquinho) de 2016, as estatísticas mostravam que, entre 1928 e 2015, apenas 1% de mulheres não brancas e 6.8% de homens não brancos foram contemplados com o prêmio. A proporção ganha mais consistência se levarmos em conta que apenas 14% dos indicados do ano de 2015 não eram brancos. Esse número praticamente dobra em 2019, chegando a 27,6%, porém evidenciando que ainda estamos longe de ver o mundo do cinema refletir a diversidade social de raça e gênero.
Antes que se questione a “nacionalidade” desses dados, é importante ter em mente que o cinema hollywoodiano é a mais importante força global, em termos de distribuição e bilheteria. Apesar da produção da Índia ser a maior do mundo, ela é considerada pelos especialistas de impacto local.
É, portanto, o caráter “tão branquinho” desse setor da economia da cultura o que explica a total impossibilidade do trabalho da IA da Largo Films bater com as expectativas de indicação de uma mulher negra para o papel de James Bond. Os dados utilizados são pobres nessas referências. Protagonistas negros são poucos (negras, menos ainda) e os que o foram certamente não batem com os pressupostos de construção dos metadados associados aos atributos de um James Bond.
A presença dos algoritmos no cotidiano é crescente. Vai da comunicação interpessoal à saúde (basta lembrar do monitoramento da quarentena, via o GPS do celular para desfazer qualquer dúvida), passando pelas buscas, indexação e construção de perfis de todos, via o uso dos mais banais aplicativos de compra e diversão. Podem por isso influenciar se a pessoa será admitida em um emprego, o valor do seu seguro de vida e até serem usados para métricas de adequação a um sistema de governo para liberação de crédito social, como ocorre na China. Ao automatizar procedimentos, os algoritmos modelam comportamentos e impactam os processos políticos, conforme os escândalos da Cambridge Analytica e dos robôs de WhatsApp na última campanha presidencial brasileira evidenciaram.
Isso não é “natural” do algoritmo em si (um conjunto de regras matemáticas que informa uma ação), mas da sua modelagem. Alguns dos seus resultados nocivos são o direcionamento de resultados de buscas, como imagens hiperssexualizadas para pesquisas com o termo “garotas negras”, o tagueamento automático de negros e negras como gorilas, pelo Google; e aplicativos de “embelezamento” de selfies por meio do branqueamento das imagens, conforme apontam estudos de Tarcízio Silva e Safiya Noble, autora do referencial Algorithms of Math Oppresion (2018).
Racismo algorítmico é o que traduz essa situação. Não porque o algoritmo possa ser por si só preconceituoso. Mas porque o universo de dados que o construiu reflete a presença do racismo estrutural da indústria e da sociedade a qual pertence, e o expande em novas direções. A violência social ganha aí contornos datificados nos pressupostos de sua arquitetura. Afinal, ao buscar um novo Bond, a partir daquilo que sempre foi o velho Bond, não se poderia esperar um resultado muito distinto daquele que confirma o padrão James Bond desde sempre. Um homem branco, de traços europeus, que no limite de sua idealização machista conta sempre com uma bela mulher para enfeitar suas ações intrépidas.
Não é por acaso que ocorrem tantos erros de identificação de pessoas negras por sistemas de Reconhecimento Facial. Aliás, esse foi o mote do documentário Coded Bias (2020). Dirigido por Shalini Kantayya, o filme estreou no Festival Sundance em janeiro e gira em torno da pesquisa e militância da artista Joy Buolamwini. Para um projeto de arte de uma disciplina no MIT, Buolamwini queria criar um espelho que colocaria outros rostos na sua face. Mas o software de reconhecimento facial não conseguia detectar o seu! Até ela decidir colocar uma máscara branca. Isso se tornou o estopim de uma investigação ativista que pôs a artista em um lugar de centralidade nos movimentos de pressão por uma legislação nos EUA contra o preconceito nos algoritmos que afetam todos nós e, particularmente, mulheres negras.
Um estudo sobre as leituras de imagens no Google Cloud Vision, realizada por Andre Mintz e Tarcízio Silva, com foco em retratos de mulheres negras, mostrou que as fotos apresentam recorrentemente o rótulo “peruca”, sempre que seus cabelos estavam em evidência. Dito de outro forma, não havia no banco de dados especificação (rótulos, tecnicamente) para cabelos cacheados e que não são lisos como os de brancos caucasianos. A limitação dessa Inteligência Artificial do Google é, sobretudo, cultural, não se restringe a essa empresa e se desdobra política e socialmente. O tema é de extrema importância e urgência. Conforme se expandem os sistemas de visão computacional, seus algoritmos podem impor novas modalidades de exclusão e racismo, determinando o que é ou não visível para nós, nas bolhas dos aplicativos e também socialmente. ///
Giselle Beiguelman é colunista do site da ZUM, artista e professora da FAUUSP. Assina também a coluna Ouvir Imagens na Rádio USP e é autora de Memória da amnésia: políticas do esquecimento (2019), entre outros. Entre seus projetos recentes, destacam-se Odiolândia (2017), Memória da Amnésia (2015) e a curadoria de Arquinterface: a cidade expandida pelas redes (2015).
Tags: Inteligência artificial, racismo, Reconhecimento facial