O robô nasce bom, mas a Internet o corrompe. A história de Tay, o chatterbot que a Microsoft lançou no Twitter dois anos atrás, é como a do monstro de Frankenstein, só que na escala e velocidade dessa plataforma de microblogging. Em menos de um dia, a criatura, abandonada à própria sorte entre os trolls, já havia se voltado contra o mundo que a criou, e do único modo cabível ao meio: vociferando blasfêmias, defendendo o nazismo e propagando as polêmicas mais vulgares. Incapaz de lidar com o que Tay havia se tornado, a empresa teve que tirá-la do ar.

O caso ilustra, com exagero pedagógico, uma propensão comum às inteligências artificiais da vida real. A ficção científica passou décadas nos ameaçando com robôs que desprezariam a espécie humana por inteiro. Perante o ódio ou a indiferença de um Exterminador do Futuro (do filme de 1984), somos todos indiscriminadamente discriminados. Não obstante, muitas das recentes aplicações de redes neurais têm resultado, em vez disso, em sistemas que perpetuam preconceitos grotescos e, ironicamente, demasiado humanos.

O problema afeta a tecnologia em diversos níveis, mas fica mais claro na superfície – ou no seu front-end, como diriam os cientistas da computação. Há um flagrante sexismo na identidade facultada aos assistentes virtuais que nos dão acesso aos principais sistemas de inteligência corporativos. Um sujeito postiço como Siri, produzido pela Apple, se apresenta por default no feminino. O gênero está codificado nos poucos atributos que lhe dão algo como um corpo, principalmente a voz. Conjugada ao comportamento programado na máquina, por natureza desprovida de vontade, essa antropomorfização enviesada produz um fantasma de completa subserviência. Seu modelo cultural estaria menos para o Exterminador do que para a Mulher Nota 1000 (1985), filme em que o proverbial par de nerds rejeitados constrói uma mulher computadorizada para (como era de se esperar) satisfazer todos os seus desejos. Siri hesita em recriminar o assédio dos usuários, no que poderia ser maldosamente tomado com um flerte. Interações como essa têm servido, de acordo com estudos da Unesco, para normalizar preconceitos de gênero.

 

Em certa medida, isso não é de espantar. Anos atrás, quando lidávamos com a tecnologia com mais pudor e menos marketing, o que hoje se populariza como inteligência artificial seria chamado de IA fraca. Não se tratam de consciências completamente formadas, cheias de vontade – essas seriam as inteligências artificiais fortes, ou gerais. As IAs fracas são, por contraste, feitas especialmente para encarar um problema específico. Seu desempenho é sofisticado, mas restrito. Lidando com o quinhão de realidade para a qual foram preparadas, agem com eficiência espantosa. Para todo o resto, são completamente tapadas. 

Por trás de quase tudo que se apresenta como inteligência artificial atualmente, está um processo de aprendizado maquínico [machine learning] baseado numa arquitetura computacional que imita vagamente as ligações neurais humanas. Isso quer dizer que as regras de operação do sistema não são escritas ao pé da letra por um programador. Grosso modo, elas são deduzidas pelo próprio sistema a partir de um volumoso banco de dados com o qual ele é treinado. Isso resulta num modelo complexo, que permite ao sistema reconhecer e reproduzir conjuntos de padrões implícitos no banco de dados. Um aplicativo de visão computacional alimentado apenas com fotos de pássaros, digamos centenas de milhares delas, seria capaz de extrapolar essas informações e identificar pássaros semelhantes em outras imagens. O modelo por ele realizado poderia até mesmo ser empregado na sintetização da foto de um pássaro específico, talvez imitando o voo de outro. Todavia, a despeito de todo o seu pendor ornitológico, o sistema não seria capaz de reconhecer mais nada. E, para piorar, passaria a ver pássaro onde não tem.

São, portanto, sistemas feitos para a discriminação. Estão propensos, por sua própria insuficiência, a produzir invisibilidades e apagamentos. A aparente ausência de interferência humana no seu processo constitutivo passa uma perigosa impressão de neutralidade. O que a realidade de suas aplicações demonstra, pelo contrário, é que a linha que separa uma “inocente” classificação de informações de um reforço dos viéses de percepção, linguagem e poder entranhados na sociedade pode ser tênue, quando não inexistente. Ao reproduzir a categorização implícita em um banco de dados qualquer, sem atentar para os seus pontos cegos, os sistemas de inteligência artificial podem estar reproduzindo também a misoginia e o racismo estruturais.

Mas a objetificação ocasionada pelos sistemas de inteligência artificial não se resume a essa calcificação de papéis aparentes. Suas aplicações mais controversas evidenciam tendências para a expropriação e controle da imagem alheia, características do que a crítica cinematográfica e feminista inglesa Laura Mulvey classificou como um olhar masculino. Os deepfakes, que hoje nos fazem temer pela integridade do estatuto de verdade nas democracias ocidentais, surgiram originalmente para produzir vídeo-montagens pornográficas de celebridades e atrizes famosas. Sua derivação mais recente tomou a forma de um aplicativo que, pelos meses que durou online, prometia despir a foto de qualquer mulher. E, sim: o sistema havia sido treinado para produzir uma nudez exclusivamente feminina. Fica explícito, desde o projeto, sua misoginia.

 

A capacidade das redes neurais de fabricar correlações convolutas entre atributos de imagem e classificações identitárias parece tornar possível apreender a coerência profunda das coisas a partir de seus rastros sensíveis, numa espécie de alucinação forense. Há, claro, consequências daninhas. Talvez a maior delas seja o renascimento de promessas fisiognômicas, que se referem à redução do indivíduo à sua aparência. O reconhecimento facial já é comercializado como um modo de ajuizar caráter. Sistemas de análise por inteligência artificial como o da empresa Faception garantem tornar a índole, a inteligência e até mesmo a profissão de um sujeito legíveis em seu rosto. Daí para aplicações de policiamento preditivo é uma distância bastante curta. Um estudo da Universidade de Shanghai Jiao Tong já aventou a possibilidade de inferir automaticamente certos “graus de criminalidade” a partir de imagens faciais.

Essas modalidades de segregação inteligente reprisam o determinismo biológico mais grosseiro e o imbuem com a autoridade das inovações tecnológicas. A violência identitária começa na estereotipação do sujeito e culmina com a sua completa negação, cristalizada por meio de expedientes burocráticos. Um caso emblemático se deu ano passado, quando motoristas transgêneros da Uber foram suspensos porque o aplicativo de autenticação da empresa, baseado em análise facial, não reconhecia a identidade deles. Ainda mais estarrecedor é o fato de que carros autônomos tenham maior probabilidade estatística de atropelar uma pessoa negra do que uma branca, simplesmente por não identificá-la como uma pessoa.

A perversa arbitrariedade das tecnologias de representação audiovisual vem de longe. Para ficar apenas no exemplo mais notório, podemos citar as primeiras fotografias coloridas, cuja revelação, calibrada a partir dos cartões de referência Shirley distribuídos pela própria Kodak, depreciava tons de pele mais escuros. Hoje em dia, grande parte dos preconceitos que as redes neurais carregam decorre de deficiências no seu treinamento, ocasionadas seja por sistemas de classificação reducionistas, seja por conjuntos insuficientes de dados. A máquina, devemos lembrar, não possui uma inteligência como a nossa; só produz efeitos semelhantes a ela. Se não aprendeu a entender o ser humano para além do binarismo de gênero, nem enxergá-lo em toda a sua diversidade, é porque não foi ensinada para tanto. Nesse sentido, as normativas que a inteligência artificial reproduz não são outras senão aquelas mesmas que a produzem. Para enfrentá-las, é preciso examinar não a tecnologia isolada, mas também seu contexto científico e corporativo de elaboração.

 

O instituto AI Now, ligado à Universidade de Nova York, publicou recentemente um relatório sobre Gênero, Raça e Poder em IA que joga alguma luz nas acentuadas desigualdades desse setor. De modo geral, as estatísticas refletem a disparidade endêmica de gênero e raça das áreas de ciências duras. Na Google, por exemplo, menos de 10% de trabalhadores envolvidos com IA são mulheres; cerca de 2,5% da força de trabalho total são pessoas negras. Não existem sequer dados acerca de outras minorias de gênero. Esse quadro define não apenas a indústria que aplica a tecnologia, como também as universidades que a desenvolvem e avaliam criticamente.

No caso, a desigualdade é singularmente crítica por causa do alto impacto que o setor de inteligência artificial representa para a sociedade. A complexidade dos sistemas desenvolvidos torna difícil prever, a partir de testes de laboratório, que comportamento e efeito terão no mundo lá fora. Tay, coitada, havia sido criada para ser apenas uma garota de 19 anos fissurada em mídias sociais. Só que a máquina não estava preparada para resguardar essa persona do ambiente cáustico em que foi atirada e impedir o seu sequestro. Que o seu sacrifício nos sirva de alerta: quando percebermos os estragos potenciais da inteligência artificial, poderá ser tarde demais.

 

O desenvolvimento de “inteligências” por rede neural acontece numa caixa preta que dificulta a sua prestação de contas. As regras que tornam nossos corpos e rostos legíveis para o sistema são, elas próprias, ilegíveis para nós. O fato de a tecnologia ser tão radicalmente opaca torna ainda mais necessário que o seu território de elaboração seja transparente. A promoção de diversidade no setor está diretamente ligada ao enfrentamento das discriminações que as aplicações de IA acentuam. Muitos dos viéses apresentados por elas refletem e revelam vícios inconscientes no conjunto de dados empregado para treiná-las. É preciso que o seu desenvolvimento seja acompanhado de perto por pessoas sensíveis a esses viéses – particularmente, pessoas que sofrem desses preconceitos. Somente esse tipo de atenção dedicada é capaz de filtrá-los do sistema e impedir a sua amplificação algorítmica.///

 

Gabriel Menotti é professor da Universidade Federal de Espírito Santo. Já publicou livros no Brasil e no exterior sobre questões ligadas a imagem e tecnologia. Atua como curador independente e coordena a rede de pesquisa Besides the Screen.

 

Tags: Inteligência artificial, Misoginia, racismo, Reconhecimento facial