O Que É Racismo Algorítmico e Como Nos Afeta

A inteligência artificial chega embalada numa promessa sedutora: máquinas não têm preconceito. Não julgam pelo sobrenome, não distinguem pela cor da pele, não carregam rancores históricos. Mas essa promessa esconde uma verdade incômoda, os dados que alimentam esses sistemas foram produzidos por um mundo profundamente desigual, e algoritmos não leem esse mundo com olhos críticos. Eles o aprendem como modelo. É aí que começa o racismo algorítmico.

O racismo algorítmico ocorre quando sistemas de inteligência artificial reproduzem e amplificam desigualdades raciais, mesmo sem uma linha de código que instrua explicitamente à discriminação. É invisível, escalável e, justamente por ser técnico, difícil de contestar. Afinal, quem vai questionar uma máquina?

Acompanho esse debate de um lugar que raramente combina numa mesma voz: profissional de tecnologia e homem negro, com experiência entre o Brasil e a Europa. É desse lugar que convido você a entender o mecanismo, os exemplos concretos e o que pode ser feito a respeito.

É desse lugar que convido você a entender o mecanismo, os exemplos concretos e o que pode ser feito a respeito.

O que é racismo algorítmico e como ele se forma

O algoritmo não inventa preconceito, ele herda

Algoritmos de aprendizado de máquina funcionam identificando padrões em dados históricos. Se o mundo que gerou esses dados era desigual, o sistema aprende essa desigualdade como padrão válido, não como falha a corrigir. Treinar uma IA com dados do mundo real é como dar a ela um espelho: ela reflete o que já existe, não o que deveria ser.

O viés de dados é o mecanismo mais frequente desse processo. Quando os dados de treinamento sub-representam grupos minoritários ou refletem práticas históricas discriminatórias, o sistema reproduz essas práticas em escala. Pequenos enviesamentos nos dados originais, processados em grandes volumes, geram resultados discriminatórios generalizados, e esse é o núcleo do que chamamos de viés algorítmico.

Discriminação sem declarar a raça: o mecanismo dos proxies

O problema se aprofunda quando percebemos que o sistema não precisa usar “raça” como variável para discriminar com base nela. Ele usa código postal, sobrenome, histórico de crédito: dados altamente correlacionados com raça por causa da segregação histórica. Isso se chama discriminação por variável proxy, e representa a forma mais invisível de parcialidade em inteligência artificial.

O preconceito acontece, mas nenhuma variável acusável aparece no relatório. O resultado é classificado como técnico, imparcial, objetivo. E é exatamente essa aparência de neutralidade que torna a exclusão digital algorítmica tão difícil de combater.

Casos reais de racismo algorítmico que não dá para ignorar

Reconhecimento facial e as prisões que não deveriam ter acontecido

Em julho de 2019, no segundo dia de operação do sistema de reconhecimento facial da polícia do Rio de Janeiro, Maria Lêda Félix da Silva, mulher negra, foi presa após identificação incorreta. Ela foi liberada somente quando familiares trouxeram documentos. A pessoa que o sistema “reconheceu” cumpria pena em outro presídio há mais de quatro anos.

Esse não foi um caso isolado. Um levantamento realizado pela Rede de Observatórios da Segurança em quatro estados brasileiros, entre março e outubro de 2019, identificou que 90,5% das 151 prisões realizadas via reconhecimento facial envolviam pessoas negras. No plano global, sistemas líderes dessa tecnologia registram taxas de erro de até 35% para mulheres de pele mais escura, contra menos de 1% para homens de pele clara, disparidade documentada em estudos comparativos internacionais, incluindo pesquisas do MIT Media Lab. A discriminação automatizada, aqui, não é coincidência: é estrutural.

Como o racismo algorítmico afeta crédito, saúde e redes sociais

O mesmo fenômeno opera em outras esferas. Segundo dados do Sebrae, empreendedores negros têm acesso a crédito em proporção até três vezes inferior à de empreendedores brancos, mesmo representando 53% dos pequenos negócios no Brasil. Algoritmos de concessão de empréstimos reproduzem o padrão histórico de exclusão financeira, agora codificado em variáveis aparentemente inofensivas como CEP e nome.

Nas redes sociais, experimentos com o algoritmo de recorte automático do Twitter, em 2020, mostraram que o sistema privilegiava rostos brancos como destaque, mesmo quando a imagem tinha mais pessoas negras, comportamento documentado em apuração da própria plataforma. Na saúde, modelos de linguagem como GPT-3.5 e Claude apresentaram viés racial em respostas a perguntas médicas, segundo pesquisadores de universidades dos Estados Unidos e do Canadá. Quando a discriminação automatizada atinge decisões médicas, ela pode custar vidas.

Por que o racismo algorítmico não se resolve sozinho

Quem constrói a IA determina o que ela enxerga

Equipes de desenvolvimento de IA são compostas majoritariamente por homens brancos em posições de decisão, padrão documentado por pesquisas como o AI Index da Universidade de Stanford e relatórios do setor. Esse não é um detalhe periférico: é a razão pela qual falhas que afetam mulheres negras passam despercebidas por ciclos inteiros de teste. Desenvolvedores não identificam erros que nunca viveram.

A definição de variáveis, pesos e objetivos de um modelo carrega valores políticos e sociais. Não existe algoritmo neutro: existe algoritmo cujos valores não são declarados. A ausência de diversidade nas equipes cria um ponto cego sistêmico que nenhuma correção técnica isolada consegue resolver.

O ciclo que retroalimenta o viés algorítmico

Quando a IA toma decisões injustas baseadas em dados enviesados, essas decisões geram novos dados que realimentam o sistema. O preconceito não apenas persiste: ele se expande. O sistema COMPAS, sigla para Correctional Offender Management Profiling for Alternative Sanctions, usado nos EUA para prever reincidência criminal, classifica réus afro-americanos com probabilidade de erro duas vezes maior do que para réus brancos, conforme estudo publicado pela ProPublica em 2016. Cada decisão judicial baseada nessa classificação alimenta o próximo ciclo, tornando o padrão discriminatório mais difícil de desfazer.

Esse mecanismo de retroalimentação explica por que mais tecnologia, por si só, não resolve o problema. Combater o racismo algorítmico exige intervenção humana, política e estrutural, e começa por reconhecer que o viés está nos dados, não apenas nos modelos.

O que as leis preveem e o que ainda falta

O marco regulatório brasileiro

A LGPD proíbe o tratamento de dados sensíveis, incluindo raça, sem consentimento explícito, e assegura o direito à revisão de decisões automatizadas, o que, na prática, obriga as empresas a apresentar os critérios usados pelos algoritmos, embora o alcance exato dessa obrigação ainda dependa de orientação da ANPD e de interpretação judicial caso a caso.

O Marco Legal da IA tramita no Congresso desde o PL 21/2020, tendo evoluído para versões subsequentes, entre elas o PL 2.338/2021; até meados de 2026, o texto ainda passava por ajustes em comissões, com previsão de auditorias obrigatórias para sistemas de alto risco, transparência explicável e direito à revisão humana. São avanços reais, mas ainda insuficientes. A lacuna mais relevante permanece: nenhuma legislação brasileira em vigor obriga preventivamente a diversidade representativa nos dados de treinamento, e o racismo algorítmico ainda não é categoria específica em nenhum texto legal vigente.

A Resolução CNJ 332/2020, que estabelece parâmetros para uso de algoritmos no Poder Judiciário e veda o emprego de sistemas não auditados em processos judiciais, é um modelo que outros setores precisam seguir. Mais recentemente, a Resolução CNJ 615/2025 avançou nessa direção, ampliando os critérios de governança para IA no sistema de justiça.

Ferramentas técnicas de auditoria e justiça algorítmica

Ferramentas como AI Fairness 360, desenvolvida pela IBM Research, e Fairlearn, mantida pela Microsoft, permitem auditar modelos aplicando métricas como paridade demográfica, impacto disparate e igualdade de chances para detectar discriminação por grupo. Elas atuam nas três fases do ciclo de desenvolvimento: nos dados de treinamento, durante o processo de aprendizado e nas saídas do modelo.

A auditoria algorítmica precisa ser contínua, não pontual. A União Europeia avança nessa direção com o AI Act, que classifica sistemas por nível de risco, impõe exigências rigorosas para aqueles usados em segurança pública e justiça, e proíbe expressamente sistemas que inferem raça a partir de dados biométricos. O contraste com o cenário brasileiro é evidente e mostra o caminho que a regulação nacional ainda precisa percorrer.

A conversa que precisa continuar

Retomando o paradoxo do início: a IA não é racista por natureza. Mas pode ser um dos instrumentos mais eficientes de amplificação do racismo quando alimentada sem consciência crítica. A tecnologia não tem memória moral; tem memória de padrões. E os padrões que ela encontra no mundo refletem séculos de exclusão.

O racismo algorítmico não é um problema técnico que engenheiros vão resolver por conta própria. Ele é social, histórico e político, e exige vozes diversas dentro e fora dos laboratórios, regulação séria e equipes que representem o mundo que pretendem modelar. Ignorá-lo não é neutralidade: é cumplicidade com o padrão.

Em Denison Luz, esse debate aparece porque é impossível falar sobre comportamento, identidade e sociedade sem falar sobre as estruturas invisíveis que nos organizam, incluindo as digitais. Se essa conversa faz sentido para você, acompanhe o canal e continue essa reflexão por aqui.