miniaturadaimagem|Um diagrama de 1969 que mostra como um programa de computador simples toma decisões, ilustrando um algoritmo muito básico. Discriminação algorítmica é um conceito que corresponde ao ato de algoritmos tomarem atitudes discriminatórias ou exclusórias em relação a grupos específicos de seres humanos, especialmente quanto a minorias. Estas atitudes podem ser desde simples erros em detecções faciais, até a condenação de um indivíduo por algoritmos jurídicos baseado em suas características raciais ou de gênero.
Em sua maioria, os algoritmos discriminatórios se encontram na área de Inteligência Artificial e aprendizado de máquina, nas quais decisões têm de ser tomadas baseadas em um banco de dados de entradas e outras técnicas de aprendizado e de tomada de decisões. Tendo isso em vista, se o banco de entradas para o aprendizado for inadequado para o treino em relação à diversidade, pluralidade e igualdade, ou a função de decisão for baseada em conceitos não éticos, o algoritmo de tomada de decisão pode vir a ter um comportamento discriminatório. A discriminação algorítmica está diretamente relacionada ao viés algorítmico.
Definição Pela definição do The Blueprint for an AI Bill of Rights a "discriminação algorítmica" ocorre quando sistemas automatizados contribuem para tratamento ou impactos injustificados desfavoráveis a pessoas com base em sua raça, cor, etnia, sexo, gravidez, parto e condições médicas relacionadas, identidade de gênero, identificação intersex e orientação sexual, religião, idade, origem nacional, deficiência, status de veterano, informações genéticas ou qualquer outra classificação protegida por lei. Dependendo das circunstâncias específicas, essa discriminação algorítmica pode violar as proteções legais.
A definição de discriminação é o ato de fazer distinções injustificadas entre pessoas com base em grupos, classes ou outras categorias das quais elas são consideradas pertencentes. As pessoas podem ser discriminadas com base em raça, sexo, gênero, idade, religião, deficiência, status migratório, orientação sexual, identidade de gênero, expressão de gênero, características sexuais.
Um algoritmo pode ser compreendido como uma receita de bolo que pode alcançar o resultado almejado se a receita for seguida à risca, dessa forma os algoritmos são sequências finitas de instruções que guiam o computador a realizar alguma ação. Ou seja, as máquinas são controladas pelos algoritmos.
Em sua maioria, os algoritmos discriminatórios se encontram na área de Inteligência Artificial e aprendizado de máquina, nas quais decisões têm de ser tomadas baseadas em um banco de dados de entradas e outras técnicas de aprendizado e de tomada de decisões. Tendo isso em vista, se o banco de entradas para o aprendizado for inadequado para o treino em relação à diversidade, pluralidade e igualdade, ou a função de decisão for baseada em conceitos não éticos, o algoritmo de tomada de decisão pode vir a ter um comportamento discriminatório. A discriminação algorítmica está diretamente relacionada ao viés algorítmico.
Viés algorítmico miniaturadaimagem|Um fluxograma mostrando as decisões tomadas por um mecanismo de recomendação. O viés (em inglês bias) é um conceito que pode ser descrito como a "distorção do julgamento de um observador por estar ele intimamente envolvido com o objeto de sua observação". O viés algorítmico é uma tendência sistemática do modelo a fazer previsões ou classificações tendenciosas, afetando a veracidade, precisão e justiça dos resultados. Essa é uma consequência, proposital ou não, está relacionada à construção de algoritmos, tendo em vista que quando uma máquina é treinada para ter uma inteligência artificial, ela necessita passar por um processo de aprendizagem para que tome as decisões que o seu criador julga corretas. Para que isso ocorra, é necessária uma grande quantidade de aprendizado de dados para que ela treine seu conhecimento sobre a decisão a ser tomada baseada em uma função de decisão escolhida no seu desenvolvimento. Machine Learning - Tom M. Mitchell - 1997
Como os algoritmos de aprendizagem de máquina são relacionados a pessoas, eles podem apresentar um viés discriminatório por diversos fatores, tanto relacionados ao seu treinamento (reflexo do mercado de tecnologia ou da escolha dos dados) quanto à sua implementação (interpretação dos resultados pelo ser humano) e isso é chamado de viés algorítmico.
Casos reais de vieses algorítmicos A pesquisa “Quem Coda BR”, realizada pelo PretaLab em parceria com a Thoughtworks, levantou dados sobre o perfil dos profissionais de tecnologia no Brasil, isto é, sobre os “criadores” de diversas inteligências artificiais. Conduzido entre novembro de 2018 e março de 2019, o estudo contou com a participação de 693 pessoas de 21 estados brasileiros, incluindo o Distrito Federal, que atuavam em empresas focadas em tecnologia ou em departamentos tecnológicos de diversas instituições.
Os resultados evidenciam a falta de diversidade nas equipes de tecnologia: em 64,9% dos casos, as mulheres representam, no máximo, 20% das equipes; em 77,1%, um máximo de 10% dos integrantes se declara como pertencente a uma orientação sexual diferente da heterossexual; e em 88,4%, não há nenhuma autodeclaração de gênero diverso de homem e mulher.
Esse estudo oferece um retrato do mercado tecnológico no Brasil e conclui que esse setor é predominantemente ocupado por homens brancos, jovens de classe socioeconômica média e alta, que frequentemente iniciam suas trajetórias profissionais em instituições de ensino formais. Essa realidade indica que o viés discriminatório pode refletir o próprio mercado de tecnologia que desenvolve esses sistemas, que muitas vezes escolhe os dados utilizados no seu desenvolvimento. Quando os desenvolvedores não pertencem a grupos minoritários, eles podem ser parciais quanto aos dados que fornecem à inteligência artificial, não percebendo a falta de representatividade do banco de dados. Isso resulta na perpetuação de preconceitos, que se manifestam nos algoritmos e que impactam negativamente a vida de indivíduos que não estão adequadamente representados nas amostras de dados.
Um exemplo é o caso da pesquisadora Joy Buolamnwini, que identificou a falta de diversidade no banco de dados utilizado para desenvolver um algoritmo de reconhecimento facial enquanto realizava testes com seu próprio rosto, sendo uma mulher negra. O sistema, que foi desenvolvido durante seu tempo no MIT, era eficaz em reconhecer os rostos de seus colegas brancos, mas falhou ao tentar reconhecer o dela. Apenas quando Joy colocou uma máscara branca de fantasia o algoritmo foi capaz de identificá-la corretamente. Esse episódio revela como a falta de diversidade nos dados pode comprometer a eficácia de tecnologias como o reconhecimento facial, e destaca a importância de testá-las em populações diversas. Joy Buolamwini:How I'm fighting bias in algorithms - TED - 2016
Tipos de vieses algorítmicos Estes são os principais tipos de viés algorítmico e os que ocorrem com a maior frequência:
Viés racial Refere-se a ações algorítmicas discriminatórias que resultam em tratamentos desiguais às pessoas com base na sua raça, cor, descendência ou origem nacional ou étnica, seja pelo racismo estrutural ou por expectativas sociais enraizadas. Esse viés, também conhecido como racismo algorítmico, se expressa a partir das desigualdades políticas, econômicas e jurídicas próprias do racismo estrutural, e não de falhas pontuais do uso e produção da tecnologia em cada caso concreto. Um exemplo é o uso de algoritmos de reconhecimento facial que apresentam maiores taxas de erro ao identificar pessoas negras ou de outras etnias não brancas, em comparação a indivíduos brancos. Um caso ocorreu quando um sistema de reconhecimento facial usado pela polícia identificou erroneamente um homem negro como suspeito de um crime que não cometeu, levando a uma prisão injusta. Isso ocorre porque muitos desses algoritmos são treinados em bases de dados com predominância de rostos brancos, perpetuando preconceitos raciais. Outro exemplo seria um algoritmo utilizado por empresas de crédito ou por seguradoras, que pode classificar de forma desigual pessoas negras com base em dados históricos enviesados, como locais de residência ou histórico familiar, agravando a desigualdade no acesso a serviços financeiros. Além disso, o racismo algorítmico também afeta a visibilidade e o engajamento no setor de criação de conteúdo digital. Pesquisas, como a de Araújo (2022), indicam que influenciadores digitais negros sofrem com a redução acentuada de alcance em plataformas como Instagram, TikTok e Twitter, especialmente ao debaterem questões raciais, evidenciando que os algoritmos de recomendação e moderação de conteúdo podem reproduzir e automatizar vieses estruturais.
Viés social Refere-se a ações algorítmicas discriminatórias que resultam em tratamento desigual ou segregação de um indivíduo com base em sua classe social. O preconceito social pode ser chamado de elitismo classista e pode se manifestar de várias formas em processos automatizados que utilizam inteligência artificial. Um exemplo seria um sistema de análise de crédito que, ao avaliar uma solicitação de empréstimo, atribui uma pontuação menor a indivíduos de classes sociais mais baixas, com base em fatores como o endereço residencial ou histórico educacional, mesmo que a pessoa tenha um bom histórico financeiro. Outro exemplo seria um sistema de recrutamento automatizado que favorece candidatos de escolas particulares, descartando automaticamente aqueles que estudaram em instituições públicas ou em áreas periféricas, independentemente de suas qualificações profissionais ou habilidades. Além disso, um sistema de recomendação de serviços pode oferecer produtos ou oportunidades de trabalho de menor remuneração para pessoas de classes sociais mais baixas, perpetuando a segregação e as desigualdades socioeconômicas. Weapons of math destruction - A book by Cathy O'Neil, 2016
Viés de gênero Refere-se a ações algorítmicas preconceituosas que acarretam resultados desiguais às pessoas com base no seu gênero, seja por expectativas sociais, estereótipos ou normas culturais. Além disso, inclui discriminação contra pessoas intersexo ou que se identificam fora do binário masculino/feminino. Esse tipo de viés pode se manifestar de várias maneiras em processos automatizados com uso de inteligência artificial, um exemplo comum é um sistema de recrutamento que, ao analisar currículos, favorece homens para cargos de liderança e tecnologia, enquanto subestima candidatas mulheres ou pessoas de outros gêneros para essas mesmas posições. Isso pode ocorrer porque o algoritmo foi treinado com dados históricos em que homens predominavam em tais cargos, perpetuando a desigualdade. Outro exemplo seria um sistema de recomendação de anúncios que, ao promover oportunidades de emprego ou produtos, exibe vagas de trabalho na área de cuidados e educação predominantemente para mulheres, reforçando estereótipos de gênero. Além disso, algoritmos de identificação de gênero podem falhar em reconhecer adequadamente pessoas que se identificam fora do binário masculino/feminino, como indivíduos não-binários, ou podem discriminar pessoas intersexo, ao não permitir que selecionem sua identidade de gênero em formulários ou sistemas automatizados.
Viés relacionado à orientação sexual