Viés algorítmico

O que é viés algorítmico

Viés é uma tendência sistemática que altera resultados. Nem todo viés é injusto: um detector pode ser deliberadamente conservador em situação de segurança. O problema surge quando escolhas e erros produzem tratamento ou impacto indevido, especialmente contra grupos historicamente vulneráveis.

Algoritmo inclui mais que modelo. Dados, regra, limiar, interface, ordem de recomendação, processo de recurso e decisão humana formam o sistema. Um modelo com métricas semelhantes entre grupos pode integrar um fluxo discriminatório; um modelo imperfeito pode ter controle humano que reduz dano.

O NIST distingue vieses sistêmicos, computacionais/estatísticos e humano-cognitivos. Eles interagem. Uma prática histórica desigual gera rótulos; a equipe os transforma em alvo; a interface apresenta score como verdade; o decisor confirma sua expectativa.

Onde o viés entra no ciclo de vida

A primeira escolha é o problema. Decidir prever “bom funcionário” usando permanência histórica incorpora políticas anteriores. Depois vêm coleta, exclusões, definição de grupos, rótulos, objetivo, amostragem, treinamento, avaliação, limiar, explicação e uso.

Em produção, usuários mudam comportamento em resposta ao sistema. Recomendações concentram atenção, policiamento gera mais registros onde é aplicado e crédito altera oportunidades futuras. Esse ciclo de feedback pode reforçar o padrão que o modelo mede.

Mapeie decisões e pessoas afetadas antes de selecionar técnica. Pergunte quem ganha, quem assume erro, quem não aparece nos dados e quem pode contestar. Participação social e especialistas de domínio revelam danos invisíveis a métricas.

1. Definir decisão, benefício esperado e alternativa sem IA.
2. Identificar titulares, afetados indiretos e grupos vulneráveis.
3. Mapear dados, rótulos, proxies e lacunas históricas.
4. Escolher métricas por tipo e custo de erro.
5. Testar desempenho, impacto, interface e processo humano.
6. Oferecer explicação, contestação e reparação.
7. Monitorar mudança e efeitos de feedback.

Dados representativos ainda podem ser injustos

Amostra sub-representada gera estimativa fraca para grupos raros, idiomas, regiões e pessoas com deficiência. Mas ampliar volume não corrige rótulo enviesado. Prisões, avaliações de desempenho, acesso a saúde e denúncias refletem instituições e podem não representar o fenômeno desejado.

Examine quem foi incluído, excluído e medido; como o dado foi produzido; quem atribuiu o rótulo; e quais erros existem. Dados faltantes podem se concentrar em quem tem menor acesso. Variáveis aparentemente neutras — CEP, escola, padrão de linguagem — podem atuar como proxies de renda, raça ou território.

Coletar atributo protegido pode ser necessário para medir desigualdade, mas exige base legal, segurança, minimização e governança. Removê-lo do modelo não impede discriminação indireta. Separe o uso de auditoria do uso decisório e proteja o conjunto.

• Cobertura por grupo, interseção, região, idioma e período.
• Qualidade e taxa de ausência por segmento.
• Origem e confiabilidade do rótulo de referência.
• Variáveis que funcionam como proxies.
• Mudanças de política durante a série histórica.
• Consentimento, base legal e risco da coleta sensível.

Rótulos e objetivos incorporam valores

Converter uma meta social em variável é decisão normativa. “Risco”, “mérito”, “qualidade” e “adequação cultural” não têm definição neutra. Um alvo fácil de medir pode não representar o que importa. Otimizar clique pode promover conteúdo extremo; otimizar custo pode negar atendimento complexo.

Documente a relação entre objetivo e decisão legítima. Compare com alternativas e avalie se a previsão deve existir. Sistemas de alto impacto não devem automatizar conceitos contestados sem base, participação e recurso.

Inclua custos assimétricos. Falso positivo em fraude bloqueia pessoa honesta; falso negativo deixa passar fraude. O limiar deve refletir impacto e oferecer tratamento proporcional, não ser escolhido apenas para maximizar acurácia.

Métricas de equidade e seus conflitos

Paridade demográfica compara proporção de resultados positivos; igualdade de oportunidade compara taxa de verdadeiros positivos; odds equalizadas considera verdadeiros e falsos positivos; calibração verifica se o mesmo score representa risco semelhante. Há muitas variações e elas podem ser incompatíveis quando taxas-base diferem.

Nenhuma fórmula decide o que é justo. A escolha depende do contexto jurídico, do benefício, do dano e do papel do modelo. Igualar seleção pode ser relevante em oportunidade; igualar falsos negativos pode ser essencial em diagnóstico; ambos podem exigir políticas adicionais.

Relate contagens e incerteza, não só razões. Um grupo pequeno produz estimativa instável. Analise interseções — por exemplo, gênero e raça — porque médias separadas podem ocultar dano específico. Métrica deve acompanhar revisão qualitativa.

Como testar viés em modelos generativos

Chatbots, geradores de imagem e sistemas multimodais podem associar profissões, crimes, beleza, competência e família a grupos. Também podem responder pior em variedades linguísticas ou produzir toxicidade diferente. Teste representações, qualidade, recusa e dano.

Use pares contrafactuais que mudam somente atributo relevante: nome, gênero, idade ou região, quando ética e legalmente apropriado. Avalie várias execuções, porque a geração varia. Inclua prompts naturais e adversariais e revise por pessoas do contexto.

Conte frequência e gravidade, mas analise narrativa. Diversidade superficial não corrige estereótipo de papel. Compare quem recebe agência, autoridade, emoção e contexto. Em imagens, verifique pele, cabelo, corpo, deficiência, idade e ambiente sem transformar diversidade em caricatura.

1. Definir estereótipos e danos relevantes com especialistas e comunidade.
2. Criar casos naturais, contrafactuais e interseccionais.
3. Executar múltiplas amostras com condições controladas.
4. Avaliar conteúdo, qualidade, recusa e representação.
5. Revisar falsos alarmes e diferenças justificáveis.
6. Registrar limites e novos casos encontrados.

Mitigação antes, durante e depois do modelo

Antes do treinamento, revise finalidade, coleta, amostragem, rótulos e documentação. Reponderação e aumento de dados podem ajudar, mas dados sintéticos também reproduzem viés. Durante o modelo, restrições e objetivos de equidade podem alterar trade-offs.

Depois, ajuste limiar, regra, interface, encaminhamento e contestação. Às vezes a solução correta é não usar o score para aquela decisão, limitar o escopo ou oferecer serviço universal. Mitigação técnica não substitui mudança institucional.

Teste se a correção mantém desempenho e não cria dano em outro grupo. Intervenções precisam de avaliação contínua; população e comportamento mudam. Documente qual definição de equidade foi escolhida e por quê.

Supervisão humana também tem viés

Uma pessoa pode corrigir erro do modelo ou apenas legitimá-lo. Automação gera viés de confirmação: score parece objetivo e recebe mais peso. O decisor também pode aceitar recomendações para alguns grupos e rejeitar para outros.

Supervisão efetiva exige competência, tempo, acesso aos dados, autoridade para discordar e registro do motivo. Mostre limitações e evite precisão falsa. Em vez de um número isolado, apresente fatores, incerteza e próximos passos permitidos.

Avalie o conjunto humano–IA. Compare resultado com e sem recomendação, taxa de discordância, tempo e diferenças por grupo. Treine para reconhecer limites, não para obedecer ao sistema.

Transparência, explicação e direito de contestar

Pessoas afetadas devem saber quando um sistema participa de decisão relevante, quais dados e finalidade estão envolvidos, consequências, limites e canal de contestação. Uma explicação técnica genérica de rede neural não responde por que aquele resultado ocorreu.

Forneça fatores significativos e informação acionável sem expor segredo ou permitir fraude. Corrija dados errados e reavalie. O recurso deve ser acessível, tempestivo e analisado por alguém capaz de alterar o resultado.

Documentação pública pode incluir finalidade, população, dados, métricas, limitações e auditorias. Transparência não substitui justiça, mas permite escrutínio e responsabilização.

Monitoramento, drift e reparação

Desempenho muda quando população, política, economia ou uso muda. Monitore taxa de erro, seleção, recusa e reclamação por grupos relevantes, com privacidade. Defina limite que pausa o sistema e responsável por investigar.

Auditoria periódica deve revisar dados, modelo, interface, processo humano e efeitos reais. Logs precisam permitir diagnóstico sem criar vigilância excessiva. Incidentes e recursos revelam casos que a avaliação inicial não continha.

Mitigar não basta quando já houve dano. Corrija decisão, notifique afetados quando cabível, ofereça reparação e evite repetição. Documente também decisões de manter o sistema, com justificativa.

Governança e participação das pessoas afetadas

Equidade não pode ficar apenas com cientistas de dados. Inclua domínio, jurídico, privacidade, acessibilidade, segurança, atendimento e representantes das comunidades. Diversidade da equipe ajuda, mas processo decisório e poder de influência importam.

Faça avaliação de impacto antes do piloto e reavalie após mudanças. Documente finalidade, alternativas, grupos, métricas, trade-offs, riscos residuais e aprovação. Fornecedor deve entregar evidências suficientes para seu contexto; certificado genérico não substitui teste local.

Crie canal para trabalhadores e usuários apontarem dano sem retaliação. Avaliadores externos e pesquisa independente podem aumentar confiança, desde que tenham acesso adequado e proteção de dados.

Checklist de equidade algorítmica

Se a organização não consegue explicar o objetivo, medir erros por grupos ou oferecer recurso, o sistema não está pronto para decisão de alto impacto. Reduza o escopo até possuir controles proporcionais.

1. A necessidade do sistema e a alternativa sem IA foram avaliadas.
2. Pessoas afetadas e tipos de dano participaram do desenho.
3. Origem, rótulo, lacunas e proxies dos dados estão documentados.
4. Métricas de equidade foram escolhidas com justificativa jurídica e social.
5. Testes cobrem grupos, interseções, casos raros e geração variável.
6. Supervisão humana tem autoridade, tempo e evidência.
7. Explicação, correção, contestação e reparação funcionam.
8. Monitoramento detecta drift e pode pausar o sistema.
9. Risco residual e decisão de uso estão registrados.