Cientista de dados na era da IA

O papel evoluiu, mas a missão continua

Ciência de dados transforma registros imperfeitos em evidência para uma decisão. Isso envolve entender o processo que gerou os dados, formular hipóteses, escolher método, quantificar incerteza e comunicar o que pode ou não ser concluído. Treinar um modelo é apenas uma parte do ciclo.

Com copilotos, modelos de linguagem e plataformas automatizadas, ficou mais rápido produzir consultas, código e protótipos. O ganho desloca valor para tarefas de maior julgamento: fazer a pergunta correta, reconhecer vazamento, definir métrica, verificar resultado e conectar análise ao contexto.

As fronteiras com analista, engenheiro de dados, ML engineer e product analyst variam. Em equipe pequena, uma pessoa percorre o ciclo inteiro; em organização madura, responsabilidades se especializam. Leia a descrição da vaga e descubra quais entregáveis ela realmente espera.

Comece pela decisão e pela pergunta

“Analisar churn” é amplo demais. Pergunte quem decidirá, qual ação está disponível, em que prazo e qual custo de erro. Prever clientes que sairão só gera valor se a empresa puder intervir, medir resultado e evitar incentivos prejudiciais.

Traduza o objetivo em unidade de análise, população, período, desfecho e critério. Diferencie pergunta descritiva — o que ocorreu —, preditiva — o que tende a ocorrer — e causal — o que mudaria se fizéssemos algo. Um modelo preditivo não prova efeito de uma ação.

Registre uma linha de base e a decisão atual. Às vezes uma regra simples, uma melhoria de processo ou coleta adicional resolve melhor que ML. O cientista responsável também sabe recomendar que um modelo não seja construído.

Entenda como os dados foram produzidos

Uma tabela não é a realidade; é o resultado de sistemas, incentivos e escolhas de medição. Descubra quem registra, quando, por quê e quais eventos ficam ausentes. Mudanças de sistema, política ou definição podem criar quebras que parecem tendências.

Construa dicionário com significado, unidade, origem, granularidade, período, valores permitidos, responsável e sensibilidade. Verifique chaves, duplicatas, nulos, cobertura, atualidade e reconciliação com fontes. Compare segmentos porque uma média pode esconder falhas graves.

Separe dados de treinamento, validação e teste de forma coerente com o uso futuro. Em séries temporais, respeite o tempo; em pessoas ou empresas repetidas, evite colocar o mesmo grupo nos dois lados. Vazamento ocorre quando a informação não estaria disponível no instante da decisão.

• Qual processo gera cada coluna?
• Quem ou o que não aparece na amostra?
• A definição mudou ao longo do tempo?
• Existe informação posterior ao desfecho?
• Quais atributos são pessoais, sensíveis ou proxies?
• Quem responde pela qualidade e pela correção?

Fundamentos técnicos que permanecem essenciais

SQL é central para consultar, agregar e testar dados. Python ou R ajudam em transformação, estatística, modelagem e automação. Git, testes, ambientes reproduzíveis e linha de comando aproximam análise de uma prática profissional sustentável.

Em matemática, priorize probabilidade, distribuições, amostragem, intervalos, testes, regressão, álgebra linear e otimização. O objetivo não é decorar fórmulas, mas reconhecer hipóteses, limitações e quando um resultado é instável.

Visualização exige escalas honestas, contexto e acessibilidade. Um gráfico deve responder uma pergunta; um dashboard deve apoiar uma ação. Aprenda a escrever em linguagem simples, porque a decisão raramente é tomada dentro do notebook.

Análise exploratória sem caça a padrões

Exploração serve para conhecer distribuição, relação, ausência e anomalia. Comece com contagens, faixas, percentis e exemplos concretos. Visualize por tempo e segmento. Investigue valores impossíveis antes de sofisticar o método.

Quanto mais combinações você procura, maior a chance de encontrar coincidências. Diferencie hipóteses definidas antes da análise de descobertas exploratórias. Resultados interessantes devem ser confirmados em dados novos ou experimento adequado.

Documente decisões de limpeza e análises que falharam. Excluir outlier, imputar nulo ou escolher janela pode alterar conclusão. Um relatório reprodutível deve ligar dado de origem, transformação, tabela e gráfico.

1. Definir população, unidade e período.
2. Validar esquema, chaves e cobertura.
3. Observar distribuição e exemplos reais.
4. Comparar tempo e segmentos relevantes.
5. Investigar anomalias com o dono do processo.
6. Separar achado exploratório de teste confirmatório.
7. Registrar transformação e limitação.

Previsão, experimento e causalidade

Previsão estima um resultado desconhecido; inferência causal estima diferença provocada por uma intervenção. Um cliente com alto risco de cancelar pode não ser persuadível. Direcionar desconto apenas pelo risco pode gastar com quem sairia mesmo assim ou premiar comportamento indesejado.

Experimentos randomizados equilibram grupos em expectativa e são fortes quando éticos e viáveis. Defina hipótese, unidade de randomização, métrica primária, tamanho, duração e regra de parada antes. Monitore efeitos adversos e não altere análise ao ver resultado.

Quando experimento não é possível, métodos observacionais exigem hipóteses mais fortes: variáveis de confusão, tendências paralelas, instrumentos ou descontinuidade. Declare essas condições e faça análises de sensibilidade. Significância estatística não substitui relevância prática.

Modelagem: baseline, métrica e validação

Crie baseline simples: média, regra atual ou regressão básica. Ele revela se complexidade acrescenta valor. Escolha métrica alinhada ao custo do erro e à prevalência; acurácia pode enganar em eventos raros. Avalie calibração quando a probabilidade orienta decisão.

Use validação que simule produção. Faça tuning sem tocar no teste final. Reporte intervalo, variação entre períodos e desempenho por segmentos. Compare também latência, custo, explicabilidade e facilidade de manutenção.

O limiar transforma score em ação e deve refletir capacidade e consequência. Um modelo excelente pode gerar política ruim se o atendimento estiver saturado ou a intervenção causar dano. Teste o sistema sociotécnico, não apenas o algoritmo.

Como usar IA generativa como copiloto

Modelos de linguagem ajudam a explicar erro, sugerir consulta, gerar esqueleto de teste, documentar função e explorar alternativas. Forneça esquema, exemplos, restrições e resultado esperado. Peça que declare hipóteses e produza saída verificável.

Não cole dados pessoais, segredos, contratos ou código proprietário em serviço não autorizado. Prefira ambiente empresarial aprovado, anonimização adequada e amostra sintética. Mesmo assim, revise política de retenção, treinamento e acesso.

Execute e inspecione todo código. Confirme nome de função na documentação, use testes pequenos e compare com cálculo independente. Uma resposta plausível pode conter pacote inexistente, junção errada, viés estatístico ou vulnerabilidade. Registre quais partes foram assistidas quando exigido.

Texto, RAG e dados não estruturados

Documentos, áudio, imagem e conversas podem ser classificados, resumidos ou consultados. Antes de usar modelo generativo, defina corpus, permissão, taxonomia e verdade de referência. Amostras devem incluir linguagem rara, negação, ambiguidade e conteúdo adversarial.

RAG recupera trechos para apoiar resposta, mas exige ingestão, fragmentação, metadados, controle de acesso, busca e citação. Avalie recuperação separadamente da geração. Uma resposta correta por acaso não compensa fonte errada; uma fonte correta não garante interpretação correta.

Para extração, prefira esquema estruturado, validação e fila de exceções. Para resumo, teste cobertura, fidelidade e omissões relevantes. Para tema ou sentimento, reconheça subjetividade e concordância entre anotadores. Não transforme inferência frágil em fato sobre uma pessoa.

Reprodutibilidade e colaboração com engenharia

Um notebook exploratório não é produto. Fixe versões, separe configuração, modularize transformação, crie testes e registre dados e modelo. O resultado deve poder ser reproduzido por outra pessoa com acesso autorizado.

Defina contrato com engenharia: origem, frequência, esquema, SLA, tratamento de atraso, versão de feature e responsável. Para produção, entregue artefato, ambiente, API ou batch, métricas, documentação e plano de rollback.

Monitore distribuição, qualidade, desempenho, custo e resultado de negócio. Ground truth pode chegar tarde; planeje coleta. Quando há drift, investigue causa antes de retreinar automaticamente. Mudança de processo pode exigir reformular o problema.

Privacidade, viés e governança

Use apenas dados necessários, com finalidade e base adequadas. Controle acesso, retenção, compartilhamento e descarte. Pseudonimização reduz exposição, mas não torna toda base anônima. Consulte encarregado e jurídico em casos sensíveis.

Viés pode entrar na amostragem, rótulo, atributo, objetivo, limiar e implementação. Avalie quem recebe benefício, quem suporta erro e se existe recurso. Métricas de grupos ajudam, mas precisam de contexto social e legal; não há fórmula única de justiça.

Documente finalidade, versão, dados, métricas, limitações, revisão e decisão de uso. A abordagem do NIST organiza risco em governar, mapear, medir e gerenciar. Quanto maior o impacto, maior deve ser a independência da validação e a supervisão.

• Inventário e classificação de dados e modelos.
• Avaliação de impacto antes do uso.
• Testes por cenários e grupos relevantes.
• Aprovação proporcional ao risco.
• Monitoramento, canal de contestação e incidente.
• Desativação segura quando benefício não se sustenta.

Comunicação, portfólio e entrada na carreira

Comunique em camadas: decisão e recomendação primeiro; evidência e incerteza depois; método detalhado no anexo. Mostre valor absoluto, base de comparação e consequência. Não esconda limitações em letra pequena.

No portfólio, escolha problema realista com dados autorizados. Inclua README executivo, dicionário, validação, baseline, análise de erro, aspectos éticos, custo e próximos passos. Uma solução simples e rigorosa supera um modelo sofisticado sem propósito.

Entrevistas avaliam SQL, estatística, experimentação, ML, caso de negócio e comunicação. Pratique explicar uma decisão e criticar o próprio trabalho. Busque função adjacente ao seu domínio; conhecimento de saúde, finanças, indústria ou políticas públicas é vantagem.

Evolua em ciclos trimestrais: fundamento, projeto, feedback e publicação. Use vagas reais para priorizar lacunas. Ferramentas mudam rápido, enquanto pergunta bem formulada, estatística, qualidade e responsabilidade permanecem.

1. Escolher uma área de domínio e estudar seu processo.
2. Dominar SQL e análise em Python ou R.
3. Aprender estatística, experimento e ML básico.
4. Concluir projeto reprodutível com baseline.
5. Adicionar avaliação de risco e comunicação executiva.
6. Pedir revisão técnica e de domínio.
7. Candidatar-se com evidência alinhada à vaga.