Data Science na Prática 3.0

Curso

Decisões baseadas em Dados

O que é Data Science (de verdade)

  • Ciência envolve outras etapas além de programação/ML/modelagem. Ciência envolve você entender o problema;
  • Etapas
    1. Defina o objetivo da pesquisa
    2. Faça uma hipótese
    3. Coleta de dados
    4. Teste sua hipótese
    5. Analise seus resultados
    6. Chegue a uma conclusão
    7. Refine a hipótese e repita
  • Auxílio ao processo de tomada de decisão - Data-Driven

Pensamento Analítico de Dados e Data Driven Decisions

  • Livro: Data Science para Negócios
  • As pessoas querem “One Big Idea” para apresentar o resultado do trabalho
  • Data → Information → Knowledge → Vantagem estratégica

Senso Comum vs. Pensamento Científico

  • Livro: Metodologia de Pesquisa em Engenharia de Produção e Gestão de Operações
  • Etapas
    1. Identificar o problema
    2. Obter informações sobre o problema
    3. Consultar referências
    4. Levantar hipóteses
    5. Validar hipóteses
    6. Entregável - relatório/dashboard/post
  • Problema → Método → Solução → Aplicação → Conhecimento
  • “A ciência é uma metamorfose do senso comum. Sem ele, ela não pode existir”
  • A diferença é o Rigor

Análise de Dados e Pandas

Visualizando dados

Lidando com valores ausentes

  • excluir
    • joga fora outros valores que seriam uteis
    • se o dataset for grande com poucos ausentes, talvez não tenha problema
  • preencher
    • média ou mediana
      • mediana exclui os outliers
    • valores mais frequentes