hilo

Como limpar uma base de dados de pesquisa antes de analisá-la, em 5 passos

A revisão é feita no seu próprio navegador e o arquivo não sai do seu computador.

Passo 1

Conferir se o arquivo é lido corretamente

Antes de ir para os dados, uma checagem rápida da estrutura: quantas linhas e colunas tem, se todas as linhas têm as mesmas colunas e se a primeira linha traz os nomes das variáveis. Um separador ou uma aspa escritos dentro de uma resposta, ou as aspas simples de uma exportação do SPSS, partem uma linha e deslocam o resto dos valores sem que ninguém perceba.

Passo 2

Buscar os casos repetidos

Um caso carregado duas vezes conta em dobro em cada porcentagem. Procure as linhas idênticas e, à parte, os identificadores que se repetem: se duas linhas diferentes têm o mesmo ID, uma foi mal carregada ou duas pessoas compartilham um número. Apague as cópias, mas não escolha às cegas qual de duas linhas com o mesmo ID é a certa: consulte a origem.

Passo 3

Revisar as colunas vazias, quase vazias e de um só valor

Uma coluna sem uma única resposta costuma ser uma pergunta que ninguém viu por causa de um filtro do formulário. Numa que mais da metade deixou em branco, qualquer média é calculada sobre pouquíssimos casos. E uma com o mesmo valor em todos os casos, como o ano da pesquisa, não traz nada. Decida o que fazer com cada uma.

Passo 4

Detectar códigos de não resposta e valores que não cabem

Um 99 ou um −1 que significa «não respondeu» e entra na média como se fosse uma resposta a arruína sem avisar. O mesmo acontece com uma coluna numérica em que alguém escreveu «não sabe» (basta um para o programa ler a coluna como texto) e com decimais escritos com vírgula e com ponto, 3,5 e 3.5, que, conforme o idioma do programa, são lidos uns como número e outros como texto. Deixe em branco o que não foi respondido, passe as respostas escritas com letras para outra coluna e use um só separador decimal.

Passo 5

Corrigir na origem, revisar de novo e documentar

Corrija uma cópia do arquivo de origem, nunca o original: apague as cópias, resolva os IDs, deixe em branco o que não foi respondido, unifique o decimal e tire as colunas que não servem. Mantenha uma linha por caso e uma coluna por variável. Salve a versão corrigida com outro nome e anote o que mudou (quais linhas apagou e por quê, quais códigos passou para branco), para poder explicar e repetir.

Outras formas de fazer

Dá para fazer à mão numa planilha (filtros, ordenação e tabelas dinâmicas para contar valores estranhos), com o OpenRefine para limpar e transformar, ou com um script em R ou Python.

O HILO é vantagem para uma primeira revisão rápida: funciona no navegador, não precisa instalar nada, é grátis, não pede cadastro e o arquivo não sai do seu computador. Outra ferramenta é melhor se você precisa corrigir os dados dentro do programa, deixar a limpeza num script que possa ser repetido ou trabalhar com bases muito grandes.

Revise a sua própria base

Carregue um Excel ou CSV e veja, em segundos, a lista do que o HILO encontrou.

Atualizada em