Como limpar uma base de dados de pesquisa antes de analisá-la, em 5 passos
A revisão é feita no seu próprio navegador e o arquivo não sai do seu computador.
Conferir se o arquivo é lido corretamente
Antes de ir para os dados, uma checagem rápida da estrutura: quantas linhas e colunas tem, se todas as linhas têm as mesmas colunas e se a primeira linha traz os nomes das variáveis. Um separador ou uma aspa escritos dentro de uma resposta, ou as aspas simples de uma exportação do SPSS, partem uma linha e deslocam o resto dos valores sem que ninguém perceba.
Buscar os casos repetidos
Um caso carregado duas vezes conta em dobro em cada porcentagem. Procure as linhas idênticas e, à parte, os identificadores que se repetem: se duas linhas diferentes têm o mesmo ID, uma foi mal carregada ou duas pessoas compartilham um número. Apague as cópias, mas não escolha às cegas qual de duas linhas com o mesmo ID é a certa: consulte a origem.
Revisar as colunas vazias, quase vazias e de um só valor
Uma coluna sem uma única resposta costuma ser uma pergunta que ninguém viu por causa de um filtro do formulário. Numa que mais da metade deixou em branco, qualquer média é calculada sobre pouquíssimos casos. E uma com o mesmo valor em todos os casos, como o ano da pesquisa, não traz nada. Decida o que fazer com cada uma.
Detectar códigos de não resposta e valores que não cabem
Um 99 ou um −1 que significa «não respondeu» e entra na média como se fosse uma resposta a arruína sem avisar. O mesmo acontece com uma coluna numérica em que alguém escreveu «não sabe» (basta um para o programa ler a coluna como texto) e com decimais escritos com vírgula e com ponto, 3,5 e 3.5, que, conforme o idioma do programa, são lidos uns como número e outros como texto. Deixe em branco o que não foi respondido, passe as respostas escritas com letras para outra coluna e use um só separador decimal.
Corrigir na origem, revisar de novo e documentar
Corrija uma cópia do arquivo de origem, nunca o original: apague as cópias, resolva os IDs, deixe em branco o que não foi respondido, unifique o decimal e tire as colunas que não servem. Mantenha uma linha por caso e uma coluna por variável. Salve a versão corrigida com outro nome e anote o que mudou (quais linhas apagou e por quê, quais códigos passou para branco), para poder explicar e repetir.
Outras formas de fazer
Dá para fazer à mão numa planilha (filtros, ordenação e tabelas dinâmicas para contar valores estranhos), com o OpenRefine para limpar e transformar, ou com um script em R ou Python.
O HILO é vantagem para uma primeira revisão rápida: funciona no navegador, não precisa instalar nada, é grátis, não pede cadastro e o arquivo não sai do seu computador. Outra ferramenta é melhor se você precisa corrigir os dados dentro do programa, deixar a limpeza num script que possa ser repetido ou trabalhar com bases muito grandes.
Revise a sua própria base
Carregue um Excel ou CSV e veja, em segundos, a lista do que o HILO encontrou.
Atualizada em
Outras guias
Como medir a concordância entre codificadores
O kappa de Cohen em 5 passos: codificar separadamente, montar a tabela, contar a concordância, descontar o acaso e relatar.
Como compartilhar uma base de dados sem expor dados pessoais
Inventário das colunas, o que fazer com cada uma, texto livre, risco de reidentificação e tabela de códigos, em 5 passos.
Como unir duas bases de dados de uma pesquisa
Escolher entre empilhar e cruzar por identificador, conferir que medem o mesmo, unir e revisar o resultado, em 5 passos.
Como codificar as respostas abertas de uma pesquisa
Ler uma amostra, montar as categorias, atribuir cada resposta, revisar e levá-las para a sua base, em 5 passos.
Como operacionalizar os objetivos de um projeto com as suas variáveis
Escrever os objetivos, fazer o inventário das variáveis, cruzá-los, definir indicadores e reconhecer o que falta, em 5 passos.