Как очистить базу данных опроса перед анализом, за 5 шагов

Прежде чем обращаться к данным, быстро проверьте структуру: сколько строк и столбцов, одинаково ли число столбцов во всех строках и содержит ли первая строка названия переменных. Разделитель или кавычка внутри ответа либо одинарные кавычки выгрузки из SPSS разрывают строку и незаметно сдвигают остальные значения.

Если наблюдение загружено дважды, оно учитывается дважды во всех процентах. Найдите одинаковые строки и отдельно повторяющиеся идентификаторы: если у двух разных строк один идентификатор, одна загружена неверно или у двух людей один номер. Удалите копии, но не выбирайте вслепую, какая из двух строк с одним идентификатором верна: обратитесь к источнику.

Столбец без единого ответа обычно означает вопрос, который никто не увидел из-за фильтра формы. В столбце, который более половины оставили пустым, любое среднее рассчитывается на очень немногих наблюдениях. А столбец с одним значением во всех наблюдениях, например год опроса, ничего не даёт. Решите, что делать с каждым.

99 или −1, означающие «нет ответа» и попадающие в среднее как ответ, незаметно портят его. То же происходит со столбцом чисел, где кто-то написал «не знаю» (достаточно одного раза, чтобы программа прочитала столбец как текст), и с десятичными, записанными через запятую и через точку, 3,5 и 3.5, из которых в зависимости от языка программы одни читаются как числа, а другие как текст. Оставьте пустым то, на что не ответили, перенесите текстовые ответы в другой столбец и используйте один десятичный разделитель.

Исправляйте в копии исходного файла, а не в оригинале: удалите копии, разберитесь с идентификаторами, оставьте пустым то, на что не ответили, унифицируйте десятичный разделитель и уберите ненужные столбцы. Оставьте одну строку на наблюдение и один столбец на переменную. Сохраните исправленную версию под другим именем и запишите, что вы изменили (какие строки удалили и почему, какие коды сделали пустыми), чтобы это можно было объяснить и повторить.