hilo

分析の前にアンケートデータをクリーニングする方法:5つのステップ

アプリは英語で表示されます。

確認はブラウザ内で行われ、ファイルがコンピュータの外に出ることはありません。

ステップ 1

ファイルが正しく読み込まれるか確認する

データの中身に入る前に、構造を手早く確認します。行と列の数、すべての行の列数が同じか、1行目が変数名かを見ます。回答の中に書かれた区切り文字や引用符、SPSSの書き出しで使われる一重引用符は、行を分断し、残りの値を気づかないうちにずらしてしまいます。

ステップ 2

重複したケースを探す

2回入力されたケースは、すべての割合で二重に数えられます。同一の行を探し、別途、繰り返されている識別子も探します。別々の2行が同じIDを持っていれば、一方の入力が誤っているか、2人が同じ番号を共有しています。重複した行は削除しますが、同じIDの2行のどちらが正しいかを推測で選ばず、元の資料に当たってください。

ステップ 3

空の列、ほとんど空の列、値が一つだけの列を確認する

回答が一つもない列は、たいていフォームの条件分岐のために誰も目にしなかった設問です。半数以上が空欄の列では、どんな平均もごく少ないケースで計算されます。そして、調査年のようにすべてのケースで同じ値の列は、何の情報も加えません。それぞれどう扱うかを決めます。

ステップ 4

無回答コードと、形式の合わない値を見つける

「無回答」を意味する99や−1が回答として平均の計算に入ると、気づかないうちに結果をゆがめます。数値の列に誰かが「わからない」と書いた場合(一つでもあれば、プログラムはその列を文字列として読みます)や、小数点がコンマとピリオドで混在している場合(3,5と3.5。プログラムの言語設定によって、数値として読まれるものと文字列として読まれるものが出ます)も同じです。回答されなかったところは空欄にし、文字の回答は別の列に移し、小数点の表記は一つに統一します。

ステップ 5

元ファイルのコピーで修正し、再度確認し、記録する

元ファイルそのものではなく、そのコピーで修正します。重複を削除し、IDの問題を解決し、回答のないところを空欄にし、小数の表記を統一し、不要な列を取り除きます。1ケース1行、1変数1列にします。修正版を別の名前で保存し、何を変えたか(どの行をなぜ削除したか、どのコードを空欄にしたか)を記録して、説明も再現もできるようにします。

ほかの方法

スプレッドシートを使って手作業で行う方法(フィルター、並べ替え、おかしな値を数えるピボットテーブル)、OpenRefineでクリーニングと変換を行う方法、RやPythonのスクリプトで行う方法があります。

HILOが向いているのは、最初の確認を手早く行うときです。ブラウザ上で動き、インストールも登録も不要で、ファイルがコンピュータの外に出ることはありません。ほかのツールが向いているのは、プログラムの中でデータを修正する必要があるとき、クリーニングを再実行できるスクリプトに残すとき、または非常に大きなデータを扱うときです。

自分のデータを確認する

ExcelまたはCSVを読み込むと、HILOが見つけたことの一覧を数秒で確認できます。

更新日

ほかのガイド

コーダー間信頼性の測り方

Cohenのカッパ係数を5ステップで:別々にコーディングし、表を作り、一致を数え、偶然の分を差し引き、報告します。

2つのアンケートデータを結合する方法

積み重ねか識別子での結合かを選び、同じものを測っているか確かめ、結合して結果を確認する5つのステップです。

アンケートの自由記述をコーディングする方法

サンプルを読み、カテゴリを作り、各回答を割り当て、確認してデータに戻す5つのステップです。

プロジェクトの目的を変数で操作化する方法

目的を書き、変数を棚卸しし、照合し、指標を定め、足りないものを確かめる5つのステップです。

ログフレームとセオリー・オブ・チェンジの作り方

問題を定め、論理の順序を整理し、各段階を説明し、指標を定め、前提条件を書く5つのステップです。

インタビューの質的コーディングの方法

読み、箇所に印を付け、既存のカテゴリから始め、コードブックを整え、引用を取り出す5つのステップです。

卒業論文、レポート、報告書を提出前に見直す方法

見直す点を選び、各テーマの記述を集め、整合性を確かめ、その場で修正し、構造を図にする5つのステップです。

事業をSDGsのターゲットに紐付ける方法

ゴールを選び、ターゲットを読み、文書のどこで扱うかを確かめ、程度を評価し、足りないものを決める5つのステップです。

文書が要求事項のリストを満たすか確かめる方法

リストを作り、見直し、文書のどこで扱うかを確かめ、満たしているものと不完全なものを区別し、修正する5つのステップです。

レポート、課題、試験を効率よく採点する方法

概念を定め、授業のフォルダを作り、各提出物で各概念の箇所を集め、箇所を読み、フィードバックをまとめる5つのステップです。

確率抽出:サンプルサイズの計算方法

確率抽出の意味と種類、順に進める計算ツール:母集団、信頼水準、許容誤差、層、方法の節に使える段落。