データセットを点検して統合:スプレッドシートでは見えない誤り
途中で切れた回答。「無回答」を意味する99が、回答のように平均に入っている。数字に見える列に、文字で書かれた値が二つある。二度入力されたケース。ファイルを開いても、どれも見えませんが、どれも結果を変えます。
ファイルをアップロードすると、数秒で、見つかったもののリストが手に入ります。二つアップロードすれば、HILOが、どこが違うか、統合してよいかを教えます。
- 点検は、何もしないうちに自動で出ます
- Excelでは崩れて開くファイルも、正しく読み取ります
- ブラウザの外には出ません
方法を学びたいですか?アンケートデータをクリーニングする方法と2つのアンケートデータを結合する方法をステップごとにお読みください。
気づかないうちに分析を台無しにする、四つのこと
どれも、数値が報告書にすでに載ったあとで、表に出てきます。
ファイルは壊れていません。読み方が間違っているのです
SPSSの書き出しは、値を一重引用符で囲みますが、Excelは二重引用符しか理解しません。回答の中に書かれたカンマごとに行が分割されるため、ファイルには余分な列があり、行の幅もまちまちに見えます。ここでは正しく読み取られ、何が違っていたかも示されます。
平均に紛れ込む99
99、999、-1は、たいてい「無回答」を意味します。誰も欠損値として宣言していなければ、もう一つの回答として計算に入ります。印が付くのは、その列のほかの値からかけ離れているときだけなので、正当に99まで取る尺度には印が付きません。さらに、半分以上が空白になっている列も示されます。
「わからない」が一つあるだけで、列がテキストになります
数字の列に、文字で書かれた値が一つあるだけで、プログラムは列全体をテキストとして読み取り、何も計算しなくなります。小数も同じです。3,5と3.5が混在すると、プログラムの言語設定によって、数値として読まれるものと、そうでないものが出ます。
二度入力されたケース
同一の行、そして、識別子に見えるのに値が重複している列。二度入力された回答は、そうした形で現れ、見ても気づかず、数えて気づきます。
統合する前に、統合できるかを確かめる
二つのファイルを読み込むと、比較が行われます。同じ形をしているか、どの行と列が違うか、書き出しの制限でテキストが切れているものがないか。そのあと、統合できます。列は、名前ではなくデータの形で対応づけられます。名前はよく嘘をつきますが、データは嘘をつかないからです。各ペアには理由が示されるので、確認するか、破棄するかを選べます。
できることと、できないこと
使い始めて一分後ではなく、ここで言っておくほうが大事です。
統計分析
計算も、変数の掛け合わせも、グラフ作成もしません。その前の段階です。使うプログラムが、正しいかのように間違った数値を返さないように、データを整えておく作業です。
ファイルは修正しません。見つかった内容をお知らせするので、修正はご自身の表計算ソフトやプログラムで行います。
二つのデータセットが同じものを測っているか
統合をダウンロードする前に、四つの確認にチェックを入れる必要があります。同じ分析単位、同じ期間、同じ定義、同じコードです。これは、データがどこから来たかを知る人にしかできません。
ファイルは、お使いの端末の外に出ません
お使いのブラウザで読み取られ、どこにもアップロードされません。氏名、メール、インフォームド・コンセントのあるアンケートのデータセットでは、ほかのどの文書よりも、これが重要です。さらに自由記述の設問があれば、ファイルを動かさずに、そのままコーディングできます。
ファイルの読み取り方、行の幅の違い、見出し行がないか、まったく同じ行の重複、空の列、全員が同じ回答をした列、半分以上が空白の列、数値として扱われている欠損値のコード、文字で書かれた値が混じっている数値の列、カンマとピリオドの混在した小数、値が重複している識別子です。
SPSSの書き出しは、値を一重引用符で囲みますが、Excelは二重引用符しか理解しません。回答の中に書かれたカンマごとに行が分割されるため、ファイルには余分な列や壊れた行があるように見えます。壊れているのではなく、読み方が間違っているのです。ここでは正しく読み取られます。
実際には「無回答」を意味する99、999、-1です。誰も欠損値として宣言していなければ、もう一つの回答として平均に入り、何の警告もなく平均を台無しにします。印が付くのは、その列のほかの回答からかけ離れているときだけなので、正当に99まで取る尺度には印が付きません。
列を、データの形で対応づけます。どれだけの種類があるか、典型的な長さ、使われている語彙がどれだけ重なるかです。見出しがあれば、同じ名前が優先されます。そのあと、各ペアを理由とともに示して、確認または破棄できます。ご自身が見ないまま統合されるものはありません。
貼り合わせることはできますが、結果は、どのツールも検証できないことに左右されます。二つが同じ単位を数えているかどうかです。一方は人を、もう一方は記録を数えていても、列はそのまま貼り合わされます。そのため、ダウンロードする前に、データがどこから来たかを知る人にしかできない四つの確認にチェックを入れる必要があります。
Excelです。
いいえ。ファイルはお使いのブラウザで読み取られ、お使いの端末の外には出ません。個人情報を含むアンケートのデータセットでは、ほかのどの文書よりも、これが重要です。
ご自身のデータセットで試してください
ファイルをアップロードして、何が見つかったか見てください。数秒で終わり、登録は不要で、何もアップロードされません。