hilo

Comment nettoyer une base de données d’enquête avant de l’analyser, en 5 étapes

L’application est en anglais.

La vérification se fait dans votre propre navigateur et le fichier ne quitte pas votre ordinateur.

Étape 1

Vérifier que le fichier est bien lu

Avant d’entrer dans les données, faites un contrôle rapide de la structure : combien de lignes et de colonnes, si toutes les lignes ont les mêmes colonnes et si la première ligne contient les noms des variables. Un séparateur ou un guillemet écrit à l’intérieur d’une réponse, ou les guillemets simples d’un export SPSS, coupent une ligne et décalent le reste des valeurs sans que personne ne s’en aperçoive.

Étape 2

Chercher les cas en double

Un cas saisi deux fois compte double dans chaque pourcentage. Cherchez les lignes identiques et, à part, les identifiants qui se répètent : si deux lignes différentes ont le même ID, l’une est mal saisie ou deux personnes partagent un numéro. Supprimez les copies, mais ne choisissez pas à l’aveugle laquelle de deux lignes au même ID est la bonne : consultez la source.

Étape 3

Examiner les colonnes vides, presque vides et à valeur unique

Une colonne sans la moindre réponse est souvent une question que personne n’a vue à cause d’un filtre du formulaire. Dans une colonne laissée vide à plus de la moitié, toute moyenne est calculée sur très peu de cas. Et une colonne qui a la même valeur dans tous les cas, comme l’année de l’enquête, n’apporte rien. Décidez quoi faire de chacune.

Étape 4

Repérer les codes de non-réponse et les valeurs qui ne conviennent pas

Un 99 ou un −1 qui signifie « ne répond pas » mais entre dans la moyenne comme une réponse la fausse sans prévenir. Il en va de même d’une colonne numérique où quelqu’un a écrit « ne sait pas » (une seule valeur suffit pour que le logiciel la lise comme du texte) et des décimales écrites tantôt avec une virgule, tantôt avec un point (3,5 et 3.5), que le logiciel lit, selon sa langue, comme un nombre ou comme du texte. Laissez vide ce qui n’a pas reçu de réponse, déplacez les réponses en toutes lettres dans une autre colonne et utilisez un seul séparateur décimal.

Étape 5

Corriger à la source, revérifier et documenter

Corrigez une copie du fichier d’origine, pas l’original : supprimez les copies, réglez les ID, laissez vide ce qui n’a pas reçu de réponse, unifiez le séparateur décimal et retirez les colonnes inutiles. Gardez une ligne par cas et une colonne par variable. Enregistrez la version corrigée sous un autre nom et notez ce que vous avez modifié (quelles lignes vous avez supprimées et pourquoi, quels codes vous avez passés à vide), pour pouvoir l’expliquer et le refaire.

Autres façons de faire

On peut le faire à la main dans un tableur (filtres, tri et tableaux croisés dynamiques pour compter les valeurs étranges), avec OpenRefine pour nettoyer et transformer, ou avec un script en R ou en Python.

HILO convient pour une première vérification rapide : il fonctionne dans le navigateur, il n’y a rien à installer, il ne demande pas d’inscription et le fichier ne quitte pas votre ordinateur. Un autre outil est préférable si vous devez corriger les données dans le logiciel même, garder le nettoyage dans un script reproductible ou travailler avec des bases très volumineuses.

Vérifiez votre propre base

Chargez un fichier Excel ou CSV et voyez en quelques secondes la liste de ce que HILO a trouvé.

Mis à jour le

Autres guides

Comment mesurer l’accord entre personnes codeuses

Le kappa de Cohen en 5 étapes : coder séparément, construire le tableau, compter l’accord, retirer le hasard et rapporter le résultat.

Comment anonymiser une base de données avant de la partager

Inventaire des colonnes, que faire de chacune, texte libre, risque de réidentification et table de codes, en 5 étapes.

Comment fusionner deux bases de données d’enquête

Choisir entre empiler et croiser par identifiant, vérifier qu’elles mesurent la même chose, fusionner et contrôler le résultat, en 5 étapes.

Comment coder les réponses ouvertes d’une enquête

Lire un échantillon, construire les catégories, attribuer chaque réponse, vérifier et les reporter dans votre base, en 5 étapes.

Comment opérationnaliser les objectifs d’un projet avec vos variables

Écrire les objectifs, faire l’inventaire des variables, les croiser, définir des indicateurs et reconnaître ce qui manque, en 5 étapes.

Comment élaborer un cadre logique ou une théorie du changement

Définir le problème, ordonner la chaîne de résultats, expliquer chaque maillon, définir les indicateurs et écrire les hypothèses, en 5 étapes.

Comment coder un entretien qualitatif

Lire, marquer des passages, partir de catégories préalables, ordonner le livre de codes et relever les citations, en 5 étapes.

Comment relire un mémoire, une thèse ou un rapport avant de le rendre

Choisir quoi vérifier, réunir ce que le texte dit de chaque thème, vérifier la cohérence, corriger sur place et représenter la structure, en 5 étapes.

Comment relier un programme aux cibles des ODD

Choisir les objectifs, lire les cibles, voir où le document les traite, évaluer dans quelle mesure et décider de ce qui manque, en 5 étapes.

Comment vérifier qu’un document respecte une liste d’exigences

Établir la liste, la réviser, voir où le document traite chaque point, distinguer le satisfait de l’incomplet et corriger, en 5 étapes.

Corriger rapidement des devoirs, des travaux écrits et des copies d’examen

Définir les concepts, créer le dossier du cours, réunir chaque concept dans chaque travail, lire les passages et préparer le retour, en 5 étapes.

Échantillonnage probabiliste : calculer la taille d’un échantillon

Ce que c’est, ses types et un calculateur pas à pas : population, confiance, marge d’erreur, strates et un paragraphe prêt pour votre méthodologie.