Comment nettoyer une base de données d’enquête avant de l’analyser, en 5 étapes
L’application est en anglais.
La vérification se fait dans votre propre navigateur et le fichier ne quitte pas votre ordinateur.
Vérifier que le fichier est bien lu
Avant d’entrer dans les données, faites un contrôle rapide de la structure : combien de lignes et de colonnes, si toutes les lignes ont les mêmes colonnes et si la première ligne contient les noms des variables. Un séparateur ou un guillemet écrit à l’intérieur d’une réponse, ou les guillemets simples d’un export SPSS, coupent une ligne et décalent le reste des valeurs sans que personne ne s’en aperçoive.
Chercher les cas en double
Un cas saisi deux fois compte double dans chaque pourcentage. Cherchez les lignes identiques et, à part, les identifiants qui se répètent : si deux lignes différentes ont le même ID, l’une est mal saisie ou deux personnes partagent un numéro. Supprimez les copies, mais ne choisissez pas à l’aveugle laquelle de deux lignes au même ID est la bonne : consultez la source.
Examiner les colonnes vides, presque vides et à valeur unique
Une colonne sans la moindre réponse est souvent une question que personne n’a vue à cause d’un filtre du formulaire. Dans une colonne laissée vide à plus de la moitié, toute moyenne est calculée sur très peu de cas. Et une colonne qui a la même valeur dans tous les cas, comme l’année de l’enquête, n’apporte rien. Décidez quoi faire de chacune.
Repérer les codes de non-réponse et les valeurs qui ne conviennent pas
Un 99 ou un −1 qui signifie « ne répond pas » mais entre dans la moyenne comme une réponse la fausse sans prévenir. Il en va de même d’une colonne numérique où quelqu’un a écrit « ne sait pas » (une seule valeur suffit pour que le logiciel la lise comme du texte) et des décimales écrites tantôt avec une virgule, tantôt avec un point (3,5 et 3.5), que le logiciel lit, selon sa langue, comme un nombre ou comme du texte. Laissez vide ce qui n’a pas reçu de réponse, déplacez les réponses en toutes lettres dans une autre colonne et utilisez un seul séparateur décimal.
Corriger à la source, revérifier et documenter
Corrigez une copie du fichier d’origine, pas l’original : supprimez les copies, réglez les ID, laissez vide ce qui n’a pas reçu de réponse, unifiez le séparateur décimal et retirez les colonnes inutiles. Gardez une ligne par cas et une colonne par variable. Enregistrez la version corrigée sous un autre nom et notez ce que vous avez modifié (quelles lignes vous avez supprimées et pourquoi, quels codes vous avez passés à vide), pour pouvoir l’expliquer et le refaire.
Autres façons de faire
On peut le faire à la main dans un tableur (filtres, tri et tableaux croisés dynamiques pour compter les valeurs étranges), avec OpenRefine pour nettoyer et transformer, ou avec un script en R ou en Python.
HILO convient pour une première vérification rapide : il fonctionne dans le navigateur, il n’y a rien à installer, il ne demande pas d’inscription et le fichier ne quitte pas votre ordinateur. Un autre outil est préférable si vous devez corriger les données dans le logiciel même, garder le nettoyage dans un script reproductible ou travailler avec des bases très volumineuses.
Vérifiez votre propre base
Chargez un fichier Excel ou CSV et voyez en quelques secondes la liste de ce que HILO a trouvé.
Mis à jour le
Autres guides
Comment mesurer l’accord entre personnes codeuses
Le kappa de Cohen en 5 étapes : coder séparément, construire le tableau, compter l’accord, retirer le hasard et rapporter le résultat.
Comment anonymiser une base de données avant de la partager
Inventaire des colonnes, que faire de chacune, texte libre, risque de réidentification et table de codes, en 5 étapes.
Comment fusionner deux bases de données d’enquête
Choisir entre empiler et croiser par identifiant, vérifier qu’elles mesurent la même chose, fusionner et contrôler le résultat, en 5 étapes.
Comment coder les réponses ouvertes d’une enquête
Lire un échantillon, construire les catégories, attribuer chaque réponse, vérifier et les reporter dans votre base, en 5 étapes.
Comment opérationnaliser les objectifs d’un projet avec vos variables
Écrire les objectifs, faire l’inventaire des variables, les croiser, définir des indicateurs et reconnaître ce qui manque, en 5 étapes.
Comment élaborer un cadre logique ou une théorie du changement
Définir le problème, ordonner la chaîne de résultats, expliquer chaque maillon, définir les indicateurs et écrire les hypothèses, en 5 étapes.
Comment coder un entretien qualitatif
Lire, marquer des passages, partir de catégories préalables, ordonner le livre de codes et relever les citations, en 5 étapes.
Comment relire un mémoire, une thèse ou un rapport avant de le rendre
Choisir quoi vérifier, réunir ce que le texte dit de chaque thème, vérifier la cohérence, corriger sur place et représenter la structure, en 5 étapes.
Comment relier un programme aux cibles des ODD
Choisir les objectifs, lire les cibles, voir où le document les traite, évaluer dans quelle mesure et décider de ce qui manque, en 5 étapes.
Comment vérifier qu’un document respecte une liste d’exigences
Établir la liste, la réviser, voir où le document traite chaque point, distinguer le satisfait de l’incomplet et corriger, en 5 étapes.
Corriger rapidement des devoirs, des travaux écrits et des copies d’examen
Définir les concepts, créer le dossier du cours, réunir chaque concept dans chaque travail, lire les passages et préparer le retour, en 5 étapes.
Échantillonnage probabiliste : calculer la taille d’un échantillon
Ce que c’est, ses types et un calculateur pas à pas : population, confiance, marge d’erreur, strates et un paragraphe prêt pour votre méthodologie.