Automatiser la jonction de plusieurs CSV via un simple script #

La méthode la plus directe consiste à enchaîner le contenu des fichiers les uns après les autres, ligne à ligne, sans rien interpréter. C’est rapide, cela ne demande aucun logiciel particulier, et c’est reproductible : le même traitement appliqué au même dossier redonne le même résultat. Mais cette approche ne fonctionne qu’à une condition, rarement vérifiée avant de se lancer : que tous les fichiers soient écrits exactement de la même manière — mêmes colonnes, dans le même ordre, avec le même séparateur et le même encodage.

Le premier piège est l’en-tête. La RFC 4180 décrit la ligne d’en-tête comme facultative, placée en première ligne, et portant autant de champs que les enregistrements qui suivent. Chaque fichier source embarque donc la sienne. Une concaténation brute les recopie toutes : le fichier final contient des lignes de titres de colonnes au milieu des données, à chaque jonction. Deux sorties possibles — ne conserver l’en-tête que du premier fichier, ou les garder toutes et filtrer ensuite les lignes identiques à l’en-tête.

Le second piège est plus discret. La même RFC précise que le dernier enregistrement d’un fichier peut, ou non, se terminer par un saut de ligne. Si un fichier s’achève sans saut de ligne, sa dernière ligne se retrouve soudée à la première ligne du fichier suivant lors de la concaténation. Une seule ligne est corrompue, au milieu de milliers d’autres : personne ne la voit, et elle passe dans l’analyse.

À lire Découvrez le Fog Computing : La Révolution Silencieuse qui Redéfinit le Traitement des Données

Téléverser vos fichiers sur un service en ligne : ce que cela engage #

Beaucoup de services web proposent de fusionner des CSV directement dans le navigateur. La question technique y est secondaire ; la vraie question est ce que contient le fichier. Un fichier client, un export RH, une liste de contacts, un registre d’adhérents : ces fichiers sont faits de données personnelles, et les déposer chez un tiers n’est pas une manipulation neutre.

La CNIL définit une donnée personnelle comme toute information se rapportant à une personne physique identifiée ou identifiable — directement par un nom et un prénom, mais aussi indirectement par un identifiant tel qu’un numéro de client ou un numéro de téléphone. Une colonne qui ressemble à un code technique suffit donc souvent. Et un traitement, toujours selon la CNIL, est une opération ou un ensemble d’opérations portant sur des données personnelles, quel que soit le procédé utilisé : la fusion elle-même, et son téléversement, en font partie.

Deux conséquences concrètes. D’abord la finalité : la CNIL rappelle qu’un traitement doit avoir un objectif, et qu’on ne collecte ni ne traite des données personnelles simplement au cas où cela servirait un jour. Un référentiel consolidé « pour voir » n’est pas une raison. Ensuite la sous-traitance : le service qui traite le fichier pour votre compte agit comme sous-traitant. Dans sa fiche sur la gestion de la sous-traitance, la CNIL demande de ne faire appel qu’à des prestataires présentant des garanties suffisantes, de prévoir un contrat définissant l’objet, la durée et la finalité du traitement, d’y fixer les conditions de restitution et de destruction des données en fin de contrat, et cite explicitement comme erreur le fait d’entamer une prestation sans contrat reprenant les exigences de l’article 28 du RGPD. Elle met également en garde contre le recours à des services d’hébergement sans garantie sur la localisation des données.

La parade tient en une phrase : retirer les colonnes dont on n’a pas besoin avant d’envoyer quoi que ce soit, ou faire la fusion localement. Un identifiant interne et deux colonnes de mesure ne posent pas le même problème qu’un fichier nominatif complet.

À lire VPN et Hadopi : Ce que les internautes français doivent vraiment savoir

Utilisation de Power Query pour combiner automatiquement des ensembles de CSV dans Excel #

Power Query, le module de transformation de données de Microsoft, sait assembler plusieurs fichiers d’un même dossier en une seule table. Sa documentation pose cependant une condition explicite, qu’il vaut mieux lire avant de s’appuyer dessus : la fonctionnalité combine des fichiers partageant le même schéma en une table logique unique. C’est le prérequis, pas une option.

Microsoft précise que les sources peuvent être un dossier local, un site SharePoint ou un stockage cloud, et que le contenu binaire de chaque fichier est interprété via l’un des connecteurs disponibles — texte et CSV, tableur, JSON ou XML. La documentation du connecteur de dossier ajoute un point qu’on découvre en général trop tard : tous les fichiers du dossier et de ses sous-dossiers sont traités de la même façon, puis les résultats sont combinés. Un fichier oublié dans un sous-dossier, ou un export d’une autre nature rangé au même endroit, entre donc dans le résultat sans prévenir. Filtrer la liste des fichiers sur leur extension ou leur chemin avant de lancer la combinaison est la première précaution à prendre — la documentation le recommande d’ailleurs comme une bonne pratique. Le détail des libellés d’interface, lui, change d’une version à l’autre : mieux vaut retenir le principe que la suite de clics.

Fusionner des fichiers CSV avec Python pour des manipulations avancées #

Quand les fichiers ne sont pas parfaitement homogènes, il faut un outil capable de décrire explicitement la façon dont chaque fichier est écrit. La bibliothèque pandas remplit ce rôle, et sa documentation officielle est ici la seule référence qui vaille.

La fonction pandas.read_csv lit un fichier de valeurs séparées par des virgules et le charge dans un DataFrame. Trois de ses paramètres règlent à eux seuls l’essentiel des accidents de fusion. Le paramètre sep désigne le caractère — ou le motif — traité comme délimiteur, la virgule par défaut : c’est lui qu’on ajuste pour un fichier écrit avec un point-virgule. Le paramètre encoding vaut utf-8 par défaut : un fichier produit dans un autre encodage doit être déclaré comme tel, faute de quoi les accents se dégradent silencieusement. Le paramètre dtype permet enfin d’imposer un type à une colonne ; la documentation indique d’utiliser str pour préserver la valeur telle quelle au lieu de la laisser interpréter — c’est le levier qui sauve les codes à zéro initial.

À lire cat Linux : Maîtrisez la concaténation et la lecture de fichiers en ligne de commande

L’assemblage passe ensuite par pandas.concat, qui concatène des objets pandas le long d’un axe donné. Son paramètre join décide du sort des colonnes qui diffèrent d’un fichier à l’autre : la valeur par défaut, outer, conserve l’union des colonnes et laisse des valeurs manquantes là où un fichier ne fournissait rien ; la valeur inner ne garde que les colonnes communes à tous. Le choix n’est pas cosmétique — l’un produit un tableau troué qu’il faut savoir lire, l’autre supprime discrètement des colonnes entières. Il se décide avant la fusion, pas après.

Quand et pourquoi centraliser différentes sources CSV pour l’analyse de données #

Consolider a du sens quand les fichiers décrivent la même chose, sortent du même outil et gardent une structure stable dans le temps : des exports périodiques, des relevés d’agences successifs, des extractions mensuelles d’un même système. On gagne alors un référentiel unique, des comparaisons possibles d’une période à l’autre, et une seule chaîne de traitement à maintenir au lieu de plusieurs.

Cela en a beaucoup moins quand la fusion est ponctuelle, ou quand les sources ne parlent pas du même objet. Deux exports dont les colonnes portent le même nom mais recouvrent des définitions différentes — un montant hors taxes ici, toutes taxes comprises là — donnent un tableau parfaitement propre et totalement faux. Aucun outil ne détecte cela : c’est une question de connaissance du métier, pas de technique. Avant de fusionner, la bonne question n’est pas « comment ? » mais « ces fichiers décrivent-ils vraiment la même chose ? ».

Les pièges qui font échouer une fusion de CSV #

Contrôler une fusion avant de s’en servir #

Trois gestes suffisent à écarter la grande majorité des fusions ratées, et aucun ne demande d’outil particulier. Ils tiennent en un principe : on vérifie avant, on compte après, et on ne détruit jamais la source.

À lire Découvrez les secrets de Java: techniques de test pour une qualité logicielle infaillible

Questions fréquentes sur la fusion de fichiers CSV #