Partager:
Comment diviser une feuille de calcul Excel CSV énorme en fichiers séparés
Excel est excellent pour de nombreuses tâches quotidiennes. Mais de temps en temps, vous rencontrez l'un de ses inconvénients: la taille d'un tableur. Si vous avez besoin de savoir comment réduire une feuille de calcul Excel ou diviser un grand fichier CSV, nous avons ce qu'il vous faut..
Atteindre la limite des lignes de la feuille de calcul est une tâche assez sérieuse en soi. La limite actuelle de lignes de la feuille de calcul Excel est de 1 048 576. C'est vrai - plus d'un million de lignes et le même nombre de colonnes.
Mais atteindre cette limite de lignes est en fait incroyablement facile, lors de certaines tâches. Si vous faites du marketing par courrier électronique, vous pouvez importer un fichier CSV. Comment importer des données dans vos feuilles de calcul Excel de manière simple et efficace Comment importer des données dans vos feuilles de calcul Excel de manière simple et pratique Avez-vous déjà eu du mal à importer ou à exporter des données dans un tableur? Ce tutoriel vous aidera à maîtriser l'art de déplacer des données entre Microsoft Excel, CSV, HTML et d'autres formats de fichiers. Lire la suite contenant des millions d'adresses e-mail. Le seul problème est de savoir comment gérer réellement une feuille de calcul avec autant d’adresses. De plus, que se passe-t-il si quelqu'un vous envoie un fichier CSV dépassant déjà la limite (d'un autre programme)??
Eh bien, je vais vous montrer comment décomposer cet énorme fichier CSV en morceaux faciles à gérer..
(Vous n'avez pas un gros fichier CSV à la portée de la main? Il existe quelques jeux de données assez volumineux disponibles. 15 bases de données en ligne massives que vous devez connaître à propos de 15 bases de données en ligne massives à connaître. Internet documente tout. Certaines de ces données sont concentrées dans de vastes bases de connaissances. Appelez Les encyclopédies en ligne ou les bases de données en ligne - la question est de savoir si vous connaissez les meilleurs. Lisez-en plus à data.gov. Je vais utiliser la liste de comparaison des hôpitaux de 260 000 lignes afin que vous puissiez utiliser le même fichier.)
1. Utiliser un programme
Il existe un certain nombre de programmes de division CSV utiles. Je vais vous montrer deux des meilleurs.
CSV Chunker
CSV Chunker est un séparateur CSV open source. Il peut gérer des fichiers volumineux, en les divisant rapidement en morceaux de votre choix. Il a fallu environ 3 secondes pour diviser notre fichier CSV Hospital Compare en 106 morceaux de 2 500 lignes chacun..
Séparateur CSV
CSV Splitter est notre deuxième outil. Il offre à peu près les mêmes fonctionnalités que CSV Chunker, bien qu’il soit légèrement plus élégant. Il a fallu environ 4 secondes au répartiteur CSV pour diviser notre fichier CSV Hospital Compare en 106, contenant à nouveau 2 500 lignes chacun..
2. Utiliser un fichier batch
Ensuite, un fichier de commandes programmable. Comment écrire un fichier de traitement par lots simple (BAT) Comment écrire un fichier de traitement par lots simple (BAT) Les fichiers de traitement par lots peuvent automatiser des tâches informatiques quotidiennes. Voici comment fonctionnent les fichiers de commandes et comment écrire votre premier script de commandes. Lire la suite . Nous pouvons utiliser un fichier de traitement par lots pour traiter le fichier CSV en fragments plus petits, en personnalisant le fichier pour en fournir différents..
Ouvrez un nouveau document texte. Copiez et collez le texte suivant:
@echo off setlocal ENABLEDELAYEDEXPANSION REM Modifiez cette valeur pour modifier le nom du fichier à fractionner. Inclure l'extension. SET BFN = HCAHPSHospital.csv REM Modifiez cette valeur pour modifier le nombre de lignes par fichier. SET LPF = 2500 REM Editez cette valeur pour changer le nom de chaque fichier court. Il sera suivi d'un numéro indiquant où il se trouve dans la liste. SET SFN = HosptialSplitFile REM Ne changez pas au-delà de cette ligne. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A NoFich = 1 pour / F "supprime ==" %% l dans (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% if! LineNum! EQU! LPF! (SET / Un LineNum = 0 SET / Un FileNum + = 1)) endlocal Pause
Vous devrez configurer le fichier de commandes avant de l'exécuter. Je vais vous dire ce que fait chaque commande, et vous pouvez la modifier pour l'adapter à la taille de votre fichier de commandes, ainsi qu'à la sortie requise..
- “SET BFN =” devrait pointer vers le CSV dont vous avez besoin pour décomposer
- “SET LPF =” est le nombre de lignes que vous souhaitez limiter à votre nouveau fichier
- “SET SFN =” est le nouveau schéma de nommage pour vos fichiers fractionnés
Une fois que vous avez entré vos variables, allez à Fichier> Enregistrer sous. Choisissez le nom du fichier et sélectionnez sauvegarder. Ensuite, sélectionnez votre fichier texte nouvellement enregistré et appuyez sur F2 le renommer. Remplacez l’extension TXT par BAT et appuyez sur D'accord quand l'avertissement apparaît. Maintenant, vous pouvez diviser votre grand CSV!
Je vous préviens cependant, cette méthode prend du temps. Vous ferez probablement mieux d'utiliser l'un des séparateurs susmentionnés..
Le script original et le fil peuvent être trouvés ici.
3. Utiliser un script PowerShell
Les fichiers batch sont pratiques. Vous pouvez les utiliser pour un large éventail de tâches quotidiennes. Mais les scripts PowerShell sont généralement plus rapides, en particulier pour ce type de traitement et de division..
Le script suivant coupera rapidement votre gros fichier CSV en fichiers plus petits. Encore une fois, j'ai utilisé le fichier CSV Hospital Compare pour mon exemple. Il a fallu environ 3 secondes pour que la commande s'exécute. Ouvrez Windows ISE PowerShell. Si vous ne savez pas comment faire cela, tapez PowerShell Ise dans votre menu de recherche et sélectionnez l’option correspondante. Lorsque le PowerShell ISE est ouvert, sélectionnez le Afficher le script flèche, située dans le coin supérieur droit (encadré en rouge dans l'image ci-dessous).
Copiez et collez la commande suivante dans le panneau de script, en haut de votre écran..
$ i = 0; Get-Content C: \ Utilisateurs \ Gavin \ Téléchargements \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ i ++; $ _ | Fichier sortant C: \ Utilisateurs \ Gavin \ Téléchargements \ Fichier_Hôpitaux_Revised_Français \ split \ fichier_fichier_ $ i.csv
Tout d'abord, vous devez modifier l'emplacement de votre fichier d'entrée. Deuxièmement, vous devez spécifier le nombre de lignes que vos fichiers de sortie doivent contenir. Enfin, spécifiez l'emplacement de votre fichier de sortie. J'ai laissé mes chemins de fichiers ici pour illustrer la situation. De plus, votre nom de fichier de sortie doit avoir la “_ $ i.csv”suffixe correspondant au mien. Sinon, vos fichiers de sortie ne seront pas numérotés correctement.
Lorsque vous avez édité le fichier avec vos propres données, appuyez sur CTRL + S pour sauvegarder votre script.
Le script original peut être trouvé ici.
4. Chargez-le dans un modèle de données
Notre solution finale ne consiste pas à scinder le grand fichier CSV en parties plus petites. Vous voyez, Jose Barreto, un membre de l'équipe OneDrive, a récemment expliqué exactement comment charger un fichier CSV volumineux dans Excel. Dans ce cas, gros signifie plus de 1 048 567 lignes. Il explique dans un tutoriel qu'au lieu de charger le fichier, Excel 2016 peut créer un lien de données vers le fichier CSV..
Les données du fichier CSV d'origine seront disponibles pour l'utilisateur dans un modèle de données. Barreto a créé un tableau croisé dynamique à l'aide de “jusqu'à 8,5 millions de lignes sans aucun problème.” L'image ci-dessus est tirée du billet de blog de Barreto (lien ci-dessous), montrant un total de 2 millions de lignes dans Excel. (Apprenez à utiliser un tableau croisé dynamique pour l'analyse de données. Comment utiliser un tableau croisé dynamique Excel pour l'analyse de données. Comment utiliser un tableau croisé dynamique Excel pour l'analyse de données. Le tableau croisé dynamique est l'un des outils les plus puissants du répertoire Excel 2013. Il est fréquemment utilisé pour l’analyse de données volumineuses. Suivez notre démonstration étape par étape pour tout apprendre à ce sujet.
Si telle est la solution qui vous convient, suivez le didacticiel détaillé de Jose Barreto ici. N'oubliez pas que cela ne divise pas le fichier CSV, mais signifie que vous pouvez manipuler vos données dans certains outils Excel. Visualiser votre analyse de données avec les outils puissants d'Excel. Visualiser votre analyse de données avec les outils puissants d'Excel. fonctionnalités de gestion de données. Une fois que vous aurez utilisé l’un des nouveaux outils, vous les voudrez tous. Devenez un maître de l'analyse de vos données avec des outils électriques! Lire la suite . Si vous accédez à vos données pour interagir directement avec elles, cela pourrait valoir la peine d'essayer..
Décomposer!
Nous avons répertorié quatre solutions pour décomposer vos fichiers CSV volumineux, y compris deux outils différents..
Parmi les quatre solutions, le fichier de commandes est probablement la plus lente des 5 raisons pour lesquelles vous devriez utiliser PowerShell au lieu des scripts de traitement par lots. 5 raisons pour lesquelles vous devez utiliser PowerShell au lieu des scripts par lots dans certaines fonctionnalités supplémentaires, et fait grimper le tout de plusieurs crans. Voici plusieurs raisons pour lesquelles vous devriez l'essayer. Lire la suite . Le script PowerShell est rapide et facilement personnalisable, tandis que les deux applications sont simples à utiliser. Enfin, vous avez la possibilité d'importer directement vos données dans Excel, par millions de lignes..
Quelle méthode choisissez-vous? Et avez-vous d'autres conseils? S'il vous plaît partager avec nous dans les commentaires!
Crédit d'image: lucadp / Depositphotos
Explorer plus sur: Microsoft Excel, Spreadsheet.