Maîtriser Wget et apprendre quelques astuces de téléchargement

Parfois, il ne suffit pas de sauvegarder un site Web localement à partir de votre navigateur. Parfois, vous avez besoin d'un peu plus de puissance. Pour cela, il existe un petit outil en ligne de commande appelé Wget. Wget est un programme simple capable de télécharger des fichiers depuis Internet. Vous savez peut-être déjà peu de choses sur Wget, mais après avoir lu cet article, vous serez prêt à l’utiliser pour toutes sortes d’astuces..

Wget est disponible pour une utilisation en mode natif sous UNIX et Windows en ligne de commande, mais il est possible de l'installer sous Mac OS X Comment obtenir Wget pour votre Mac Comment obtenir Wget pour vos Mac Les Mac sont géniaux, avec leur interface utilisateur nette et un retour Unix -fin. Parfois, vous avez le sentiment que vous pouvez faire à peu près n'importe quoi avec eux. Jusqu'au jour où vous essayez de faire quelque chose de simple et de… Read More avec un peu de câlin. Ainsi, une fois que vous connaissez le type de choses pour lesquelles vous pouvez utiliser Wget, il est portable sur le système d'exploitation que vous utilisez - et c'est pratique. Ce qui est encore mieux, c’est que wget peut être utilisé dans des fichiers de commandes et des tâches cron. C’est là que nous commençons à voir le vrai pouvoir derrière wget.

Wget de base

L'utilisation de base est URL wget.

 wget http://makeuseof.com/

Les options les plus simples que la plupart des gens doivent connaître sont les antécédents (wget -b), continuez le téléchargement partiel (wget -c), nombre d'essais (wget -tries = NUMBER) et bien sûr de l'aide (wget -h) pour vous rappeler toutes les options.

wget -b -c --tries = NUMBER URL

Options Wget moyennement avancées

Wget peut aussi fonctionner en arrière-plan (wget -b), limiter la vitesse de téléchargement (wget -limit-rate = SPEED), pas de parent pour vous assurer de ne télécharger qu'un sous-répertoire (wget -np), ne met à jour que les fichiers modifiés (wget -N), reflète un site (wget -m), assurez-vous qu'aucun nouveau répertoire n'est créé (wget -nd), n'accepte que certaines extensions (wget -accept = LIST) et définir un temps d'attente (wget -wait = SECONDES).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST --wait = SECONDS URL

Télécharger avec Wget récursivement

Vous pouvez télécharger récursivement (wget -r), étendre les hôtes vers d’autres domaines (wget -H), convertissez les liens en versions locales (wget -convert-links) et définir le niveau de récurrence (wget -level = NUMBER en utilisant inf ou 0 pour l'infini).

Mais certains sites ne veulent pas vous laisser télécharger de manière récursive et vont vérifier quel navigateur vous utilisez pour tenter de bloquer le bot. Pour contourner ce problème, déclarez un agent utilisateur tel que Mozilla (wget -user-agent = AGENT).

wget -r -H --convert-links --level = NUMBER --user-agent = URL DE L'AGENT

Wget protégé par mot de passe

Il est possible de déclarer le nom d'utilisateur et le mot de passe d'une URL particulière en utilisant wget (wget -http-user = USER -http-password = PASS). Cela n'est pas recommandé sur les ordinateurs partagés, car tous les utilisateurs du processus pourront voir le mot de passe en texte brut..

wget --http-user = USER --http-password = URL PASS

Par exemple, wget vous permet de sauvegarder vos tâches à partir de Remember The Milk: meilleurs conseils de sauvegarde pour vos tâches RememberTheMilk: meilleurs conseils de sauvegarde pour vos tâches RememberTheMilk Pour beaucoup d’entre nous qui travaillons dans le cloud, nous de compter assez lourdement sur nos services préférés. Nous les aimons aussi parfois et leur faisons confiance peut-être un peu plus que ce que nous devrions parfois,… Read More .

Wget Bulk Télécharger

Commencez par créer un fichier texte contenant toutes les URL à télécharger en utilisant wget et appelez-le. wget_downloads.txt. Ensuite, pour télécharger des URL en masse, tapez cette commande:

wget -i wget_downloads.txt

Cool utilisations pour Wget

Cela analysera un site Web et générera un fichier journal de tous les liens brisés:

wget --spider -o wget.log -e robots = off --wait 1 -r -p http://www.mysite.com/

Cela prendra un fichier texte de vos blogs de musique préférés et téléchargera tout nouveau fichier MP3:

wget -r --level = 1 -H -timeout = 1 -nd -N -np --accept = mp3 -e robots = désactivé -i musicblogs.txt

Pour quoi utilisez-vous wget??

Crédit d'image: Connexion aux médias sociaux via ShutterStock, jeune homme devant la télévision via Shutterstock, Globe via Shutterstock

Explorez plus sur: Gestion des téléchargements, Navigation hors ligne.