Soms is het niet genoeg om een website lokaal vanuit uw browser op te slaan. Soms heb je een beetje meer kracht nodig. Hiervoor is er een nette kleine command line tool bekend als Wget. Wget is een eenvoudig programma dat bestanden van internet kan downloaden. Je weet al of niet veel over Wget, maar na het lezen van dit artikel ben je bereid om het te gebruiken voor allerlei trucjes.
Wget is beschikbaar voor native gebruik in UNIX- en Windows-opdrachtregel, maar het is mogelijk om wget te installeren op Mac OS X Hoe Wget voor uw Mac te krijgen Hoe Wget voor uw Mac te krijgen Macs zijn geweldig, met hun nette UI en een Unix terug -einde. Soms krijg je het gevoel dat je bijna alles met ze kunt doen. Totdat je op een dag iets eenvoudigs probeert te doen en je ... Lees meer met een beetje overhalen. Dus, als je eenmaal weet wat voor dingen je kunt gebruiken, is het draagbaar naar welk besturingssysteem je ook gebruikt - en dat is handig. Wat nog beter is, is dat wget kan worden gebruikt in batchbestanden en cron-taken. Dit is waar we de echte kracht achter Wget beginnen te zien.
Basic Wget
Het basisgebruik is de wget-URL .
wget http://makeuseof.com/
De meest eenvoudige opties die de meeste mensen moeten weten, zijn achtergrond ( wget -b ), gedeeltelijke download ( wget -c ), aantal pogingen ( wget -tries = NUMBER ) en natuurlijk help ( wget -h ) om jezelf aan alles te herinneren de opties.
wget -b -c --tries = NUMBER URL
Matig geavanceerde Wget-opties
Wget kan ook op de achtergrond worden uitgevoerd (wget -b ), de downloadsnelheid beperken ( wget -limit-rate = SPEED ), geen ouder om ervoor te zorgen dat u alleen een submap ( wget-np ) downloadt, alleen gewijzigde bestanden bijwerkt ( wget -N ), spiegel een site ( wget -m ), zorg ervoor dat er geen nieuwe mappen worden aangemaakt ( wget -nd ), accepteer alleen bepaalde extensies ( wget -accept = LIST ) en stel een wachttijd in ( wget -wait = SECONDS ) .
wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST - await = SECONDS URL
Downloaden met Wget recursief
U kunt recursief downloaden ( wget -r ), hosts omspannen naar andere domeinen ( wget -H ), links omzetten naar lokale versies ( wget -convert-links ) en het recursieniveau instellen ( wget-level = NUMBER met inf of 0 voor oneindig ).
Maar sommige sites willen u niet laten recursief downloaden en zullen controleren welke browser u gebruikt in een poging om de bot te blokkeren. Om dit te voorkomen, declareer een user agent zoals Mozilla ( wget -user-agent = AGENT ).
wget -r -H --convert-links --level = NUMBER --user-agent = AGENT URL
Met wachtwoord beschermde Wget
Het is mogelijk om de gebruikersnaam en het wachtwoord voor een bepaalde URL te declareren tijdens het gebruik van wget ( wget -http-user = USER -http-password = PASS ). Dit wordt niet aanbevolen op gedeelde machines, omdat iedereen die de processen bekijkt, het wachtwoord in platte tekst kan zien.
wget --http-user = USER --http-wachtwoord = PASS URL
Een voorbeeld hiervan is het gebruik van wget om een back-up van uw taken te maken via Remember The Milk Beste back-uptips voor uw RememberThe Milk-taken Beste back-uptips voor uw RememberThe Milk-taken Voor velen van ons die in de cloud werken, we zijn gekomen om op onze favoriete diensten vrij zwaar te vertrouwen. We houden soms ook van hen en vertrouwen ze misschien een beetje meer dan we soms zouden moeten doen, ... Lees meer.
Wget-bulkdownload
Maak eerst een tekstbestand van alle URL's die u wilt downloaden met wget en noem het wget_downloads.txt . Voer vervolgens deze opdracht in om de URL's in bulk te downloaden:
wget -i wget_downloads.txt
Coole toepassingen voor Wget
Hiermee wordt een website gecrawld en wordt een logbestand met alle verbroken links gegenereerd:
wget --spider -o wget.log -e robots = off - wacht 1 -r -p http://www.mysite.com/
Dit zal een tekstbestand van je favoriete muziekblogs maken en alle nieuwe MP3-bestanden downloaden:
wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e robots = off -i musicblogs.txt
Waar gebruik je wget nog meer voor?
Image Credit: Social Media Connection via ShutterStock, Young Man TV kijken via Shutterstock, Globe via Shutterstock