robots.txt bei wget ignorieren

Will man wget dazu veranlassen, die robots.txt zu ignorieren, muss man den Parameter „-e robots=off“ verwenden.
Beachte: Dieser muss direkt vor der URL stehen.

wget -m -e robots=off http://www.url.tld

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *