Will man wget dazu veranlassen, die robots.txt zu ignorieren, muss man den Parameter „-e robots=off“ verwenden.
Beachte: Dieser muss direkt vor der URL stehen.
wget -m -e robots=off http://www.url.tld
ein Blog; vermutlich über Technik.
Will man wget dazu veranlassen, die robots.txt zu ignorieren, muss man den Parameter „-e robots=off“ verwenden.
Beachte: Dieser muss direkt vor der URL stehen.
wget -m -e robots=off http://www.url.tld