何となく特定のサイトからjpgファイルやmp3だけを再帰的に一括ダウンロードするのをwgetコマンド一発で出来るってハナシを少し前に見てたので試してみた。大抵のサイトはrobot.txt置いてるので、これを無視するために「-e robots=off」は基本的に必要。あと「https://」で始まるサイトはサーバ証明書の確認を行わない「--no-check-certificate」が実質的に必要。
あとは「-r」で再帰ダウンロードを指定、「-l 2」で2階層分まで辿る（「-l 0」で無制限に辿る）、「-np」で親ディレクトリを辿らない、「-H」で別のホストであっても辿る、「-A .jpg」でjpgファイルのみを対象にする、「-nd」でダウンロード元URLと同様のディレクトリを作成して格納するのを辞める。尚、「-P download」でダウンロード先をdownloadフォルダに出来る。
これだけで大抵は何とかなるけど、特定のURLだけを対象にしたい場合は「--accept-regex=.*hogehoge.*」でhogehogeを含むURLのみに、特定のドメインdoだけを省きたい場合は「--exclude-domain=thumb.hogehoge.com」でthumb.hogehoge.comドメインを省ける。連続ダウンロードでサーバに負担をかけたくない場合は「--random-wait」でダウンロード毎に0.5〜1.5秒待つようになる。
