Wget 1.5.3. Руководство пользователя

---

GNU Wget в состоянии прочесывать вэб-пространство или единичный HTTP или FTP сервер, углубляясь в структуру каталогов при переходе по ссылкам. Это называется рекурсивной выгрузкой или просто рекурсией.

При указании HTTP URL Wget выгружает документ и обрабатывает его HTML код. Встречая в нем ссылки "href" или "src", Wget извлекает указанные в ссылках данные. Если эти данные оказываются вновь формата HTML они так же обрабатываются. Таким образом процесс повторяется снова и снова.

Максимальная глубина, которой может достигать рекурсивная выгрузка, определяется опцией "-l". Умалчиваемой глубиной рекурсии являются пять уровней.

При рекурсивной выгрузке данных из FTP URL Wget выгружает с удаленного сервера все данные из указанного каталога, включая подкаталоги с глубиной вложения вплоть до указанной, создавая зеркальную их копию локально. FTP выгрузка так же ограничивается параметром глубины рекурсии.

По умолчанию Wget создает локальное дерево каталогов идентичное тому, что существует на удаленном сервере.

Рекурсивная выгрузка может найти множество применений наиболее важным из которых является зеркалирование. Она также полезна для организации WWW презентаций и иных приложений где требуется обход медленных сетевых соединений путем сохранения данных локально.

Необходимо предупредить вас, что запуск рекурсивной выгрузки может привести к серьезной нагрузке для вашей системы по причине быстрой обмены данными через сеть, что может сказаться на работе других пользователей. Это же касается удаленных серверов для которых осуществляется зеркалирование. Чем больше они получают запросов, тем выше их загрузка.

Неосторожная выгрузка, кроме того, может привести к незапланированному переполнению вашей файловой системы, что потенциально ведет к возможному отказу вашей системы.

Загрузка может быть минимизирована уменьшением максимальной глубины рекурсии ("-l") или уменьшением количества повторений ("-t"). Кроме того, возможно, вы пожелаете воспользоваться опцией "-w" для замедления запросов к удаленной системе, впрочем, как и некоторыми опциями для ограничения количества обрабатываемых ссылок (см. "Следование ссылкам").

Рекурсивная выгрузка это полезная функция при правильном использовании. Пожалуйста примите к сведению все предупреждения, чтобы не натворить бед по причине безрассудства.