URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID15
Нить номер: 3682
[ Назад ]

Исходное сообщение
"подсобите с wget"

Отправлено Felix , 06-Ноя-11 14:41 
Есть сайт мне нужны с него только определенные страницы
создаю запрос
$wget -nc -w 1 -r -l 100 -A htm,html http://site.ru/katalog={20..1120}
всё работает,но качает все страницы в указанном диапазоне,как бы wget объяснить что мне нужны только каждая 5 страница то есть в данном случае 20 25 30 итд вплоть до 1120?


Содержание

Сообщения в этом обсуждении
"подсобите с wget"
Отправлено Square , 06-Ноя-11 18:13 
> Есть сайт мне нужны с него только определенные страницы
> создаю запрос
> $wget -nc -w 1 -r -l 100 -A htm,html http://site.ru/katalog={20..1120}
> всё работает,но качает все страницы в указанном диапазоне,как бы wget объяснить что
> мне нужны только каждая 5 страница то есть в данном случае
> 20 25 30 итд вплоть до 1120?

а запрашивайте каждуй страницу индивидуально, подставляя значения из шелл-переменной


"подсобите с wget"
Отправлено Felix , 06-Ноя-11 19:22 

> а запрашивайте каждуй страницу индивидуально, подставляя значения из шелл-переменной

сделал так
#!/bin/bash
COUNTER=20
URL=' http://site.ru/katalog={$COUNTER}'
until [ $COUNTER -lt 1120 ];
do wget -nc -w 1  $URL  
echo $COUNTER
let $COUNTER+=20
done

попробовал так,но он сохраняет файлы с именем http://site.ru/katalog={$COUNTER}
башка не варит- воскресенье видимо



"подсобите с wget"
Отправлено Square , 06-Ноя-11 22:00 
>[оверквотинг удален]
> #!/bin/bash
> COUNTER=20
> URL=' http://site.ru/katalog={$COUNTER}'
> until [ $COUNTER -lt 1120 ];
> do wget -nc -w 1  $URL
> echo $COUNTER
> let $COUNTER+=20
> done
> попробовал так,но он сохраняет файлы с именем http://site.ru/katalog={$COUNTER}
> башка не варит- воскресенье видимо

двойные кавычки


"подсобите с wget"
Отправлено erera22 , 07-Ноя-11 13:49 
curl

"подсобите с wget"
Отправлено Andrey Mitrofanov , 07-Ноя-11 13:55 
> curl

В него калькулятор с кнопкой '+=5' встроен? Увау!!


"подсобите с wget"
Отправлено XAnder , 07-Ноя-11 18:24 
Изврат, конечно, но:

wget -nc -w 1 -r -l 100 -A htm,html \
`for i in {0..220}; do echo http://site.ru/katalog=$((20 + $i*5)); done`


"не, курл так не умеет"
Отправлено Andrey Mitrofanov , 07-Ноя-11 18:45 
> Изврат, конечно, но:
>
wget -nc -w 1 -r -l 100 -A htm,html \ 
> `for i in {0..220}; do echo http://site.ru/katalog=$((20 + $i*5)); done`

$ printf 'http://ouph.net/?index%d.php\n' `seq 1 5 20`
http://ouph.net/?index1.php
http://ouph.net/?index6.php
http://ouph.net/?index11.php
http://ouph.net/?index16.php
$ _

...Brought to you by our sponsors at... info coreutils seq
---|xargs wget ...


"не, курл так не умеет"
Отправлено Andrey Mitrofanov , 07-Ноя-11 18:48 
> $ printf 'http://ouph.net/?index%d.php\n' `seq 1 5 20`
> ---|xargs wget ...

%)
seq 1 5 20 |xargs printf 'http://ouph.net/?index%d.php\n' |xargs wget $WGET_OPTS


"не, курл так не умеет"
Отправлено XAnder , 08-Ноя-11 08:49 
Ну точно, изврат был :-) Про seq-то я и забыл. Беда.