URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID8
Нить номер: 6531
[ Назад ]

Исходное сообщение
"Эмуляция браузера"

Отправлено littleadmin , 28-Сен-09 18:44 
требуется эмулировать браузер при загружке контента с вебстраниц.
Смысл в том, что на части страниц контент формируется javascript, и соответственно curl и просто скачивание и парсинг последующий не катит.  

Есть ли готовые решения?

Вопрос номер два, можно ли получить уже загруженную и обработанную страницу firefox"а? Т.е. запустить на сервере Хсервер dummy в нем firefox а потом как-то с файрфокса получить весь им загруженный контент?


Содержание

Сообщения в этом обсуждении
"Эмуляция браузера"
Отправлено Vitaly_loki , 28-Сен-09 22:05 
>требуется эмулировать браузер при загружке контента с вебстраниц.
>Смысл в том, что на части страниц контент формируется javascript, и соответственно
>curl и просто скачивание и парсинг последующий не катит.
>
>Есть ли готовые решения?
>
>Вопрос номер два, можно ли получить уже загруженную и обработанную страницу firefox"а?
>Т.е. запустить на сервере Хсервер dummy в нем firefox а потом
>как-то с файрфокса получить весь им загруженный контент?

Если в программировании разбираетесь, то у QT в директории с примерами есть демонстрация работы WebKit и простенький брайзер


"Эмуляция браузера"
Отправлено angra , 30-Сен-09 13:47 
Добавлю что для perl существует модуль способный выполнять js на движке близком к тому что в firefox.

"Эмуляция браузера"
Отправлено littleadmin , 30-Сен-09 18:11 
>Добавлю что для perl существует модуль способный выполнять js на движке близком
>к тому что в firefox.

уже решил вопрос. кручу все на движке файрфокса на Х-сервере dummy. запросы отправляю по телнету через mozrepl