The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Индекс форумов
Составление сообщения

Исходное сообщение
"Защита сайта от выкачивания"
Отправлено makoviy, 06-Фев-09 10:59 
>Сейчас у нас работает защита со скрытой ссылкой - помогает на 100%.
>Сайт двойник, как не пытался качать постоянно банится.
>
>На мой взгляд другой защиты даже и не нужно. Нормальных пользователей такой
>алгоритм заблокировать не может.
>
>При реализации главное не забывайте сделать Белый лист, в который внесите все
>нужные поисковики.

Я так понимаю, что у Вас сайт выкачивают при помощи программ-граберов? У меня забирают конкретные объявления, как я понимаю, при помощи самописного парсера. Ведь парсер не ходит по ссылкам (сам такой писал когда-то).
Например, есть сайт с объявлениями. Парсеру достаточно зайти на страницу с результатами поиска, а далее просканировать этот список, найти в нем урлы конечных объявлений, зайти на них и забрать информацию в соответствии с версткой. Вот и все. То есть он изначально не ходит по крытым ссылкам и т.д.

Так что, думаю, что мне поможет только ввод картинки при большом числе запросов, т.к. за 15 минут они выкачивают до 5-10к объявлений. Вот ищу как это сделать...

 

Ваше сообщение
Имя*:
EMail:
Для отправки новых сообщений в текущей нити на email укажите знак ! перед адресом, например, [email protected] (!! - не показывать email).
Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:
 
При общении не допускается: неуважительное отношение к собеседнику, хамство, унизительное обращение, ненормативная лексика, переход на личности, агрессивное поведение, обесценивание собеседника, провоцирование флейма голословными и заведомо ложными заявлениями. Не отвечайте на сообщения, явно нарушающие правила - удаляются не только сами нарушения, но и все ответы на них. Лог модерирования.

На сайте действует частичное премодерирование - после публикации некоторые сообщения от анонимов могут автоматически скрываться ботом. После проверки модератором ошибочно скрытые сообщения раскрываются. Для ускорения раскрытия можно воспользоваться ссылкой "Сообщить модератору", указав в качестве причины обращения "скрыто по ошибке".



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру