https://opennet.me/openforum/vsluhforumID8/5269.html существуют ли алгоритмы анализа страницы?<br>а именно, скажем, выделение рекламы или блока новостей из страницы<br> https://opennet.me/openforum/vsluhforumID8/5269.html#4 Sat, 29 Sep 2007 06:28:39 GMT Спасибо за интересные мысли<br><br>&gt;встерчный вопрос: где такая задача встала? <br><br>я сам задался этой темой когда очередной раз начал изучать структуру сайта без rss чтобы сделать импорт новостей<br><br>меня интересует наличие подобных разработок<br>хотелось бы хотелось развить эту тему <br> https://opennet.me/openforum/vsluhforumID8/5269.html#3 Fri, 28 Sep 2007 17:54:57 GMT в целом - нет ничего невозможного...<br><br>ну... скажем в случае универсальных - задача сравнима с задачей разбора естественного языка...<br><br>нужны всетаки какието признаки, сформулированные из вне. (слова ключевые, еще что-то)...<br><br>ну вот например такая мысль:<br>например нужно выделить области с рекламой на сайте.<br>есть некотрые признаки, например ключевые слова banner, ad, реклама...<br>также есть некотрые признаки других областей: новости, меню и подобное..<br>ищим эти признаки, составляем список всех включений их в документ.<br>если близко друг от друга(по тексту/DOM) найдено несколько объектов, пологаем что они принадлежат одной структурной единице - блоку рекламы... пытаемся поднятся выше по иерархии и захватить кусок включающий максимум необходимого нам признака, но при этом - минимум лишнего.<br><br>или так:<br>допустим нужно выделить посты на блоге...<br>каждому посту, независимо от блога характерен набор элементов:<br>заголовок, дата, автор, содержание, кнопка "читать дальше", кнопка "комментарии"...<br>такое есть почти https://opennet.me/openforum/vsluhforumID8/5269.html#2 Fri, 28 Sep 2007 13:39:35 GMT &gt;так понимаю что страница - это хтмл?? <br><br>да<br><br>&gt;универсальные? гыгы =) <br><br>именно универсальные!<br><br>&gt;если нужно просто выделить какойто блок со страницы известной структуры... <br>&gt;и разобрать его на составные части, для последующей обработки: <br>&gt;это делается например с помощью регулярных выражений. <br><br>в том то и дело что когда известна структура дальше задача сводится к уровню начальных классов детсада<br><br>вопрос именно о существовании алгоритмов анализа страницы и разделения ее на логические блоки<br>к примеру на этой странице сверху и снизу реклама а посередине тематика<br> https://opennet.me/openforum/vsluhforumID8/5269.html#1 Fri, 28 Sep 2007 13:33:04 GMT так понимаю что страница - это хтмл??<br><br>универсальные? гыгы =)<br><br>если нужно просто выделить какойто блок со страницы известной структуры...<br>и разобрать его на составные части, для последующей обработки:<br>это делается например с помощью регулярных выражений.<br>