"Squid+Bfilter+Ziproxy+листы AdBlock=быстрый интернет без рекламы (http://itbg.wordpress.com/2009/03/19/squidbfilterziproxy.../)" - подключение к Squid Ziproxy для сжатия трафика и Bfilter для фильтрации рекламы с использованием списков блокировки от firefox плагина AdBlock.

URL: http://itbg.wordpress.com/2009/03/19/squidbfilterziproxy.../
Новость: http://www.opennet.me/opennews/art.shtml?num=20875

• Подключение сжатия трафика и фильтрации по спискам AdBlock в...,ононим, 22:04 , 22-Мрт-09
  • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,Аноним, 22:31 , 22-Мрт-09
    • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,AeXgRey, 14:36 , 25-Мрт-09
• Подключение сжатия трафика и фильтрации по спискам AdBlock в...,Илья, 22:53 , 22-Мрт-09
  • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,ононим, 23:03 , 22-Мрт-09
    • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,yarodin, 17:14 , 23-Мрт-09
      • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,Timka, 11:07 , 24-Мрт-09
        • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,Timka, 11:12 , 24-Мрт-09
  • Подключение сжатия трафика и фильтрации по спискам AdBlock в...,chemtech, 17:40 , 23-Мрт-09
• Подключение сжатия трафика и фильтрации по спискам AdBlock в...,Ilrandir, 18:42 , 24-Дек-09

пара вопросов:
что лучше, использовать bfilter или встроенные в squid средства фильтрации содержимого? есть ли какой профит от первого?

если реальный профит от ziproxy, если у сквида большой кеш?

>если реальный профит от ziproxy, если у сквида большой кеш?

Третий squid умеет сам в gzip/deflate отдавать и принимать контент, ziproxy только для 2.x ветки имеет смысл использовать.

>>если реальный профит от ziproxy, если у сквида большой кеш?
>
>Третий squid умеет сам в gzip/deflate отдавать и принимать контент, ziproxy только
>для 2.x ветки имеет смысл использовать.

я так предполагаю что бы от ziproxy был толк его надо ставить на какой-то сервер в интеренете. а так получается ziproxy получил траффик зажал, отдал пользователю, и с экономил в своей локалке полосу

Это разные вещи.
Bfilter создан для обрезки рекламы.
Благодаря фильтрам AdBlock режит просто супер.
Ziproxy сжимает странички, оптимизирует их содержимое и отсылает в сеть.
Squid кэширует всё это дело.

Я себе всё это дело поставил, на глаз работает побыстрее чем было раньше.

так, что касается ziproxy понятно - лучше перейду на 3 ветку.

касательно AdBlock, то его можно прикрутить и просто к сквиду. ссылка уже пробегала:
http://notes.ozmonet.com/index.php?title=Network-Wide_Adblock

Илья, скажите, вы пробовали прикручивать Adblock правила просто к сквиду? меня интересует именно целесообразность bfilter

А статью ссылку на которую дали сами читали? (Я даже боюсь спрашивать пробовали ли реализовать то, что там написано).

Во-первых там не просто сквид, а сквидгард. Во-вторых попробуйте применить adblock.sed из статьи на что-нибудь отличное от изилиста - вас ждет много откровений:)

Да, я тоже не люблю всякие левые приблуды для фильтрации, предпочитаю пользоваться стандартным сквидовым access controls. А есть где почитать про формат списков adblock? Я бы прикрутил их к сквиду, уж очень нравится, как оно в Firefox работает.

нашел, почитал... да, не прикрутить такое на 100% к сквиду, недостаточная функцианальность у него, нужен внешний обработчик :(

Скажи, какая у вас скорость подключения к инету?

Не понимаю, почему никто не провел каких-то тестов - этот перловый скрипт работает неправильно. Во-первых фраза полного блокирования сайта, которая в оригинале (у АдБлока) выглядит так:
||wmzona.com^
конвертируется в такое
++++++ wmzona.com^*
и ничего не блокирует. А блокируется оно если написать
AD *wmzona.com*
И вообще, насколько я понимаю, эти +++ это нечто образное, действительно все блокируется, если в файле adblock2bfilter.pl в самом начале вместо:

my $BLOCK_PREFIX_STRONG = "++++++";
написать
my $BLOCK_PREFIX_STRONG = "AD";

попробуйте, и вы увидите разницу. А кроме того, во многих оригинальных списках строки выглядят так:
http://marketgid.com или даже так http://www.net.ru
что конвернтируется скриптом в
++++++ *http://marketgid.com* и ++++++ *http://www.net.ru*
но это же бред в 95%случаев! Зачем писать *http:// или даже *http://www. ? Что может стоять перед http:// (кроме тех 5% когда это передаваемый параметр)? Ничего. Тогда зачем там звезда? Чтобы убить побольше процессорного времени в поисках соответствий? Это все должно конвертироваться в:
++++++ *marketgid.com* и ++++++ *net.ru*
а еще лучше
AD *marketgid.com* и AD *net.ru*
или я не очень понимаю эти списки. Кроме того вызывают подозрения адреса типа
*.xbn.ru
т.е. все поддомены xbn.ru блокировать, сам домен не трогать - это нужно проверять, я не трогал, но на глаз это вызывает сомнения.
Вобщем чтобы реализовать то что я написал, нужно добавить пару строк в этот adblock2bfilter.pl, т.е.

было (строка примерно 70):
    # Used to construct the output line.
    my $prefix;
    my $pattern;

    # We process regex patterns differently from others.

стало:
    # Used to construct the output line.
    my $prefix;
    my $pattern;

    $line =~ s/\^$/\*/;
    $line =~ s/^\|\|/\*/;
    $line =~ s/^[\/\|]?([htps]{4,5}:\/\/www\.)|([htps]{4,5}:\/\/)([^\*])/\*$3/i;

    # We process regex patterns differently from others.

Ну вот теперь оно наконец-то действительно режет рекламу.