 Банда HTTP-проксей (распределённый по сети кэш),  Kirikaza, 08-Фев-10, 09:42 [смотреть все]Привет!Есть некая большая сеть, в которой мне хочется организовать банду проксей, которые бы не только делились кэшем, но и обменивались информацией о других соседях. Т.е. появился новый проксик, достучался до любого проксика из банды -- и от него получил список всей банды, а также сам тоже стал полноправным её членом. Вроде бы, это похоже на обмен пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там к чему-н? Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и уже удалена. Может, с тех пор что-то изменилось? Или вместо Squid здесь нужно что-то другое? Может, и прокси надо не HTTP, а SOCKS?
|
- Банда HTTP-проксей (распределённый по сети кэш), sage444, 09:53 , 08-Фев-10 (1)
мне вот интересно
в каких легальных целях можно использовать вашу "банду"?
- Банда HTTP-проксей (распределённый по сети кэш), Kirikaza, 11:40 , 08-Фев-10 (2)
>в каких легальных целях можно использовать вашу "банду"? Ой, зря я использовал слово "банда" ;) Неудачная калька с "gang". Цель на самом деле абсолютно легальна. Зайду издалека... Присылает мне приятель ссылку на видео-ролик или на какую-н большую жирную страницу. Он её, ессно, уже скачал. А у нас с ним один провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему бы у него не вытянуть эту штуковину из кэша? Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать, сколько же) и кусок опыта. Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен хэш файла и кусочков, а тут можно подсунуть всё что угодно. Или нет?
- Банда HTTP-проксей (распределённый по сети кэш), Av, 12:08 , 08-Фев-10 (3)
>[оверквотинг удален]
>провайдер и локалка с 100 мбит/с (против 700 кбит/с внешки). Почему
>бы у него не вытянуть эту штуковину из кэша?
>
>Вот такая безобидная цель. Здесь даже провайдер ничего не теряет, ибо внешка
>без лимита трафика. А мы обретаем немножко ускорения (кстати, любопытно подсчитать,
>сколько же) и кусок опыта.
>
>Хотя я теперь понимаю, в чём проблема. В пиринговых сетях заранее известен
>хэш файла и кусочков, а тут можно подсунуть всё что угодно.
>Или нет? использовать прозрачный прокси?
- Банда HTTP-проксей (распределённый по сети кэш), Kirikaza, 12:52 , 08-Фев-10 (4)
>использовать прозрачный прокси? Не совсем понял, к чему именно этот вопрос... У каждого чувака на компе будет стоят проксик-бандит, у которого чувак и запрашивает URL. При запуске проксика необходимо достучаться до ближайшего соседа из банды, чтобы узнать её состав. А дальше... если это Squid, то он рассылает всем соседям по ICP запрос и там уже всё само работает как надо.
А уж какой прозрачности будет прокси у каждого отдельного чувака -- это его дело =)
- Банда HTTP-проксей (распределённый по сети кэш), MaxIKot, 15:31 , 08-Фев-10 (6) –1
- Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 16:52 , 08-Фев-10 (9)
>SQUID -> SIBLING А он спросит у соседей соседа? Вроде как нет... Я бы рад написать в конфиге что-то вроде такого:
while (true) {
cache_peer `get_gang()` sibling 3128
wait_gang_changes();
}
Но это придётся писать в исходниках.
- Банда HTTP-проксей (распределённый по сети кэш), Basiley, 07:43 , 09-Фев-10 (10) –1
>мне вот интересно
>в каких легальных целях можно использовать вашу "банду"? IMO, в легальных нельзя.
+жесткие ассоциации именно с ботнетами(есть варианты и похуже :0/)
- Переформулирую..., Kirikaza, 13:08 , 08-Фев-10 (5)
Теперь уже вижу определённые проблемы, поэтому поставлю вопрос иначе.Если я правильно понимаю, то абсолютная свобода в такой банде (кто захотел, тот и вступил) недопустима, иначе кто-н верняка напакостит и будет выдавать левый контент. Поэтому надо организовывать некий список членов банды, в который включать только "на общем собрании" ;) В таком случае при старте проксика он должен знать хотя бы одного члена банды, чтобы получить последний свежий список всех бандитов. Далее, если проксик это Squid, то по ICP он рассылает запросы ко всем членам банды и там уже всё хорошо, ведь Squid сам рассчитывает кто ближе, у кого кэш свежее и т.п. Возможно, с таким ТЗ уже проще самому написать отдельный серверок, который бы просто правил кусок конфига Squid-а и делал reload; ещё как-то он должен распространять "gang.lst". Но вот стóит ли это делать самому или лучше чем-то воспользоваться?
- Банда HTTP-проксей (распределённый по сети кэш), Square, 15:49 , 08-Фев-10 (7)
>[оверквотинг удален]
>соседях. Т.е. появился новый проксик, достучался до любого проксика из банды
>-- и от него получил список всей банды, а также сам
>тоже стал полноправным её членом. Вроде бы, это похоже на обмен
>пирами в ed2k и torrent. Есть какие-то решения, возможно патчи там
>к чему-н?
>
>Поиск выдал тему "Распределённая сеть сквидов" от 28.11.07, но она пустая и
>уже удалена. Может, с тех пор что-то изменилось? Или вместо
>Squid здесь нужно что-то другое? Может, и прокси надо не HTTP,
>а SOCKS? http://xgu.ru/wiki/Squid_%D0%B8_LDAP
- Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 16:44 , 08-Фев-10 (8)
>http://xgu.ru/wiki/Squid_и_LDAP Эх, самое интересное пока что «в процессе написания». Но всё равно судя по аннотации речь идёт немного о другом: «На этой странице описывается как построить распределённую иерархию прокси-серверов Squid, так что бы они при этом получали информацию об ограничениях пользователей из каталога LDAP». Судя по поиску, делаются подобные вещи через ACL (сначала «external_acl_type», потом «acl ... external ...»). А соседи в Squid добавляются через «cache_peer», который с ACL никак не работает.
- Банда HTTP-проксей (распределённый по сети кэш), Pahanivo, 09:51 , 10-Фев-10 (11)
как раз сегодня попалась на глаза статейка про вред курительных сетей на основесе синтезированных каннабиноидов ...
- Банда HTTP-проксей (распределённый по сети кэш), kirikaza, 10:13 , 10-Фев-10 (12)
>как раз сегодня попалась на глаза статейка про вред курительных сетей на
>основесе синтезированных каннабиноидов ... Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов занудствующих специалистов.
- Банда HTTP-проксей (распределённый по сети кэш), Pahanivo, 10:16 , 10-Фев-10 (14)
>Очень полезное сообщение. Без таких записей форум бы давно стал хранилищем ответов
>занудствующих специалистов. спасибо, ваше разведение сферических коней в вакууме тоже весьма конструктивно и познавательно!
|
Версия для распечатки
