https://www.opennet.ru/openforum/vsluhforumID1/94315.html Возникла необходимость в кэшировании psd файлов из амазон хранилища. Объем 150-200 Гб (с учетом что нужно хранить файлы в кеше 2-3 месяца). Сейчас используется прозрачный squid. Хотелось бы, чтобы основной squid перенаправлял все запросы на amazone на parent.<br><br>Собственно вопрос, можно ли настроить squid так, чтобы он кэшировал файлы только с определенного сайта, например, storage.amazon.com. В кеш должны попадать все файлы с этого сайта, в не зависимости от размера. Есть psd файлы размером 1-2 Гб. Но большая часть (80-90%) конечно до 100 Мб. В идеале иметь возможность в ручную удалять необходимый файл из кэша.<br><br>Основная задача, как можно с большой скоростью раздавать psd файлы в локальной сети, так как один и тот же файл в производственном процессе используется как минимум 5ю разными людьми.<br><br>Возможно данную задачу можно организовать проще не используя squid?<br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#29 Wed, 20 Mar 2013 17:16:14 GMT Столкнулся с интересной особенностью наверное, мб кто прольет свет на ситуацию.<br><br>Итак есть<br><br>192.168.210.223 - основной squid, он же шлюз по умолчанию<br>192.168.210.221 - parent squid через которого происходит закачка psd<br><br>На клиенте ставлю на закачку psd и смотрю на внутр инт-се на шлюзе<br>[code]<br>18:39:12.699466 IP 192.168.210.130.1771 &gt; 72.21.215.165.80: Flags [.], ack 39070569, win 65535, length 0<br>18:39:12.699475 IP 72.21.215.165.80 &gt; 192.168.210.130.1771: Flags [.], seq 39079329:39102689, ack 0, win 15544, length 23360<br>18:39:12.699505 IP 72.21.215.165.80 &gt; 192.168.210.130.1771: Flags [.], seq 39102689:39134809, ack 0, win 15544, length 32120<br>18:39:12.699794 IP 192.168.210.130.1771 &gt; 72.21.215.165.80: Flags [.], ack 39079329, win 56775, length 0<br>18:39:12.700198 IP 192.168.210.130.1771 &gt; 72.21.215.165.80: Flags [.], ack 39134809, win 1295, length 0<br>18:39:12.701523 IP 192.168.210.130.1771 &gt; 72.21.215.165.80: Flags [.], ack 39134809, win 5055, length 0<br>18:39:12.701545 IP 72.21.215.165.80 &gt; 192.168.2 https://www.opennet.ru/openforum/vsluhforumID1/94315.html#28 Wed, 06 Feb 2013 21:51:11 GMT &gt;&gt; Собственно остался последний вопрос - какое железо необходимо для такой задачи?<br>&gt; На Pentium II 667, 128Mb, 16Gb HDD и реалтек 8139 всё чудно <br>&gt; работает. :) <br>&gt; Хотя, если в отделе продаж 1000 менеджеров, то придётся весь вконтакт и <br>&gt; ютуб кэшировать <br>&gt; Какой дневной трафик, народу сколько, <br>&gt; скорость сети внутренняя, до провайдера, после провайдера?<br><br>Внутри гигабит, от провайдера до амазона 100 Мбит.<br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#27 Wed, 06 Feb 2013 14:17:20 GMT &gt; Собственно остался последний вопрос - какое железо необходимо для такой задачи?<br><br>На Pentium II 667, 128Mb, 16Gb HDD и реалтек 8139 всё чудно работает. :)<br>Хотя, если в отделе продаж 1000 менеджеров, то придётся весь вконтакт и ютуб кэшировать <br><br>Какой дневной трафик, народу сколько, <br>скорость сети внутренняя, до провайдера, после провайдера?<br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#26 Wed, 06 Feb 2013 11:15:29 GMT Собственно остался последний вопрос - какое железо необходимо для такой задачи?<br><br>Сейчас вот смотрю в сторону такой машины<br><br>Kingston HyperX (KHX1600C10D3B1K2/16G) 2x8Gb x 2(кита) 32 Гб<br>Материнская плата s-1155 B75 Asus P8B75-V<br>Процессор Intel Dual-Core G870<br>Винт 500 Gb под систему<br><br>Под кеш сквида<br><br>SSD OCZ RVD3-FHPX4-480G или 2 ssd в raid0 что то типа Crucial m4 Slim 256Gb<br><br>Большой объем ОЗУ позволит хранить в памяти наиболее часто используемые файлы и уменьшить обращения к ssd (с учетом что память сейчас относительно дешевая).<br><br>Единственное есть вопрос насчет процессора, но как я понимаю с учетом, что будет raid0 (а значит никаких контрольных сумм и т.п.) или вообще отдельная плата со своим контроллером, то нагрузка на проц должна быть минимальной? <br><br>И второй вопрос, что все таки лучше, два ssd в raid0 (получаем прирост как в скорости так и в стоимости) или все таки отдельную плату типа OCZ Revodrive?<br><br>P.S.<br>потеря кеша не критична.<br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#25 Wed, 06 Feb 2013 08:14:33 GMT &gt;[оверквотинг удален]<br>&gt; Параметр reload_into_ims разрешает игнорировать nocache или reload и выдавать объект из <br>&gt; кэша.<br>&gt; Без этой феньки, параметры ignore-reload и ignore-no-cache в refresh_pattern не работают. <br>&gt; Хотя, по-моему уже сделали эти параметры независимыми. То есть, ignore-reload и ignore-no-cache <br>&gt; будут работать ТОЛЬКО для объектов в строке refresh_pattern, в твоём случае для <br>&gt; *.psd и *.zip <br>&gt; Раньше, reload_into_ims, точно был как глобальный выключатель!<br>&gt;&gt; Какая будет выгода?<br>&gt; Например сервак Амазона может прислать "no-cache" или "reload" независимо от того, <br>&gt; обновлялись ли файлы или нет. И сквид опять ломанётся их скачивать.<br><br>понял, спасибо за помощь<br><br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#24 Wed, 06 Feb 2013 01:17:01 GMT &gt; Только не совсем понял, что именно она дает конкретно в моем случае? <br><br>Параметр reload_into_ims разрешает игнорировать nocache или reload и выдавать объект из кэша. <br>Без этой феньки, параметры ignore-reload и ignore-no-cache в refresh_pattern не работают.<br><br>Хотя, по-моему уже сделали эти параметры независимыми. То есть, ignore-reload и ignore-no-cache <br>будут работать ТОЛЬКО для объектов в строке refresh_pattern, в твоём случае для *.psd и *.zip<br>Раньше, reload_into_ims, точно был как глобальный выключатель! <br><br>&gt; Какая будет выгода?<br><br>Например сервак Амазона может прислать "no-cache" или "reload" независимо от того, <br>обновлялись ли файлы или нет. И сквид опять ломанётся их скачивать. <br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#23 Tue, 05 Feb 2013 12:26:28 GMT &gt;&gt; В общем получилось как то так <br>&gt; reload_into_ims on <br><br>на 192.168.210.221 (вспомогательный squid) эта опция включена на основном выключена. Только не совсем понял, что именно она дает конкретно в моем случае? Какая будет выгода?<br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#22 Tue, 05 Feb 2013 11:45:42 GMT &gt; В общем получилось как то так <br><br>reload_into_ims on<br> https://www.opennet.ru/openforum/vsluhforumID1/94315.html#21 Tue, 05 Feb 2013 11:43:46 GMT &gt;&gt;&gt;&gt;[оверквотинг удален] <br>&gt;&gt;&gt; не совсем понял идею <br>&gt;&gt; Заменить ссылки в CRM, чтоб указывали на локальный вебсервак.<br>&gt; И потом отлавливать кто работает в офисе, тому меняем, а кто из дома не меняем.<br><br>1. Если CRM доступна из инета, то файлы будут скачиваться с локального сервака. <br>2. Для работы из дома через прокси не нужен, напрямую быстрее. <br><br><br><br>