URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 5911
[ Назад ]
Исходное сообщение
"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 26-Дек-08 17:37 
вот сайт например dump.ru
там на главной странице ссылки на всякие файлы
в сквиде прописано:

acl     bad_url         dstdom_regex -i "/usr/local/etc/squid/bad_url"
acl     bad_ext         urlpath_regex -i "/usr/local/etc/squid/bad_ext"

http_access     deny    bad_url
http_access     deny    bad_ext
http_access     allow   ournets
http_access     deny    all

в bad_ext перечислены соот-но:
\.mp3$ \.mid$ \.swf$ \.mpg$ \.mpq$ \.asf$ \.wma$ \.wmv$ \.wav$ \.avi$ \.fla$ \.flv$ \.exe$ \.com$ \.bat$ \.iso$ \.torrent$

ну так вот, кальмар прекрасно всё блокирует по этим файлам, если расширение дописать к пути, то он выдаст блокировку, а вот если кликнуть на ссылку на файл с каким-нить avi или wmv и потом "Скачать файл", то он запросто отдаёт файл и позволяет скачивать
ссылка на файл получается блабла.avi из http://217.106.233.190

спрашивается, какого хера, что я делаю не так?

Содержание
Сообщения в этом обсуждении
"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 26-Дек-08 18:09 
>[оверквотинг удален]
>\.mp3$ \.mid$ \.swf$ \.mpg$ \.mpq$ \.asf$ \.wma$ \.wmv$ \.wav$ \.avi$ \.fla$ \.flv$
>\.exe$ \.com$ \.bat$ \.iso$ \.torrent$
>
>ну так вот, кальмар прекрасно всё блокирует по этим файлам, если расширение
>дописать к пути, то он выдаст блокировку, а вот если кликнуть
>на ссылку на файл с каким-нить avi или wmv и потом
>"Скачать файл", то он запросто отдаёт файл и позволяет скачивать
>ссылка на файл получается блабла.avi из http://217.106.233.190
>
>спрашивается, какого хера, что я делаю не так?

А вы случаем размер этого файла не смотрели?

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 26-Дек-08 22:28 
>[оверквотинг удален]
>>
>>ну так вот, кальмар прекрасно всё блокирует по этим файлам, если расширение
>>дописать к пути, то он выдаст блокировку, а вот если кликнуть
>>на ссылку на файл с каким-нить avi или wmv и потом
>>"Скачать файл", то он запросто отдаёт файл и позволяет скачивать
>>ссылка на файл получается блабла.avi из http://217.106.233.190
>>
>>спрашивается, какого хера, что я делаю не так?
>
>А вы случаем размер этого файла не смотрели?

размер тут причём?? обычное видео. было на 6, было на 200 мег

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 26-Дек-08 22:31 
>[оверквотинг удален]
>>>на ссылку на файл с каким-нить avi или wmv и потом
>>>"Скачать файл", то он запросто отдаёт файл и позволяет скачивать
>>>ссылка на файл получается блабла.avi из http://217.106.233.190
>>>
>>>спрашивается, какого хера, что я делаю не так?
>>
>>А вы случаем размер этого файла не смотрели?
>
>размер тут причём?? обычное видео. было на 6, было на 200 мег
>

Объясняю.
Так же как вы на работе ставил на  запрет, скачивание файлов по расширению,
но файлы именно тем методом которые вы описали выше продолжали скачиваться.
Пока я не скачав очередной файлик в качестве тестирования , не удосужился посмотреть размер скаченного файла.
И все файлы с расширениями которые были в запрете , оказались размером не больше 2 кб.

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 06:00 
>Объясняю.
>Так же как вы на работе ставил на  запрет, скачивание файлов
>по расширению,
>но файлы именно тем методом которые вы описали выше продолжали скачиваться.
>Пока я не скачав очередной файлик в качестве тестирования , не удосужился
>посмотреть размер скаченного файла.
>И все файлы с расширениями которые были в запрете , оказались размером
>не больше 2 кб.
>

у него к размерам относятся параметры:
maximum_object_size
maximum_object_size_in_memory

но они относятся к кешируемым объектам, а мы говорим про блокировки, когда о кешировании речи не идёт
и, повторяю, он прекрасно всё блокирует, независимо от размеров, если в урле дописать
anyway, вы проблему как порешали свою?

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 11:26 
>[оверквотинг удален]
>
>у него к размерам относятся параметры:
>maximum_object_size
>maximum_object_size_in_memory
>
>но они относятся к кешируемым объектам, а мы говорим про блокировки, когда
>о кешировании речи не идёт
>и, повторяю, он прекрасно всё блокирует, независимо от размеров, если в урле
>дописать
>anyway, вы проблему как порешали свою?

cat squid.conf |grep -v ^# |grep -v ^$
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl localnet src 12.12.12.2     # RFC1918 possible internal network
acl localnet src 12.12.12.1
acl localnet src 127.0.0.1
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
acl     bad_ext         urlpath_regex -i \.mp3$
http_access     deny    bad_ext
http_access allow localnet
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
http_access deny all
icp_access allow localnet
icp_access deny all
htcp_access allow localnet
htcp_access deny all
http_port 3128
hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/logs/access.log squid
cache_store_log none
refresh_pattern ^ftp:         &n... 1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern (cgi-bin|\?)    0       0%      0
refresh_pattern .               0       20%     4320
visible_hostname werti
icp_port 3130
coredump_dir /var/log/squid/cache


Это мой конфиг.
Все что писал выше в видео файле пример.
О котором я выше описывал.
http://deadlive.ru/video/squid_deny_download-mp3.avi

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 12:32 
што-то я прикола про видео-файл не понял.. там мп3 всё-таки скачалось же oO
"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 12:37 
>што-то я прикола про видео-файл не понял.. там мп3 всё-таки скачалось же
>oO

Размер файла который скачался видел?
2.4 кб а не 3 мб.

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 14:49 
>>што-то я прикола про видео-файл не понял.. там мп3 всё-таки скачалось же
>>oO
>
>Размер файла который скачался видел?
>2.4 кб а не 3 мб.

ну и ?!
у меня то они мегабайтами измеряются
и в 1 случае кликнули левой кнопкой и файл с заблокированным расширением mp3 попал в урл - обломался
а 2 раз правой кнопкой через "сохранить как" и пропустило
я про это и писал!

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 15:02 
>[оверквотинг удален]
>>
>>Размер файла который скачался видел?
>>2.4 кб а не 3 мб.
>
>ну и ?!
>у меня то они мегабайтами измеряются
>и в 1 случае кликнули левой кнопкой и файл с заблокированным расширением
>mp3 попал в урл - обломался
>а 2 раз правой кнопкой через "сохранить как" и пропустило
>я про это и писал!

Ну либо это фантастика , либо ищите отличия своего конфига от моего,
как видно из видео у меня с этим проблем нету. Скачиваю файл имея ограничения на него , только вот он скачивается не весь а всего 2 кб)) .

Отличий между моим и вашим конфигом есть? нет?

Вы бы хоть конфиг показали а то куски какие то , прям как военная тайна.

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 15:14 
>Вы бы хоть конфиг показали а то куски какие то , прям
>как военная тайна.
>

не тайна, а так вообщем.. секретный правительственный объект про ядерные боеголовки
разница в том, шта у меня забыт deny CONNECT.. вот. буду тестить с ним

P.S. а зачем вам там icp_port ? он используется в случае, когда несколько кальмаров работают в каскаде
а 443 порт таки позволяет через сквида смотреть?

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 15:32 
>[оверквотинг удален]
>>как военная тайна.
>>
>
>не тайна, а так вообщем.. секретный правительственный объект про ядерные боеголовки
>разница в том, шта у меня забыт deny CONNECT.. вот. буду тестить
>с ним
>
>P.S. а зачем вам там icp_port ? он используется в случае, когда
>несколько кальмаров работают в каскаде
>а 443 порт таки позволяет через сквида смотреть?

Да позволяет, но не в режиме transparent .
А в режиме авторизации.

icp_port это фиг с ним , это домашний вариант дефолтового конфига. Видео для Вас писал.
deny CONNECT не для этого нужен.

Вы попробуйте для начала описать расширение одно к приммеру в конфиге сквида.

acl     bad_ext         urlpath_regex -i \.mp3$
http_access     deny    bad_ext
Остальное временно закоментируйте.
killall на сквид , запуск, и пробуйте , + логи.

В своё время сам не стал разбираться почему имено с тем конфигом который я показал выше все равно качается файл,
но так и оставил ,так как он не полноценный, 2 кб и фиг с ним а не 5 мб (нормальный размер файла не будет скачен, а почему то 2 кб).

А у Вас насколько я понимаю при размер скаченного запретного файла полноценный ?

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 15:38 
>А у Вас насколько я понимаю при размер скаченного запретного файла полноценный
>?

200 мег файл скачал и не спросил, как звали

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 15:42 
>>А у Вас насколько я понимаю при размер скаченного запретного файла полноценный
>>?
>
>200 мег файл скачал и не спросил, как звали

Мне даже уже интересно стало ).
Решите проблему , напишите как.
У меня мысли кончились.

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 15:49 
>>>А у Вас насколько я понимаю при размер скаченного запретного файла полноценный
>>>?
>>
>>200 мег файл скачал и не спросил, как звали
>
>Мне даже уже интересно стало ).
>Решите проблему , напишите как.
>У меня мысли кончились.

что ещё интереснее, он его скачал апосля того, как я отмену нажал
глянул в логи (они раз в час обновляются) - 330 мег своими кспериментами наделал..
т.е. ему вот настолько всё похуй
лучше б вообще не трогал. ы. у юзеров и то меньше было

а все эти flv swf действительно в браузере не проигрываются.. и прочая хня блокируется, но вот файлы в таком аксепте пускает..

а вы пробовали зайти на dump.ru и оттуда покачать? может заколдованный он..

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 16:39 
>[оверквотинг удален]
>кспериментами наделал..
>т.е. ему вот настолько всё похуй
>лучше б вообще не трогал. ы. у юзеров и то меньше было
>
>
>а все эти flv swf действительно в браузере не проигрываются.. и прочая
>хня блокируется, но вот файлы в таком аксепте пускает..
>
>а вы пробовали зайти на dump.ru и оттуда покачать? может заколдованный он..
>

Сорри не прав был. Без ваших логов трудно что то понять.

Тут кое что другое, ссылка не чистая.

При скачивании файла http://dump.ru/file/729044
В логе видим.

1230384098.236   5757 12.12.12.1 TCP_MISS/200 963106 POST http://dump.ru/file_download/729044/MTIzMDM4NDMyMg== - DIRECT/217.106.233.190 binary/octet-stream

При скачивании файла , с http://www.realmusic.ru/

нажимая на ссылке сохранить как, в логе видим.
1230384284.416      0 12.12.12.1 TCP_DENIED/403 2722 GET http://files.realmusic.ru/download/486486/dp_sky_-_S.T.A.L.K... - NONE/- text/html

Ссылка во втором случае с расширением , в отличии от первой ссылке.
Это вроде с mime колдовать нужно. Не помню как решить.

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено wertik , 27-Дек-08 17:03 
Все решил вопрос,
Я хз что у вас находится в файле mime.conf так как вы не желаете делиться конфигами.
Теперь я привел конфиг к такому виду:

bash-3.1# cat squid.conf |grep -v ^# |grep -v ^$                                                                                                            
acl manager proto cache_object                                                                                                                              
acl localhost src 127.0.0.1/32                                                                                                                              
acl to_localhost dst 127.0.0.0/8
acl localnet src 12.12.12.2     # RFC1918 possible internal network
acl localnet src 12.12.12.1
acl localnet src 127.0.0.1
acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT
acl cont-type-video rep_mime_type Content-Type video.
acl cont-type-audio rep_mime_type Content-Type audio.
http_reply_access deny cont-type-video
http_reply_access deny cont-type-audio
acl     bad_ext         urlpath_regex -i \.mp3$ \.avi$
http_access     deny    bad_ext
http_access allow localnet
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
http_access deny all
icp_access allow localnet
icp_access deny all
htcp_access allow localnet
htcp_access deny all
http_port 3128
hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/logs/access.log squid
cache_store_log none
refresh_pattern ^ftp:         &n... 1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern (cgi-bin|\?)    0       0%      0
refresh_pattern .               0       20%     4320
visible_hostname werti
icp_port 3130
coredump_dir /var/log/squid/cache


Тем самым , на сайте dump.ru  я не могу скачивать mp3 файлы ,
не могу просматривать потоковое видео, слушать потоковое видео.
При попытке сохранить ссылку как , я скачиваю файл , который размером 2 кб.

То есть у меня всё нормально.

Видео с данного сайта будет качаться , пока не покурите конфиг mime.conf и логи.
Все решаемо , дерзайте.

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 27-Дек-08 17:47 
>acl cont-type-video rep_mime_type Content-Type video.
>acl cont-type-audio rep_mime_type Content-Type audio.

а откуда такой синтаксис ? в дефолтном конфиге немного не так, а именно:
acl javascript rep_mime_type -i ^application/x-javascript$

в инете есть ещё такие варианты:
acl mmedia_video rep_mime_type -i ^.*video.*
acl mmedia_audio rep_mime_type -i ^.*audio.*
acl mmedia_flash rep_mime_type -i ^.*flash.*

acl streams rep_mime_type ^video/x-ms-asf ^video/x-ms-sf ^audio/mpeg ^audio/x-mpeg ^audio/x-pn-realaudio ^application/x-mms-framed ^application/vnd.ms.wms-hdr.asfv1

ну или просто перечислить их в файле:
application/x-ms-wmv
application/octet-data
audio/basic
audio/mpeg
audio/x-realaudio
audio/mp3
audio/wav
video/mpeg
video/msvideo
video/quicktime
video/x-ms-asf
video/x-msvideo
video/x-sgi-movie

ещё есть темка такая же: http://www.opennet.me/openforum/vsluhforumID3/1247.html#1

вообщем, на объекте буду тестить, как доберусь. спасибо за направление к копанию

P.S. в mime.conf у меня дефолты

"почему squid разрешает скачивать запрещённые расширения?"
Отправлено greenwar , 29-Дек-08 10:18 
хм, ну а получилось вообщем, как у вас в примере

acl     all_audio       rep_mime_type   content-type    audio.
acl     all_video       rep_mime_type   content-type    video.

http_reply_access       deny    all_audio
http_reply_access       deny    all_video

теперь при клике на любой файл там выскакивает окно блокировки

ещё раз спасибо