https://www.opennet.me/openforum/vsluhforumID1/93164.html Сделал апгрейд с FreeBSD 8.0 на 9.0. Ставился с нуля на новый диск. Сервер работает как NAT плюс несколько своих сервисов. Имею такую граблю: трафик из Интернета в локалку и обратно летает через NAT как нефиг делать любыми объёмами, трафик с сервера на внутренний интерфейс и обратно тоже летает, но как только надо передать что-то объёмное на сам сервер или с него в Интернет, соединения тут же обрываются. Т.е. заходим на сервер по ssh снаружи. Консоль работает нормально. Пытаемся передать файл по sftp (в любую сторону), тут же обрывается соединение. То же самое с http. Загрузить страничку с картинками уже нереально, грузятся обрывки и соединения обрываются.<br>Ядро amd64 собрано с опциями (NAT пробовал ядерный и natd):<br>options IPFIREWALL<br>options IPDIVERT<br>options IPFIREWALL_NAT<br>options LIBALIAS<br>Софт весь собран из портов.<br>Настройки минимальные такие:<br><br>rc.conf:<br>ifconfig_msk0="DHCP"<br>ifconfig_msk1="inet 192.168.0.1 netmask 255.255.255.0"<br>gateway_enable="YES"<br>firewall_enabl https://www.opennet.me/openforum/vsluhforumID1/93164.html#9 Thu, 05 Apr 2012 01:59:06 GMT &gt; Источник проблемы локализован. Это ошибка в работе функции TSO на внешнем сетевом <br>&gt; интерфейсе. ifconfig msk0 -tso полностью решило проблему.<br>&gt; Непонятно осталось, почему вдруг этот глюк возник. Откат на старую версию фри <br><br>на старую - на 8.2 или на 8.0, что стояла раньше?<br>&gt; ничего не дал, там глюк тоже проявился (а раньше не было). <br><br>хм. А может у тебя раньше архитектура была i386?<br>&gt; Был выполнен откат по работам с железом за обозримое прошлое: убран <br>&gt; из системы дополнительный SATA контроллер и перешита старая версия BIOS в <br>&gt; матплату. Но это тоже ничего не дало... На материнке два абсолютно <br>&gt; одинаковых встроенных контроллера Marvell Yukon 88E8056. При этом на втором TSO <br>&gt; работает, а на первом - с некоторых пор нет. При том, <br><br>а не пробовал поменять местами сетевки - msk0 в локалку, msk1 - к провайдеру?<br>&gt; что он воткнут в сеть с ограничением скорости 10 Мбит, большой <br>&gt; беды я в этом не вижу, но всё же неприятно иметь <br>&gt; глюк неизвестной природы. https://www.opennet.me/openforum/vsluhforumID1/93164.html#8 Sun, 01 Apr 2012 23:50:03 GMT &gt; Источник проблемы локализован. Это ошибка в работе функции TSO на внешнем сетевом <br>&gt; интерфейсе. ifconfig msk0 -tso полностью решило проблему.<br><br>Оформляйте PR<br>msk - железка сама по себе кривая :(<br><br><br> https://www.opennet.me/openforum/vsluhforumID1/93164.html#7 Sat, 31 Mar 2012 08:52:15 GMT Источник проблемы локализован. Это ошибка в работе функции TSO на внешнем сетевом интерфейсе. ifconfig msk0 -tso полностью решило проблему.<br><br>Непонятно осталось, почему вдруг этот глюк возник. Откат на старую версию фри ничего не дал, там глюк тоже проявился (а раньше не было). Был выполнен откат по работам с железом за обозримое прошлое: убран из системы дополнительный SATA контроллер и перешита старая версия BIOS в матплату. Но это тоже ничего не дало... На материнке два абсолютно одинаковых встроенных контроллера Marvell Yukon 88E8056. При этом на втором TSO работает, а на первом - с некоторых пор нет. При том, что он воткнут в сеть с ограничением скорости 10 Мбит, большой беды я в этом не вижу, но всё же неприятно иметь глюк неизвестной природы.<br> https://www.opennet.me/openforum/vsluhforumID1/93164.html#6 Thu, 22 Mar 2012 08:56:30 GMT &gt;[оверквотинг удален]<br>&gt; Mar 21 10:35:24 bcsn sshd[11924]: fatal: Write failed: Permission denied <br>&gt; Mar 21 10:35:24 bcsn kernel: Mar 21 10:35:24 bcsn sshd[11924]: fatal: Write <br>&gt; failed: Permission denied <br>&gt; Соединение обрывается и можно дальше всё начинать сначала.<br>&gt; 2) В моменты попыток что-то передавать резко возрастает нагрузка на процессор. Судя <br>&gt; по скачку температуры и скорости кулера, процессор начинает молотить на полную. <br>&gt; Никогда раньше не наблюдал подобной загрузки.<br>&gt; Всё это сильно смахивает на какие-то косяки в коде сетевого стека и/или <br>&gt; драйвера сетевухи. Буду пробовать собрать аналог сервера на другом железе и <br>&gt; проверять ту же конфигурацию.<br><br>была похожая проблема на реалтеках при VLAN_HWTAGGING приходилось при при запуске стартовать интерфейс с минусами по данным опциям. <br> https://www.opennet.me/openforum/vsluhforumID1/93164.html#5 Wed, 21 Mar 2012 07:55:54 GMT Передача через сквид идет?<br>Возможно он и косячит.<br>Без него попробовать.<br>Еще проверить с pf.<br>Еще проверить без DHCP.<br>Какие нибудь логи в физическую консоль сыплются?<br>Или также тишина?<br> https://www.opennet.me/openforum/vsluhforumID1/93164.html#4 Wed, 21 Mar 2012 06:48:58 GMT &gt; Проверяй ping -s 1500 REMOTE_IP <br><br>Главная для меня непонятка в том, что пакеты из локалки в Интернет через NAT ходят со свистом. А с самого сервера - нет. Если бы тупо проблема в MTU на внешнем интерфейсе, то какая разница, откуда пакет попадает на этот интерфейс? Кроме того, всё же работало и с этой картой, и с этим провайдером, но на другой версии фри.<br><br>Ещё набрал наблюдений:<br>1) Если перейти с natd на ipfw nat, то передавать удаётся чуть больший объём данных и субъективно с меньшими лагами. При этом на передаче по sftp в логах появляются такие строки:<br>Mar 21 10:35:24 bcsn sshd[11924]: Accepted keyboard-interactive/pam for dmitry from REMOTE_IP port 11249 ssh2<br>Mar 21 10:35:24 bcsn sshd[11924]: subsystem request for sftp by user dmitry<br>Mar 21 10:35:24 bcsn sshd[11924]: fatal: Write failed: Permission denied<br>Mar 21 10:35:24 bcsn kernel: Mar 21 10:35:24 bcsn sshd[11924]: fatal: Write failed: Permission denied<br>Соединение обрывается и можно дальше всё начинать сначала.<br>2) В моменты попыток что-то пере https://www.opennet.me/openforum/vsluhforumID1/93164.html#3 Tue, 20 Mar 2012 19:39:06 GMT &gt; Выяснил, что влияет размер MTU. Если ставить меньше 1500, то какие-то потуги <br>&gt; передачи данных проходят, но, скажем, загрузка картинок по http (наглядно скорость <br><br>http://www.netheaven.com/pmtu.html<br><br>Проверяй ping -s 1500 REMOTE_IP<br><br>Для отладки возьми ping из Linux-овых iputils, у него есть -M.<br><br> https://www.opennet.me/openforum/vsluhforumID1/93164.html#2 Tue, 20 Mar 2012 16:40:13 GMT &gt; tcpdump вешайте на интерфейс и запускайте передачу по sftp. Потом вдумчивое <br>&gt; чтение лога.<br><br>Вдумчивое у меня пока не получается, экспириенса маловато. Получилось вот такое, например. Начало соответствует нажатию кнопки ввода после команды cat /var/log/all.log в удалённой консоли. Потом она 30 секунд висит и не отвечает. Потом я её срубаю принудительно. <br><br>19:45:01.277491 IP REMOTE_IP.1674 &gt; SERVER_IP.22: Flags [P.], seq 32786295:32786347, ack 2825312168, win 65399, length 52<br>19:45:01.277935 IP SERVER_IP.22 &gt; REMOTE_IP.1674: Flags [P.], seq 1:53, ack 52, win 65535, length 52<br>19:45:01.444998 IP REMOTE_IP.1674 &gt; SERVER_IP.22: Flags [.], ack 53, win 65347, length 0<br>19:45:02.037891 IP SERVER_IP.22 &gt; REMOTE_IP.1674: Flags [.], seq 53:1501, ack 52, win 65535, length 1448<br>19:45:03.023868 IP SERVER_IP.22 &gt; REMOTE_IP.1674: Flags [.], seq 53:1501, ack 52, win 65535, length 1448<br>19:45:04.795870 IP SERVER_IP.22 &gt; REMOTE_IP.1674: Flags [.], seq 53:1501, ack 52, win 65535, length 1448<br>19:45:08.139875 IP SERVER_ https://www.opennet.me/openforum/vsluhforumID1/93164.html#1 Tue, 20 Mar 2012 14:04:55 GMT tcpdump вешайте на интерфейс и запускайте передачу по sftp. Потом вдумчивое чтение лога.<br>