URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 95555
[ Назад ]
Исходное сообщение
"Неторопливый проиизводительный igb..."
Отправлено install , 15-Апр-14 09:37 
  Здравствуйте уважаемые.

  Столкнулся со странностью работы igb.

  Есть система FreeBSD 9.1-RELEASE, 2 интерфейса igb: igb0 - в сторону провайдера, igb1 - в локалку, провайдер дает поток 1 Мб (это важно!). Адреса - все белые. От машины требуется тупая маршрутизация и samba для локалки. Локальная сеть разведена через cisco catalyst 2960, порт на каталисте в сторону сервера принудительно установлен 100Мб full-duplex.

  Проблема такая: отвратительно медленно передаются файлы и сайты. Единственно, что более-менее систематично - чем больше файл, тем медленнее он грузится. Пример: файл 2-5 метров льется на скорости до 20-30 кб (канал 1 Мб), файлы от 20 метров грузятся на скоростях до 15 Кб, если файл за 100 МБ, скорость загрузки - 3-7 Кб. Причем это наблюдается как на внешнем канале, так и на внутреннем интерфейсе, который смотрит в каталист на 100 Мб, с которого раздаются базы через samb-у. Если вместо данной машины подключить любой маршрутизатор или FreeBSD с интерфейсами em, fxp, rl - проблема исчезает как по волшебству. Предложения "поставить другую железку" не принимаются, нужна работа именно этого оборудования.

  Тюнинг системы произведен, задраны все возможные параметра sysctl. Все, что сейчас прописано в /etc/sysctl.conf и /boot/loader.conf никакого влияния на поведение машины не оказало.

  ipfw разрешает все, кроме 135, 445 проходящих через машину, и 22, 23, 139  на сервер с внешнего мира. NAT в ядре присутствует, но что с ним, что без него, картинка одна и та же.

Ядро (основные парамерты):

cpu    I486_CPU
cpu    I586_CPU
cpu    I686_CPU
options     INET
#options     INET6
device        em # чтоб было, есть вариант работы с em
device        igb
device        loop
device        random
device        ether
device        vlan
device        tun
device        pty
device        md
device        gif
device        faith
device        firmware
device        bpf

options         IPFIREWALL              
options        IPFIREWALL_VERBOSE      
options        IPFIREWALL_VERBOSE_LIMIT=1000
options        IPFIREWALL_DEFAULT_TO_ACCEPT
options        IPFIREWALL_FORWARD                                          
options        IPDIVERT                                                    

options        ZERO_COPY_SOCKETS
options        PANIC_REBOOT_WAIT_TIME=16
options        DEVICE_POLLING
options        HZ=4000

options        LIBALIAS
options        ROUTETABLES=2
options        DUMMYNET

/etc/rc.conf

ifconfig_igb0="inet 1.1.1.138 netmask 255.255.255.252 media 100baseTX mediaopt full-duplex -rxcsum -txcsum -lro -tso up" # на маршрутизаторе провайдера порт в нашу сторону тоже 100.
ifconfig_igb1="inet 2.2.2.209 netmask 255.255.255.248 media 100baseTX mediaopt full-duplex -rxcsum -txcsum -tso -lro"
defaultrouter="1.1.1.137"
defaultrouter="YES"
gateway_enable="YES"

/etc/sysctl.conf

net.inet.ip.fw.verbose_limit=100000
kern.ipc.nmbclusters=204800
kern.maxfiles=204800        
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800
net.inet.ip.intr_queue_maxlen=8192
dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
kern.ipc.nmbjumbop=262144
kern.ipc.nmbjumbo9=262144
kern.ipc.nmbjumbo16=262144
kern.ipc.somaxconn=32768
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.inet.raw.maxdgram=16384
net.inet.raw.recvspace=16384
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0
hw.igb.enable_aim=0
dev.igb.0.enable_aim=0
dev.igb.1.enable_aim=0
net.inet.ip.ttl=255
net.inet.ip.fastforwarding=1

/boot/loader.conf

hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.num_queues=4
hw.igb.max_interrupt_rate=128000
net.isr.defaultqlimit=4096
net.link.ifqmaxlen=10240
hw.igb.rx_process_limit=4096
hw.igb.num_queues=2
net.inet.tcp.tcbhashsize=32768

netstat -m

16387/2693/19080 mbufs in use (current/cache/total)
16385/1413/17798/204800 mbuf clusters in use (current/cache/total/max)
16385/1407 mbuf+clusters out of packet secondary zone in use (current/cache)
0/135/135/262144 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/262144 9k jumbo clusters in use (current/cache/total/max)
0/0/0/262144 16k jumbo clusters in use (current/cache/total/max)
36866K/4039K/40906K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/4/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines


System wide totals computed every five seconds: (values in kilobytes)
===============================================
Processes:        (RUNQ: 1 Disk Wait: 0 Page Wait: 0 Sleep: 46)
Virtual Memory:        (Total: 2637624K Active: 469192K)
Real Memory:        (Total: 162144K Active: 49268K)
Shared Virtual Memory:    (Total: 59024K Active: 39200K)
Shared Real Memory:    (Total: 12204K Active: 9784K)
Free Memory:    2870700K

sysctl -a | grep igb

device    igb
hw.igb.rx_process_limit: 4096
hw.igb.num_queues: 2
hw.igb.header_split: 0
hw.igb.max_interrupt_rate: 128000
hw.igb.enable_msix: 1
hw.igb.enable_aim: 0
hw.igb.txd: 4096
hw.igb.rxd: 4096
dev.igb.0.чsc: Intel(R) PRO/1000 Network Connection version - 2.3.4
dev.igb.0.%driver: igb
dev.igb.0.%location: slot=0 function=0
dev.igb.0.%pnpinfo: vendor=0x8086 device=0x10c9 subvendor=0x15d9 subdevice=0x10c9 class=0x020000
dev.igb.0.%parent: pci10
dev.igb.0.nvm: -1
dev.igb.0.enable_aim: 0
dev.igb.0.fc: 3
dev.igb.0.rx_processing_limit: 4096
dev.igb.0.link_irq: 3
dev.igb.0.dropped: 0
dev.igb.0.tx_dma_fail: 0
dev.igb.0.rx_overruns: 0
dev.igb.0.watchdog_timeouts: 0
dev.igb.0.device_control: 1087379777
dev.igb.0.rx_control: 67141634
dev.igb.0.interrupt_mask: 4
dev.igb.0.extended_int_mask: 2147483655
dev.igb.0.tx_buf_alloc: 0
dev.igb.0.rx_buf_alloc: 0
dev.igb.0.fc_high_water: 58976
dev.igb.0.fc_low_water: 58960
dev.igb.0.queue0.no_desc_avail: 0
dev.igb.0.queue0.tx_packets: 6071
dev.igb.0.queue0.rx_packets: 2778
dev.igb.0.queue0.rx_bytes: 1768446
dev.igb.0.queue0.lro_queued: 0
dev.igb.0.queue0.lro_flushed: 0
dev.igb.0.queue1.no_desc_avail: 0
dev.igb.0.queue1.tx_packets: 7240
dev.igb.0.queue1.rx_packets: 12480
dev.igb.0.queue1.rx_bytes: 13530190
dev.igb.0.queue1.lro_queued: 0
dev.igb.0.queue1.lro_flushed: 0
dev.igb.0.mac_stats.excess_coll: 0
dev.igb.0.mac_stats.single_coll: 0
dev.igb.0.mac_stats.multiple_coll: 0
dev.igb.0.mac_stats.late_coll: 0
dev.igb.0.mac_stats.collision_count: 0
dev.igb.0.mac_stats.symbol_errors: 0
dev.igb.0.mac_stats.sequence_errors: 0
dev.igb.0.mac_stats.defer_count: 0
dev.igb.0.mac_stats.missed_packets: 0
dev.igb.0.mac_stats.recv_no_buff: 0
dev.igb.0.mac_stats.recv_undersize: 0
dev.igb.0.mac_stats.recv_fragmented: 10
dev.igb.0.mac_stats.recv_oversize: 0
dev.igb.0.mac_stats.recv_jabber: 0
dev.igb.0.mac_stats.recv_errs: 0
dev.igb.0.mac_stats.crc_errs: 2059
dev.igb.0.mac_stats.alignment_errs: 0
dev.igb.0.mac_stats.coll_ext_errs: 0
dev.igb.0.mac_stats.xon_recvd: 0
dev.igb.0.mac_stats.xon_txd: 0
dev.igb.0.mac_stats.xoff_recvd: 0
dev.igb.0.mac_stats.xoff_txd: 0
dev.igb.0.mac_stats.total_pkts_recvd: 19760
dev.igb.0.mac_stats.good_pkts_recvd: 15253
dev.igb.0.mac_stats.bcast_pkts_recvd: 134
dev.igb.0.mac_stats.mcast_pkts_recvd: 0
dev.igb.0.mac_stats.rx_frames_64: 1278
dev.igb.0.mac_stats.rx_frames_65_127: 1397
dev.igb.0.mac_stats.rx_frames_128_255: 951
dev.igb.0.mac_stats.rx_frames_256_511: 1765
dev.igb.0.mac_stats.rx_frames_512_1023: 499
dev.igb.0.mac_stats.rx_frames_1024_1522: 9363
dev.igb.0.mac_stats.good_octets_recvd: 15354584
dev.igb.0.mac_stats.good_octets_txd: 3521863
dev.igb.0.mac_stats.total_pkts_txd: 13307
dev.igb.0.mac_stats.good_pkts_txd: 13307
dev.igb.0.mac_stats.bcast_pkts_txd: 61
dev.igb.0.mac_stats.mcast_pkts_txd: 0
dev.igb.0.mac_stats.tx_frames_64: 4082
dev.igb.0.mac_stats.tx_frames_65_127: 6913
dev.igb.0.mac_stats.tx_frames_128_255: 233
dev.igb.0.mac_stats.tx_frames_256_511: 141
dev.igb.0.mac_stats.tx_frames_512_1023: 259
dev.igb.0.mac_stats.tx_frames_1024_1522: 1679
dev.igb.0.mac_stats.tso_txd: 0
dev.igb.0.mac_stats.tso_ctx_fail: 0
dev.igb.0.interrupts.asserts: 28605
dev.igb.0.interrupts.rx_pkt_timer: 15253
dev.igb.0.interrupts.rx_abs_timer: 0
dev.igb.0.interrupts.tx_pkt_timer: 0
dev.igb.0.interrupts.tx_abs_timer: 15253
dev.igb.0.interrupts.tx_queue_empty: 13307
dev.igb.0.interrupts.tx_queue_min_thresh: 0
dev.igb.0.interrupts.rx_desc_min_thresh: 0
dev.igb.0.interrupts.rx_overrun: 0
dev.igb.0.host.breaker_tx_pkt: 0
dev.igb.0.host.host_tx_pkt_discard: 0
dev.igb.0.host.rx_pkt: 0
dev.igb.0.host.breaker_rx_pkts: 0
dev.igb.0.host.breaker_rx_pkt_drop: 0
dev.igb.0.host.tx_good_pkt: 0
dev.igb.0.host.breaker_tx_pkt_drop: 0
dev.igb.0.host.rx_good_bytes: 15354584
dev.igb.0.host.tx_good_bytes: 3521863
dev.igb.0.host.length_errors: 0
dev.igb.0.host.serdes_violation_pkt: 0
dev.igb.0.host.header_redir_missed: 0
dev.igb.1.чsc: Intel(R) PRO/1000 Network Connection version - 2.3.4
dev.igb.1.%driver: igb
dev.igb.1.%location: slot=0 function=1
dev.igb.1.%pnpinfo: vendor=0x8086 device=0x10c9 subvendor=0x15d9 subdevice=0x10c9 class=0x020000
dev.igb.1.%parent: pci10
dev.igb.1.nvm: -1
dev.igb.1.enable_aim: 0
dev.igb.1.fc: 3
dev.igb.1.rx_processing_limit: 4096
dev.igb.1.link_irq: 2
dev.igb.1.dropped: 0
dev.igb.1.tx_dma_fail: 0
dev.igb.1.rx_overruns: 0
dev.igb.1.watchdog_timeouts: 0
dev.igb.1.device_control: 1087379777
dev.igb.1.rx_control: 67141634
dev.igb.1.interrupt_mask: 4
dev.igb.1.extended_int_mask: 2147483655
dev.igb.1.tx_buf_alloc: 0
dev.igb.1.rx_buf_alloc: 0
dev.igb.1.fc_high_water: 58976
dev.igb.1.fc_low_water: 58960
dev.igb.1.queue0.no_desc_avail: 0
dev.igb.1.queue0.tx_packets: 3416
dev.igb.1.queue0.rx_packets: 6925
dev.igb.1.queue0.rx_bytes: 3864014
dev.igb.1.queue0.lro_queued: 0
dev.igb.1.queue0.lro_flushed: 0
dev.igb.1.queue1.no_desc_avail: 0
dev.igb.1.queue1.tx_packets: 9275
dev.igb.1.queue1.rx_packets: 3477
dev.igb.1.queue1.rx_bytes: 360914
dev.igb.1.queue1.lro_queued: 0
dev.igb.1.queue1.lro_flushed: 0
dev.igb.1.mac_stats.excess_coll: 0
dev.igb.1.mac_stats.single_coll: 0
dev.igb.1.mac_stats.multiple_coll: 0
dev.igb.1.mac_stats.late_coll: 0
dev.igb.1.mac_stats.collision_count: 0
dev.igb.1.mac_stats.symbol_errors: 0
dev.igb.1.mac_stats.sequence_errors: 0
dev.igb.1.mac_stats.defer_count: 0
dev.igb.1.mac_stats.missed_packets: 0
dev.igb.1.mac_stats.recv_no_buff: 0
dev.igb.1.mac_stats.recv_undersize: 0
dev.igb.1.mac_stats.recv_fragmented: 46
dev.igb.1.mac_stats.recv_oversize: 0
dev.igb.1.mac_stats.recv_jabber: 0
dev.igb.1.mac_stats.recv_errs: 0
dev.igb.1.mac_stats.crc_errs: 174
dev.igb.1.mac_stats.alignment_errs: 0
dev.igb.1.mac_stats.coll_ext_errs: 0
dev.igb.1.mac_stats.xon_recvd: 0
dev.igb.1.mac_stats.xon_txd: 0
dev.igb.1.mac_stats.xoff_recvd: 0
dev.igb.1.mac_stats.xoff_txd: 0
dev.igb.1.mac_stats.total_pkts_recvd: 11696
dev.igb.1.mac_stats.good_pkts_recvd: 10339
dev.igb.1.mac_stats.bcast_pkts_recvd: 672
dev.igb.1.mac_stats.mcast_pkts_recvd: 38
dev.igb.1.mac_stats.rx_frames_64: 5115
dev.igb.1.mac_stats.rx_frames_65_127: 2194
dev.igb.1.mac_stats.rx_frames_128_255: 159
dev.igb.1.mac_stats.rx_frames_256_511: 137
dev.igb.1.mac_stats.rx_frames_512_1023: 434
dev.igb.1.mac_stats.rx_frames_1024_1522: 2300
dev.igb.1.mac_stats.good_octets_recvd: 4218272
dev.igb.1.mac_stats.good_octets_txd: 11423972
dev.igb.1.mac_stats.total_pkts_txd: 12613
dev.igb.1.mac_stats.good_pkts_txd: 12613
dev.igb.1.mac_stats.bcast_pkts_txd: 219
dev.igb.1.mac_stats.mcast_pkts_txd: 0
dev.igb.1.mac_stats.tx_frames_64: 1242
dev.igb.1.mac_stats.tx_frames_65_127: 1370
dev.igb.1.mac_stats.tx_frames_128_255: 938
dev.igb.1.mac_stats.tx_frames_256_511: 1837
dev.igb.1.mac_stats.tx_frames_512_1023: 391
dev.igb.1.mac_stats.tx_frames_1024_1522: 6835
dev.igb.1.mac_stats.tso_txd: 0
dev.igb.1.mac_stats.tso_ctx_fail: 0
dev.igb.1.interrupts.asserts: 23835
dev.igb.1.interrupts.rx_pkt_timer: 10339
dev.igb.1.interrupts.rx_abs_timer: 0
dev.igb.1.interrupts.tx_pkt_timer: 0
dev.igb.1.interrupts.tx_abs_timer: 10339
dev.igb.1.interrupts.tx_queue_empty: 12613
dev.igb.1.interrupts.tx_queue_min_thresh: 0
dev.igb.1.interrupts.rx_desc_min_thresh: 0
dev.igb.1.interrupts.rx_overrun: 0
dev.igb.1.host.breaker_tx_pkt: 0
dev.igb.1.host.host_tx_pkt_discard: 0
dev.igb.1.host.rx_pkt: 0
dev.igb.1.host.breaker_rx_pkts: 0
dev.igb.1.host.breaker_rx_pkt_drop: 0
dev.igb.1.host.tx_good_pkt: 0
dev.igb.1.host.breaker_tx_pkt_drop: 0
dev.igb.1.host.rx_good_bytes: 4218272
dev.igb.1.host.tx_good_bytes: 11423972
dev.igb.1.host.length_errors: 0
dev.igb.1.host.serdes_violation_pkt: 0
dev.igb.1.host.header_redir_missed: 0

Ну и еще кой-чего из sysctl

net.inet.ip.portrange.randomtime: 45
net.inet.ip.portrange.randomcps: 10
net.inet.ip.portrange.randomized: 1
net.inet.ip.portrange.reservedlow: 0
net.inet.ip.portrange.reservedhigh: 1023
net.inet.ip.portrange.hilast: 65535
net.inet.ip.portrange.hifirst: 49152
net.inet.ip.portrange.last: 65535
net.inet.ip.portrange.first: 10000
net.inet.ip.portrange.lowlast: 600
net.inet.ip.portrange.lowfirst: 1023
net.inet.ip.forwarding: 1
net.inet.ip.redirect: 1
net.inet.ip.ttl: 255
net.inet.ip.rtexpire: 3600
net.inet.ip.rtminexpire: 10
net.inet.ip.rtmaxcache: 128
net.inet.ip.sourceroute: 0
net.inet.ip.intr_queue_maxlen: 8192
net.inet.ip.intr_queue_drops: 0
net.inet.ip.accept_sourceroute: 0
net.inet.ip.keepfaith: 0
net.inet.ip.gifttl: 30
net.inet.ip.same_prefix_carp_only: 0
net.inet.ip.random_id_total: 0
net.inet.ip.random_id_collisions: 0
net.inet.ip.random_id_period: 8192
net.inet.ip.mcast.loop: 1
net.inet.ip.mcast.maxsocksrc: 128
net.inet.ip.mcast.maxgrpsrc: 512
net.inet.ip.dummynet.io_pkt_drop: 0
net.inet.ip.dummynet.io_pkt_fast: 0
net.inet.ip.dummynet.io_pkt: 0
net.inet.ip.dummynet.queue_count: 0
net.inet.ip.dummynet.fsk_count: 0
net.inet.ip.dummynet.si_count: 0
net.inet.ip.dummynet.schk_count: 0
net.inet.ip.dummynet.expire_cycle: 0
net.inet.ip.dummynet.expire: 1
net.inet.ip.dummynet.tick_lost: 0
net.inet.ip.dummynet.tick_diff: 120246
net.inet.ip.dummynet.tick_adjustment: 549594
net.inet.ip.dummynet.tick_delta_sum: 207
net.inet.ip.dummynet.tick_delta: 748
net.inet.ip.dummynet.red_max_pkt_size: 1500
net.inet.ip.dummynet.red_avg_pkt_size: 512
net.inet.ip.dummynet.red_lookup_depth: 256
net.inet.ip.dummynet.debug: 0
net.inet.ip.dummynet.io_fast: 0
net.inet.ip.dummynet.pipe_byte_limit: 1048576
net.inet.ip.dummynet.pipe_slot_limit: 100
net.inet.ip.dummynet.hash_size: 64
net.inet.ip.fastforwarding: 1
net.inet.ip.fw.static_count: 36
net.inet.ip.fw.default_to_accept: 1
net.inet.ip.fw.tables_max: 128
net.inet.ip.fw.default_rule: 65535
net.inet.ip.fw.verbose_limit: 100000
net.inet.ip.fw.verbose: 1
net.inet.ip.fw.autoinc_step: 100
net.inet.ip.fw.one_pass: 1
net.inet.ip.fw.dyn_keepalive: 1
net.inet.ip.fw.dyn_short_lifetime: 5
net.inet.ip.fw.dyn_udp_lifetime: 10
net.inet.ip.fw.dyn_rst_lifetime: 1
net.inet.ip.fw.dyn_fin_lifetime: 1
net.inet.ip.fw.dyn_syn_lifetime: 20
net.inet.ip.fw.dyn_ack_lifetime: 300
net.inet.ip.fw.dyn_max: 4096
net.inet.ip.fw.dyn_count: 0
net.inet.ip.fw.curr_dyn_buckets: 256
net.inet.ip.fw.dyn_buckets: 256
net.inet.ip.fw.enable: 1
net.inet.ip.maxfragpackets: 6400
net.inet.ip.maxfragsperpacket: 16
net.inet.ip.fragpackets: 0
net.inet.ip.check_interface: 0
net.inet.ip.random_id: 0
net.inet.ip.sendsourcequench: 0
net.inet.ip.process_options: 1
net.inet.ip.alias.sctp.track_global_addresses: 0
net.inet.ip.alias.sctp.param_proc_limit: 25
net.inet.ip.alias.sctp.chunk_proc_limit: 5
net.inet.ip.alias.sctp.initialising_chunk_proc_limit: 2
net.inet.ip.alias.sctp.accept_global_ootb_addip: 0
net.inet.ip.alias.sctp.error_on_ootb: 1
net.inet.ip.alias.sctp.hashtable_size: 2003
net.inet.ip.alias.sctp.holddown_timer: 0
net.inet.ip.alias.sctp.shutdown_timer: 15
net.inet.ip.alias.sctp.up_timer: 300
net.inet.ip.alias.sctp.init_timer: 15
net.inet.ip.alias.sctp.log_level: 0
net.inet.icmp.maskrepl: 0
net.inet.icmp.icmplim: 200
net.inet.icmp.bmcastecho: 0
net.inet.icmp.quotelen: 8
net.inet.icmp.reply_from_interface: 0
net.inet.icmp.reply_src:
net.inet.icmp.log_redirect: 0
net.inet.icmp.drop_redirect: 0
net.inet.icmp.maskfake: 0
net.inet.icmp.icmplim_output: 1
net.inet.igmp.gsrdelay: 10
net.inet.igmp.default_version: 3
net.inet.igmp.legacysupp: 0
net.inet.igmp.v2enable: 1
net.inet.igmp.v1enable: 1
net.inet.igmp.sendlocal: 1
net.inet.igmp.sendra: 1
net.inet.igmp.recvifkludge: 1
net.inet.tcp.rfc1323: 1
net.inet.tcp.mssdflt: 536
net.inet.tcp.keepidle: 7200000
net.inet.tcp.keepintvl: 75000
net.inet.tcp.sendspace: 65535
net.inet.tcp.recvspace: 65535
net.inet.tcp.keepinit: 75000
net.inet.tcp.delacktime: 100
net.inet.tcp.cc.available: newreno
net.inet.tcp.cc.algorithm: newreno
net.inet.tcp.hostcache.purge: 0
net.inet.tcp.hostcache.prune: 300
net.inet.tcp.hostcache.expire: 3600
net.inet.tcp.hostcache.count: 0
net.inet.tcp.hostcache.bucketlimit: 30
net.inet.tcp.hostcache.hashsize: 512
net.inet.tcp.hostcache.cachelimit: 15360
net.inet.tcp.recvbuf_max: 2097152
net.inet.tcp.recvbuf_inc: 16384
net.inet.tcp.recvbuf_auto: 1
net.inet.tcp.insecure_rst: 0
net.inet.tcp.ecn.maxretries: 1
net.inet.tcp.ecn.enable: 0
net.inet.tcp.abc_l_var: 2
net.inet.tcp.rfc3465: 1
net.inet.tcp.rfc3390: 1
net.inet.tcp.rfc3042: 1
net.inet.tcp.drop_synfin: 0
net.inet.tcp.delayed_ack: 1
net.inet.tcp.blackhole: 0
net.inet.tcp.log_in_vain: 0
net.inet.tcp.sendbuf_max: 2097152
net.inet.tcp.sendbuf_inc: 8192
net.inet.tcp.sendbuf_auto: 1
net.inet.tcp.tso: 1
net.inet.tcp.local_slowstart_flightsize: 4
net.inet.tcp.slowstart_flightsize: 1
net.inet.tcp.path_mtu_discovery: 1
net.inet.tcp.reass.overflows: 0
net.inet.tcp.reass.cursegments: 24
net.inet.tcp.reass.maxsegments: 12844
net.inet.tcp.sack.globalholes: 0
net.inet.tcp.sack.globalmaxholes: 65536
net.inet.tcp.sack.maxholes: 128
net.inet.tcp.sack.enable: 1
net.inet.tcp.soreceive_stream: 0
net.inet.tcp.isn_reseed_interval: 0
net.inet.tcp.icmp_may_rst: 1
net.inet.tcp.pcbcount: 17
net.inet.tcp.do_tcpdrain: 1
net.inet.tcp.tcbhashsize: 32768
net.inet.tcp.log_debug: 0
net.inet.tcp.minmss: 216
net.inet.tcp.syncache.rst_on_sock_fail: 1
net.inet.tcp.syncache.rexmtlimit: 3
net.inet.tcp.syncache.hashsize: 512
net.inet.tcp.syncache.count: 0
net.inet.tcp.syncache.cachelimit: 15360
net.inet.tcp.syncache.bucketlimit: 30
net.inet.tcp.syncookies_only: 0
net.inet.tcp.syncookies: 1
net.inet.tcp.timer_race: 0
net.inet.tcp.per_cpu_timers: 0
net.inet.tcp.keepcnt: 8
net.inet.tcp.finwait2_timeout: 60000
net.inet.tcp.fast_finwait2_recycle: 0
net.inet.tcp.always_keepalive: 1
net.inet.tcp.rexmit_slop: 200
net.inet.tcp.rexmit_min: 30
net.inet.tcp.msl: 30000
net.inet.tcp.nolocaltimewait: 0
net.inet.tcp.maxtcptw: 27767
net.inet.udp.checksum: 1
net.inet.udp.maxdgram: 9216
net.inet.udp.recvspace: 41600
net.inet.udp.blackhole: 0
net.inet.udp.log_in_vain: 0
net.inet.sctp.blackhole: 0
net.inet.sctp.use_dcccecn: 1
net.inet.sctp.rttvar_steady_step: 20
net.inet.sctp.rttvar_eqret: 0
net.inet.sctp.rttvar_rtt: 5
net.inet.sctp.rttvar_bw: 4
net.inet.sctp.initial_cwnd: 3
net.inet.sctp.buffer_splitting: 0
net.inet.sctp.vtag_time_wait: 60
net.inet.sctp.nat_friendly_init: 0
net.inet.sctp.enable_sack_immediately: 0
net.inet.sctp.udp_tunneling_port: 0
net.inet.sctp.mobility_fasthandoff: 0
net.inet.sctp.mobility_base: 0
net.inet.sctp.default_frag_interleave: 1
net.inet.sctp.default_ss_module: 0
net.inet.sctp.default_cc_module: 0
net.inet.sctp.log_level: 0
net.inet.sctp.max_retran_chunk: 30
net.inet.sctp.min_residual: 1452
net.inet.sctp.strict_data_order: 0
net.inet.sctp.abort_at_limit: 0
net.inet.sctp.hb_max_burst: 4
net.inet.sctp.do_sctp_drain: 1
net.inet.sctp.max_chained_mbufs: 5
net.inet.sctp.abc_l_var: 2
net.inet.sctp.nat_friendly: 1
net.inet.sctp.auth_disable: 0
net.inet.sctp.asconf_auth_nochk: 0
net.inet.sctp.cwnd_maxburst: 1
net.inet.sctp.cmt_use_dac: 0
net.inet.sctp.nr_sack_on_off: 0
net.inet.sctp.cmt_on_off: 0
net.inet.sctp.outgoing_streams: 10
net.inet.sctp.add_more_on_output: 1452
net.inet.sctp.path_pf_threshold: 65535
net.inet.sctp.path_rtx_max: 5
net.inet.sctp.assoc_rtx_max: 10
net.inet.sctp.init_rtx_max: 8
net.inet.sctp.valid_cookie_life: 60000
net.inet.sctp.init_rto_max: 60000
net.inet.sctp.rto_initial: 3000
net.inet.sctp.rto_min: 1000
net.inet.sctp.rto_max: 60000
net.inet.sctp.secret_lifetime: 3600
net.inet.sctp.shutdown_guard_time: 180
net.inet.sctp.pmtu_raise_time: 600
net.inet.sctp.heartbeat_interval: 30000
net.inet.sctp.asoc_resource: 10
net.inet.sctp.sys_resource: 1000
net.inet.sctp.sack_freq: 2
net.inet.sctp.delayed_sack_time: 200
net.inet.sctp.chunkscale: 10
net.inet.sctp.min_split_point: 2904
net.inet.sctp.pcbhashsize: 256
net.inet.sctp.tcbhashsize: 1024
net.inet.sctp.maxchunks: 3200
net.inet.sctp.fr_maxburst: 4
net.inet.sctp.maxburst: 4
net.inet.sctp.peer_chkoh: 256
net.inet.sctp.strict_sacks: 1
net.inet.sctp.ecn_enable: 1
net.inet.sctp.auto_asconf: 1
net.inet.sctp.recvspace: 1864135
net.inet.sctp.sendspace: 1864135
net.inet.raw.recvspace: 16384
net.inet.raw.maxdgram: 16384
net.inet.accf.unloadable: 0
net.link.generic.system.ifcount: 12
net.link.ether.inet.log_arp_permanent_modify: 1
net.link.ether.inet.log_arp_movements: 1
net.link.ether.inet.log_arp_wrong_iface: 1
net.link.ether.inet.maxhold: 1
net.link.ether.inet.wait: 20
net.link.ether.inet.proxyall: 0
net.link.ether.inet.useloopback: 1
net.link.ether.inet.maxtries: 5
net.link.ether.inet.max_age: 1200
net.link.ether.ipfw: 0
net.link.vlan.soft_pad: 0
net.link.gif.parallel_tunnels: 0
net.link.gif.max_nesting: 1
net.link.log_link_state_change: 1
net.link.ifqmaxlen: 10240
net.link.tun.devfs_cloning: 1
net.bpf.zerocopy_enable: 0
net.bpf.maxinsns: 512
net.bpf.maxbufsize: 524288
net.bpf.bufsize: 4096

Содержание
Сообщения в этом обсуждении
"Неторопливый проиизводительный igb..."
Отправлено install , 15-Апр-14 10:03 
  Вдогонку.

  Подобное поведение замечено только с tcp-протоколами. По udp потоки льются без задержек/

"Неторопливый проиизводительный igb..."
Отправлено izyk , 15-Апр-14 10:44 
>   Вдогонку.
>   Подобное поведение замечено только с tcp-протоколами. По udp потоки льются
> без задержек/

MTU?

"Неторопливый проиизводительный igb..."
Отправлено install , 15-Апр-14 15:26 
>>   Вдогонку.
>>   Подобное поведение замечено только с tcp-протоколами. По udp потоки льются
>> без задержек/
> MTU?

MTU на обоих интерфейсах 1500.

ifconfig -m

igb0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500      
        options=400b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
        capabilities=505fb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,POLLI
NG,VLAN_HWCSUM,TSO4,LRO,VLAN_HWFILTER,VLAN_HWTSO>                              
        ether 00:30:48:c9:25:a6                                                
        inet 1.1.1.138 netmask 0xfffffffc broadcast 81.89.115.139          
         media: Ethernet 100baseTX <full-duplex>                                
        status: active                                                          
        supported media:                                                        
                media autoselect                                                
                media 1000baseT                                                
                media 1000baseT mediaopt full-duplex                            
                media 100baseTX mediaopt full-duplex                            
                media 100baseTX                                                
                media 10baseT/UTP mediaopt full-duplex                          
                media 10baseT/UTP                                              
igb1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500      
        options=400b8<VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
        capabilities=505fb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,POLLI
NG,VLAN_HWCSUM,TSO4,LRO,VLAN_HWFILTER,VLAN_HWTSO>                              
        ether 00:30:48:c9:25:a7                                                
        inet 2.2.2.209 netmask 0xfffffff8 broadcast 81.89.114.215          
        media: Ethernet 100baseTX <full-duplex>                                
        status: active                                                          
        supported media:                                                        
                media autoselect                                                
                media 1000baseT                                                
                media 1000baseT mediaopt full-duplex                            
                media 100baseTX mediaopt full-duplex                            
                media 100baseTX                                                
                media 10baseT/UTP mediaopt full-duplex                          
                media 10baseT/UTP                                              

"Неторопливый проиизводительный igb..."
Отправлено install , 15-Апр-14 15:32 
  Да, реальные адреса 81.89.115.138 и 81.89.114.209. Ростелеком.
"Неторопливый проиизводительный igb..."
Отправлено izyk , 15-Апр-14 10:51 
>   Вдогонку.
>   Подобное поведение замечено только с tcp-протоколами. По udp потоки льются
> без задержек/

Jumbo frame?

"Неторопливый проиизводительный igb..."
Отправлено install , 15-Апр-14 15:29 
>>   Вдогонку.
>>   Подобное поведение замечено только с tcp-протоколами. По udp потоки льются
>> без задержек/
> Jumbo frame?

sysctl -a

kern.ipc.nmbjumbo16: 262144
kern.ipc.nmbjumbo9: 262144  
kern.ipc.nmbjumbop: 262144  

netstat -m

0/135/135/262144 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/262144 9k jumbo clusters in use (current/cache/total/max)
0/0/0/262144 16k jumbo clusters in use (current/cache/total/max)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)

"Неторопливый проиизводительный igb..."
Отправлено izyk , 15-Апр-14 18:06 
FreeBsd не пользуюсь,
но смущает:

options=400b8<...JUMBO_MTU...>

Support for Jumbo Frames is provided via the interface MTU    setting.
     Selecting an MTU larger than 1500 bytes with the ifconfig(8) utility con-
     figures the adapter to receive and    transmit Jumbo Frames.    The maximum
     MTU size for Jumbo    Frames is 9216.

попробуйте mtu=1400.

"Неторопливый проиизводительный igb..."
Отправлено install , 15-Апр-14 15:38 
  И еще: процессор Xeon  2.00GHz (2000.11-MHz 686-class CPU), 8 ядер.

  Все упирается именно в igb. Ставлю внешние rl, fxp - проблемы пропадают.

"Неторопливый проиизводительный igb..."
Отправлено Аноним , 16-Апр-14 05:02 
>   Столкнулся со странностью работы igb.
>   Есть система FreeBSD 9.1-RELEASE,
> ifconfig_igb0="inet 1.1.1.138 netmask 255.255.255.252 media 100baseTX mediaopt full-duplex -rxcsum -txcsum -lro -tso up"

Ых ... давно я бзюхи не накручивал :(

В общем доказать не смогу, но самый чувствительный прибор чует что надо попробовать без вот этой красоты:
-rxcsum -txcsum -lro -tso
... был случай в соседней галактике ... или то пивнушка была? Не суть, суть за углом :)

"Неторопливый проиизводительный igb..."
Отправлено install , 16-Апр-14 08:54 
>>   Столкнулся со странностью работы igb.
>>   Есть система FreeBSD 9.1-RELEASE,
>> ifconfig_igb0="inet 1.1.1.138 netmask 255.255.255.252 media 100baseTX mediaopt full-duplex -rxcsum -txcsum -lro -tso up"
> Ых ... давно я бзюхи не накручивал :(
> В общем доказать не смогу, но самый чувствительный прибор чует что надо
> попробовать без вот этой красоты:
> -rxcsum -txcsum -lro -tso
> ... был случай в соседней галактике ... или то пивнушка была? Не
> суть, суть за углом :)

  Везде написано, что надо отключать.

  Обнаружилась еще одна странность: скорость приема на машину через igb в 10 раз ниже скорости отдачи.

"Неторопливый проиизводительный igb..."
Отправлено lavr , 16-Апр-14 12:19 
>   Здравствуйте уважаемые.
>   Столкнулся со странностью работы igb.

у Вас не тюнинг, а бездумно установленные и задранные параметры, polling
зачем-то и HZ=4000... остальное и вовсе...

вот Вам ссылка - изучайте, там много полезного:

http://dadv.livejournal.com/139170.html