URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 1474
[ Назад ]
Исходное сообщение
"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 15-Сен-14 15:54 
Доброго времени суток, вот уже пару месяцев борюсь с проблемой и пока она побеждает.
Ситация такая, есть циска 2821, клиентов порядка 30, есть своя АС, некоторым клиентам выдаются реальные ИП, некоторым серая подсеть, непонятно с чего, но вот уже месяца 2 назад началась проблема, пингую циску, предположим -192.168.0.1,

Обмен пакетами с 192.168.0.1 по 32 байта данных:
Ответ от 192.168.0.1: число байт=32 время=1027мс TTL=255
Превышен интервал ожидания для запроса.
Превышен интервал ожидания для запроса.
Ответ от 192.168.0.1: число байт=32 время=261мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=368мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=547мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=513мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=1000мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=1342мс TTL=255
Превышен интервал ожидания для запроса.
Ответ от 192.168.0.1: число байт=32 время=378мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=5мс TTL=255
Ответ от 192.168.0.1: число байт=32 время=1163мс TTL=255
Превышен интервал ожидания для запроса.
Ответ от 192.168.0.11: число байт=32 время=714мс TTL=255
Превышен интервал ожидания для запроса.


и тд, зависит от времени суток и, как я предполагаю, от загрузки канала. При этом загрузка процессора на циске 99%, на команды отзываться перестает и скорость интернета по спидтесту падает до 1Мб, интернет работает с лагами, задержками.

CPU utilization for five seconds: 99%/97%; one minute: 97%; five minutes: 99%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
  80   622372460 446487874       1393  1.07%  1.40%  1.76%   0 IP Input
226    40643144  32063301       1267  0.33%  0.30%  0.29%   0 IP NAT Ager
231    23414436 446215221         52  0.16%  0.19%  0.16%   0 PPP manager
  40    27969388  14629535       1911  0.16%  0.16%  0.16%   0 Per-Second Jobs
  17    65571068 139191994        471  0.16%  0.18%  0.16%   0 ARP Input
   2     8507188   2921241       2912  0.08%  0.04%  0.06%   0 Load Meter
242    11636356 441419225         26  0.08%  0.09%  0.08%   0 RADIUS
236     5732944   6813177        841  0.08%  0.02%  0.01%   0 IP SNMP
232    13083836 446209825         29  0.08%  0.08%  0.08%   0 PPP Events

Интернет пользователям раздается через каталисты  -
#show ver
Cisco Internetwork Operating System Software
IOS (tm) C2950 Software (C2950-I6K2L2Q4-M), Version 12.1(22)EA6, RELEASE SOFTWARE (fc1)

Как видно что-то забивает всю сетку, если разорвать кольцо, отключив каталисты, сразу пинг 1мс, все гуд. Значит кто то из пользователей делает гадость забивая канал? На портах прописал -
switchport access vlan xxx
switchport mode access
storm-control broadcast level 5.00 1.00
storm-control multicast level 5.00 1.00
storm-control action shutdown
spanning-tree portfast
spanning-tree bpdufilter enable

Шторм контроль не помогает.
Графики загрузки канала в пределах нормы, у самых "больших" клиентов прет исходящий трафик порядка 10-15мбит.
Уже пробовал по 1 отключать клиентов, вроде находил фирмы у которых потом обнаруживались трояны, которые генерировали исходящий трафик, день-2 все было ок, потом все начиналось снова, но у этих клиентов уже все было норм с трафиком, значит кто-то другой нагружает сеть. Куда смотреть, что копать? Очень прошу помощи!

Основная циска -
#show ver
Cisco IOS Software, 2800 Software (C2800NM-ADVENTERPRISEK9_IVS-M), Version 12.4(3d), RELEASE SOFTWARE (fc3)

ROM: System Bootstrap, Version 12.3(8r)T7, RELEASE SOFTWARE (fc1)

bgw uptime is 24 weeks, 1 day, 1 hour, 20 minutes
System returned to ROM by power-on
System restarted at 14:28:48 MSD Sun Mar 30 2014
System image file is "flash:c2800nm-adventerprisek9_ivs-mz.124-3d.bin"

Содержание
Сообщения в этом обсуждении
"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Merridius , 15-Сен-14 17:54 
>[оверквотинг удален]
> Очень прошу помощи!
> Основная циска -
> #show ver
> Cisco IOS Software, 2800 Software (C2800NM-ADVENTERPRISEK9_IVS-M), Version 12.4(3d),
> RELEASE SOFTWARE (fc3)
> ROM: System Bootstrap, Version 12.3(8r)T7, RELEASE SOFTWARE (fc1)
> bgw uptime is 24 weeks, 1 day, 1 hour, 20 minutes
> System returned to ROM by power-on
> System restarted at 14:28:48 MSD Sun Mar 30 2014
> System image file is "flash:c2800nm-adventerprisek9_ivs-mz.124-3d.bin"

Паразитный трафик вылавливайте.
PPS какой и как меняется при загрузке в полку?
NTP или DNS есть в сети (в том числе на самой циске)?

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 16-Сен-14 07:39 
> PPS какой и как меняется при загрузке в полку?

Простите PPS это что?


"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено aurved , 16-Сен-14 10:02 
packet per second -- если пакетов превышает возможности роутера, то и загрузка проца в потолок...
например это может быть мю-торрент, если у него включен режим utp (много-много мелких пакетиков типа для лучшей утилизации-ипользования канала в инет на всю катушку), слабебенькие маршрутизаторы могут и захлебнуться от него...

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено ShyLion , 16-Сен-14 06:57 
Где конфиг роутера? Телепаты в отпуске.
Полиси роутинг используется?
2821 170 kpps на CEF, и 11 kpps на process switching. NAT ни разу не аппаратный, если я ничего не путаю.
Какова общая нагрузка ?
"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 16-Сен-14 07:34 
hostname cisco

boot-start-marker
boot-end-marker

aaa new-model

aaa authentication ppp default group radius
aaa authorization network default group radius

aaa session-id common
!
esource policy

clock timezone MSK 3
clock summer-time MSD recurring last Sun Mar 2:00 last Sun Oct 3:00
no network-clock-participate wic 2
no network-clock-participate wic 3
ip subnet-zero
no ip source-route


ip cef
ip dhcp database dhcp-database
no ip dhcp use vrf connected

ip dhcp pool common
   network 10.0.0.0 255.0.0.0
   dns-server 94.199.0.2 94.199.0.8
!
ip dhcp pool vlan020
   network 10.0.20.0 255.255.255.0
   default-router 10.0.20.1
!

\\ОПИСАНИЕ DHCP пулов


!
ip flow-egress input-interface
no ip bootp server
no ip domain lookup

ip name-server xx.xx.xx.xx
ip name-server xx.xx.xx.xx
ip ssh time-out 5
ip ssh authentication-retries 1
ip ssh logging events
ip rcmd rsh-enable
vpdn enable
!

vpdn-group 1
Default L2TP VPDN group
Default PPTP VPDN group
accept-dialin
  protocol any
  virtual-template 1
!

interface Loopback1
ip address xx.xx.xx.xx xx.xx.xx.xx
ip nat outside
ip virtual-reassembly
!

interface GigabitEthernet0/0
no ip address
duplex auto
speed auto
!
interface GigabitEthernet0/0.1
encapsulation dot1Q 1 native
ip address 10.1.1.1 255.255.255.0
ip flow ingress
ip flow egress
ip nat inside
ip virtual-reassembly
no snmp trap link-status
no cdp enable
!
interface GigabitEthernet0/0.2
encapsulation dot1Q 2
ip address xx.xx.xx.xx 255.255.255.0
ip access-group local in
ip flow ingress
ip flow egress
ip nat inside
ip virtual-reassembly
traffic-shape rate 2097152 393216 783462 1000
no snmp trap link-status
!
\\ОПИСАНИЕ ИНТЕРФЕЙСОВ


\\Исходящие интерфейсы
interface GigabitEthernet0/1.2
encapsulation dot1Q 12
ip address xx.xx.xx.xx xx.xx.xx.xx
ip nat outside
ip virtual-reassembly
no snmp trap link-status
no cdp enable
!
interface GigabitEthernet0/1.3
encapsulation dot1Q 6
ip address yy.yy.yy.yy xx.xx.xx.xx
ip nat outside
ip virtual-reassembly
no snmp trap link-status
no cdp enable
!
interface Serial0/2/0:0
no ip address
ip nat outside
ip virtual-reassembly
!
interface Virtual-Template1
ip unnumbered GigabitEthernet0/0.2
no ip redirects
ip local-proxy-arp
ip flow ingress
ip flow egress
ip nat inside
ip virtual-reassembly
ip mroute-cache
autodetect encapsulation ppp
peer default ip address dhcp
no keepalive
ppp encrypt mppe auto
ppp authentication ms-chap-v2 ms-chap
!
interface Async1
ip unnumbered GigabitEthernet0/0.2
ip flow ingress
ip flow egress
ip nat inside
ip virtual-reassembly
encapsulation ppp
async mode interactive
peer default ip address dhcp
ppp authentication ms-chap-v2 ms-chap chap
!
router bgp xxxxx
bgp router-id xx.xx.xx.xx
bgp log-neighbor-changes
neighbor xx.xx.xx.xx remote-as 3216
neighbor yy.yy.yy.yy remote-as 8641
neighbor zz.zz.zz.zz remote-as 8402
redistribute connected route-map redistribute-networks
distribute-list 1 out
no auto-summary
no synchronization
aggregate-address xx.xx.xx.xx xx.xx.xx.xx summary-only
maximum-paths 3
no synchronization
exit-address-family

ip classless
ip route 0.0.0.0 0.0.0.0 xx.xx.xx.xx
ip route 0.0.0.0 0.0.0.0 yy.yy.yy.yy
ip route 0.0.0.0 0.0.0.0 zz.zz.zz.zz

!
ip bgp-community new-format
ip flow-export version 5
ip flow-export destination xx.xx.xx.xx 7223
!
no ip http server
no ip http secure-server
ip nat pool p-vn16-i191 xx.xx.xx.1 xx.xx.xx.1 netmask 255.255.255.240
ip nat pool p-vn15-i190 xx.xx.xx.2 xx.xx.xx.2 netmask 255.255.255.240
ip nat pool p-vn14-i189 xx.xx.xx.3 xx.xx.xx.3netmask 255.255.255.240

ip nat inside source list 2034 pool p-vn14-i189 overload
ip nat inside source list 2035 pool p-vn15-i190 overload
ip nat inside source list 2036 pool p-vn16-i191 overload

ip nat inside source static tcp 10.4.11.200 21 94.199.2.177 21 extendable
ip nat inside source static tcp 10.4.11.200 80 94.199.2.177 80 extendable
ip nat inside source static tcp 10.4.11.200 434 94.199.2.177 434 extendable
ip nat inside source static tcp 10.4.11.200 443 94.199.2.177 443 extendable

ip access-list standard snmp-agents
permit xx.xx.xx.xx 0.0.0.15
!
ip access-list extended acl-natted-addresses
permit ip any 10.0.0.0 0.255.255.255
permit ip any 192.168.0.0 0.0.0.255

!
logging trap debugging
logging facility local6
logging xx.xx.xx.xx


access-list 2034 permit ip 10.2.16.0 0.0.0.255 any
access-list 2035 permit ip 10.2.17.0 0.0.0.255 any

\\Описание аксес листов

snmp-server community public RO snmp-agents
snmp-server community private RW snmp-agents
no cdp run
!


control-plane

gatekeeper
shutdown
!
!
line con 0
privilege level 15
line aux 0
modem Dialin
modem autoconfigure type usr_sportster
autoselect ppp
speed 2400
flowcontrol hardware
line vty 0 4
access-class vtyaccess in
exec-timeout 0 0
privilege level 15
transport input ssh
line vty 5 15
access-class vtyaccess in
exec-timeout 0 0
privilege level 15
transport input ssh
!
scheduler allocate 20000 1000
ntp clock-period 17179881

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 16-Сен-14 07:37 
DNS в сети есть, на циске только  NTP.
Как вылавливать? можно ли как то блокировать этот трафик средствами циски?
"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 16-Сен-14 07:51 
И судя по всему трафик бегает не внутри сетки, а наружу, если отключить исходящие интерфейсы, то нагрузка на проц и пинг сразу падают.
"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено aurved , 16-Сен-14 10:05 
а канал в инет какой? может просто роутер слишком дохлый для данной задачи уже стал?


"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 16-Сен-14 10:28 
> а канал в инет какой? может просто роутер слишком дохлый для данной
> задачи уже стал?

да в том то и дело что ничего не менялось. работало все 5 лет, а тут раз и нате. новых клиентов только подключали, на них и грешу.

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено aurved , 16-Сен-14 10:07 
на мелких пакетах этот роутер выдает 61 Мбит/c, на средних и больших конечгл же больше может


"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Andrey , 16-Сен-14 10:31 
> на мелких пакетах этот роутер выдает 61 Мбит/c, на средних и больших
> конечгл же больше может

Да ой? С натом, bgp, pptp, l2tp, блекджеком и девочками?
Документ "Cisco Router Performance" - это для сферического маршрутизатора в вакууме.

У топикстартера настроен netflow - весь трафик можно увидеть там. Если кто-то засоряеет процессор мелкими пакетами там можно увидеть.
Хотя железку пора менять на ISR G2 или разносить сервисы по разным железкам. PPTP,L2TP - на одну железку, NAT на другую и т.д.  

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 16-Сен-14 15:34 
на Gi0/0 и Gi0/1 транковых портах, которыми маршрутизатор связывается с 3560 циской постоянно лезут ошибки.
Сбросил счетчики в 12 утра, сейчас уже 140к ошибок -

     140490 input errors, 0 CRC, 0 frame, 0 overrun, 140495 ignored

Завтра попробую перекинуть все на резервную циску и посмотреть будет ли такая же ситауция или нет.

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Kivanov , 17-Сен-14 16:48 
Поменял циску, ошибки лезут на порту но не в таком количестве, пиковая нагрузка не больше 50%, инет летает. Походу поджарилась старая железка. Всем спасибо кто принимал участие)

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Andrey , 17-Сен-14 21:58 
> ошибки лезут на порту но не в таком количестве

"поиграйте" с speed/duplex на порту. Может помочь.

"Проблема с циской 2821. Загрузка процессора 99%"
Отправлено Фтвкун , 25-Сен-14 20:23 
>> ошибки лезут на порту но не в таком количестве
> "поиграйте" с speed/duplex на порту. Может помочь.

да, поставьте жестко на порту с обоих сторон полный дуплекс и скорость - принудительно - помогает иногда)