https://www.opennet.ru/openforum/vsluhforumID1/81768.html Здравствуйте!<br><br>На серверах (7 Штук) работает altlinux master 2.4. Естественно от самого мастера там мало что осталось (большинство пакетов обновлено, ядро собрано 2.4.36). <br>Несколько недель все работало нормально. Теперь каждую ночь в 4:02 идет зависание двух серверов.<br>И вот такие чудные логи:<br><br>Aug 31 04:02:05 vkufs1_11 pam_tcb[9829]: su: Session opened for cacheman by (uid=0)<br>Aug 31 04:02:02 vkufs1_11 syslogd: syslogd shutdown succeeded <br>Aug 31 04:02:03 vkufs1_11 last message repeated 3 times<br>Aug 31 04:02:05 vkufs1_11 pam_tcb[9829]: su: Session closed for cacheman<br>Aug 31 04:02:03 vkufs1_11 syslogd: syslogd shutdown succeeded <br>Aug 31 06:02:22 vkufs1_11 syslogd 1.4.1: restart.<br>Aug 31 06:02:22 vkufs1_11 syslogd: syslogd startup succeeded<br>Aug 31 06:02:22 vkufs1_11 kernel: klogd 1.4.1, log source = /proc/kmsg started.<br>Aug 31 06:02:22 vkufs1_11 klogd: klogd startup succeeded<br>Aug 31 06:02:22 vkufs1_11 kernel: Inspecting /boot/System.map-2.4.36.arkhangel<br>Aug 31 06:02:22 vkufs1_11 kernel: Loaded 19891 https://www.opennet.ru/openforum/vsluhforumID1/81768.html#9 Sat, 25 Jul 2009 00:37:28 GMT Короче в свое время (т.е. 2 года назад) мы решили этот вопрос жестко - полной сменой модулей на которых происходило падение. Мнение всех специалистов было что дело в SCSI под-системе. То ли с контроллером что-то не так. То ли с самими хардами. Именно на 4 часа утра поставлены многие задания cron и за котороткий промежуток времени происходит резкое увеличение попыток записи/чтения (или только записи или только чтения - сейчас уже непомню) к хардам (raid массив 5 уровня). В принципе такой ситуации можно добиться и самому, если по самое небалуйся запустить тест iozone. Система может нагнуться и через пару часов и через несколько суток. В понедельник, если интересно - могу выложить полную аппаратную конфигурацию наших серверов.<br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/81768.html#8 Fri, 24 Jul 2009 07:50:07 GMT У меня возникла точно такая же проблема, в 4:02 сервер под Alt Linux Master 2.4 зависает. Началось это примерно неделю назад, вчера утром обнаружил, что он в 4:02 он перезагрузился. <br>У меня лог заканчивается строчкой:<br>pam_tcb[9829]: su: Session closed for cacheman<br>далее видимо должен перезагрузиться syslogd, но этого не происходит.<br>Сервак стоит c 2006 года, всегда работал стабильно.<br> https://www.opennet.ru/openforum/vsluhforumID1/81768.html#7 Thu, 02 Apr 2009 09:50:09 GMT Здравствуйте! Существует "нечто"))) демон-планировщик задач в UNIX-образных операционных системах, использующийся для периодического выполнения заданий в заданное время. Каждый пользователь системы имеет свой файл заданий crontab, в котором описано, в какое время и какие программы запускать от имени этого пользователя. Для редактирования файла crontab используется специальная одноименная программа crontab, позволяющая не прерывать процесс cron на время редактирования.<br> Использую Alt Linux 4.1 Desktop, я конечно верю в совпадения, но не до такой же степени. Вот строка из моего журнала: Mar 29 04:02:12 localhost su[8159]: pam_tcb(su:session): Session opened for cacheman by (uid=0).<br>Так что скорее всего Крон настроен по дефолту.<br><br> https://www.opennet.ru/openforum/vsluhforumID1/81768.html#6 Sat, 06 Sep 2008 09:09:14 GMT Спасибо всем большое... <br><br>Добился определенных результатов.<br>1. На сервере кроме ОС работает ППО (оно иногда пишет небольшие объемы информации - в час по 50-100 мб.) Поставил iozone тестироваться вместе с ППО - через 2.5 часа сервер повис. Потом через сутки опять iozone был поставлен но без ППО сервер выдержал. <br><br>2. Начал эксперементировать: работает ППО и запускаю скрипт obsec - перезагрузка системы. Работает ППО - и запускаю скрипт updatedb - система зависает. <br><br>3. Вчера вообще пипец начался: операторы по sftp копируют файлы с сервера и он стабильно перегружается.<br><br>У меня подозрения на дисковую подсистему точнее драйверы для raid массива (aacraid).<br><br>Вот распечатка lsmod:<br>Module Size Used by Not tainted<br>sg 29468 0 (autoclean)<br>sr_mod 14320 0 (autoclean)<br>cdrom 27552 0 (autoclean) [sr_mod]<br>floppy 48056 0 (autoclean)<br>usb-storage 26040 0 <br>autofs4 8532 0 (autoclea https://www.opennet.ru/openforum/vsluhforumID1/81768.html#5 Mon, 01 Sep 2008 02:57:55 GMT Вышел в ночь. Все идеально. Ни один сервер не завис. Такое впечатление, что на это появлияли прикладные программы. В пятницу начался большой обмен данными и возможно это привело к падению. Сейчас поставил iozone гоняться. Потом буду память на всякий случай проверять. <br>За любые идеи - предложения - респект... <br> https://www.opennet.ru/openforum/vsluhforumID1/81768.html#4 Sun, 31 Aug 2008 16:43:56 GMT Обратили внимание... и что?<br><br>Как выявить какой это процесс это вызывает? Учитывая что это происходит синхронно на двух несвязанных серверах я вижу что причина задачах anacron. <br>Сегодня в ночь выйду - посмотрю. Потом на одном сервере запущу iozone для тестирования нжмд. И тест памяти на всякий случай.<br>Вот кстати вывод sar:<br><br>Linux 2.4.36.arkhangel (vkufs1_11) 31.08.2008<br><br>00:01:01 CPU %user %nice %system %iowait %idle<br>00:11:01 all 1,21 0,00 0,37 0,00 98,42<br>00:21:01 all 1,03 0,00 0,24 0,00 98,73<br>00:31:01 all 1,22 0,00 0,45 0,00 98,34<br>00:41:01 all 1,10 0,00 0,22 0,00 98,68<br>00:51:01 all 1,17 0,00 0,34 0,00 98,49<br>01:01:01 all 1,12 0,00 0,24 0,00 98,64<br>01:11:01 all 1,10 0,00 0,31 0,00 98,59<br>01:21:01 all 1,23 0,00 0,36 0, https://www.opennet.ru/openforum/vsluhforumID1/81768.html#3 Sun, 31 Aug 2008 15:50:39 GMT &gt;Aug 31 04:02:01 vkufs1_11 anacron[9461]: Updated timestamp for job `cron.daily' to &gt;`2008-08-31 04:02:01'<br>&gt;Aug 31 04:02:01 vkufs1_11 exiting on signal 15<br>&gt;Aug 31 04:02:01 vkufs1_11 syslogd 1.4.1: restart.<br>&gt;Aug 31 04:02:01 vkufs1_11 syslogd: syslogd startup succeeded&gt;<br><br>вот на это надо обратить внимание... особенно на<br>&gt;Aug 31 04:02:01 vkufs1_11 exiting on signal 15 https://www.opennet.ru/openforum/vsluhforumID1/81768.html#2 Sun, 31 Aug 2008 14:14:45 GMT Незаархивированная папка /var/log на 12 мегабайт с одного сервера. Какие файлы логов Вы имеете в виду.<br><br>Вот еще немного /var/log/kernel/errors<br><br>scsi_hostadapter, errno = 2<br>Aug 30 03:59:42 vkufs1_11 kernel: ipmi_kcs: SPMI table not found.<br>Aug 30 03:59:46 vkufs1_11 kernel: ldm_validate_partition_table(): Disk read failed.<br>Aug 30 03:59:46 vkufs1_11 kernel: ldm_validate_partition_table(): Disk read failed.<br>Aug 30 04:09:15 vkufs1_11 kernel: kmod: failed to exec /sbin/modprobe -s -k scsi_hostadapter, errno = 2<br>Aug 30 04:09:15 vkufs1_11 kernel: ipmi_kcs: SPMI table not found.<br>Aug 30 04:09:19 vkufs1_11 kernel: ldm_validate_partition_table(): Disk read failed.<br>Aug 30 04:09:19 vkufs1_11 kernel: ldm_validate_partition_table(): Disk read failed.<br>Aug 30 04:45:02 vkufs1_11 kernel: kmod: failed to exec /sbin/modprobe -s -k scsi_hostadapter, errno = 2<br>Aug 30 04:45:02 vkufs1_11 kernel: ipmi_kcs: SPMI table not found.<br>Aug 30 04:45:06 vkufs1_11 kernel: ldm_validate_partition_table(): Disk read failed.<br>Aug 30 04:4 https://www.opennet.ru/openforum/vsluhforumID1/81768.html#1 Sun, 31 Aug 2008 09:41:58 GMT &gt;Aug 31 04:02:05 vkufs1_11 pam_tcb[9829]: su: Session opened for cacheman by (uid=0) <br>&gt;<br>&gt;Aug 31 04:02:02 vkufs1_11 syslogd: syslogd shutdown succeeded <br>&gt;Aug 31 04:02:03 vkufs1_11 last message repeated 3 times <br>&gt;Aug 31 04:02:05 vkufs1_11 pam_tcb[9829]: su: Session closed for cacheman <br>&gt;Aug 31 04:02:03 vkufs1_11 syslogd: syslogd shutdown succeeded <br><br>логи побольше запости, нафига постить следствие, когда ищищь причину? или что там написано не понятно? словарь в ноги и переводить до полного понимания...<br>