понедельник, 31 января 2011 г.

WARNING: mismatch_cnt is not 0 on /dev/md2

Получил сообщение с утра от Cron:
/etc/cron.weekly/99-raid-check:
WARNING: mismatch_cnt is not 0 on /dev/md2

$ cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb1[1] sda1[0]
200704 blocks [2/2] [UU]

md2 : active raid1 sdb3[1] sda3[0]
20482752 blocks [2/2] [UU]

Вроде все нормально. Погуглив немного, наткнулся на хорошую заметку http://phpsuxx.blogspot.com/2010/04/warning-mismatchcnt-is-not-0-on-devmd2.html.
Запустил
# cat /sys/block/md2/md/mismatch_cnt
3456
[root@gw ~]# echo 'repair' >/sys/block/md2/md/sync_action
[root@gw ~]# cat /sys/block/md2/md/mismatch_cnt
0
[root@gw ~]# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb1[1] sda1[0]
200704 blocks [2/2] [UU]

md2 : active raid1 sdb3[1] sda3[0]
20482752 blocks [2/2] [UU]
[>....................] resync = 1.6% (347456/20482752) finish=13.5min speed=24818K/sec
# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb1[1] sda1[0]
200704 blocks [2/2] [UU]

md2 : active raid1 sdb3[1] sda3[0]
20482752 blocks [2/2] [UU]

[root@gw ~]# cat /sys/block/md2/md/mismatch_cnt
0

Если не помогает 'repair' и mismatch_cnt=XXXX, то можно попробовать
[root@gw ~]# echo 'check' >/sys/block/md2/md/sync_action

суббота, 29 января 2011 г.

Обновление коммутаторов Nortel 5530. Некоторые полезные команды.

Собственно, сегодня в 6 утра приехал на работу, чтоб обновить коммутаторы Nortel 5530. Вчера подготовил 2 компьютера, подключил консольными кабелями к ядерным коммутаторам, сами компы подключил в коммутатор, кабель от которого идет в отдельный кабинет (в серверной прохладно очень). Подключился по RDP к данным компам, открыл Putty, настроил консольное подключение (9600,N,1,N). Появилось приглашение:
Enter Ctrl-Y to begin.

  ***************************************************************
  *** Ethernet Routing Switch 5530-24TFD                      ***
  *** Nortel                                                  ***
  *** Copyright (c) 1996-2005,  All Rights Reserved           ***
  *** BOSS 4.2                                                ***
  *** HW:02       FW:4.2.0.11  SW:v4.2.0.002                  ***
  ***************************************************************

Процесс обновления никак не отличается от обновления коммутаторов Nortel 5510, описанного ранее, разве что попробовал обновлять с USB-диска. Обновление с USB реально быстрее, только надо помнить, что файловая система на флешке должна быть FAT16. Важно: перед обновлением я расстэкировал коммутаторы (убрал специальные кабеля), поскольку это повышает шансы выжить хотя бы одному коммутатору. Хотя, справедливости ради, хочется сказать о полезной функции auto-replacement-image, включеной по умолчанию на коммутаторах 5000 серии. С помощью данной функции нужно обновлять только прошивку base (базового) коммутатора, далее прошивка последовательно с перезагрузкой обновится на других коммутаторах, входящих в стэк. Но, вернемся к обновлению. Далее последовательно один за другим стал обновлять коммутаторы - сначала на одном прошил версию 5.0, потом на другом и т.д.
В итоге получилось после обновления появилось приглашение:

Enter Ctrl-Y to begin.

  ***************************************************************
  *** Ethernet Routing Switch 5530-24TFD                      ***
  *** Avaya                                                   ***
  *** Copyright (c) 1996-2010,  All Rights Reserved           ***
  *** BOSS 6.0 SSH                                            ***
  *** HW:02       FW:6.0.0.10  SW:v6.2.1.003                  ***
  ***************************************************************

Теперь собственно полезные команды (все из документации, ничего нового супер секретного нет):

Лицензия для коммутаторов Nortel генерируется на основе MAC-адреса(сов) (до 1000).
copy tftp license TFTP_IP FILENAME — копирует лицензию с tftp-сервера на коммутатор
show license all — показать все лицензии

Настройка паролей для пользователей с правами read-only | read-write (с версии 6.1 можно создавать пользователей и пароли)
cli password {read-only | read-write} PASSWORD

Разрешение/запрещение паролей (пароли на web/telnet связаны и разрешение/запрещение паролей для одного разрешает/запрещает для другого)
cli password {telnet | serial} {none | local| radius | tacacs}

Обновление прошивки коммутатора:

Требования:
  • настроить IP-адрес для коммутатора
  • выбрать способ обновления (TFTP-сервер или USB-flash)
  • read-write доступ
download [address <IP>] {image <image-name> | image-if-newer <image-name> | diag <image-name> | poe_module_image <image-name>} [no-reset] [usb]
no-reset — заставляет коммутатор НЕ перегружаться после обновления
usb — образ с обновлениями считывается с usb

В процессе обновления скачивается новый образ, удаляется содержимое flash-памяти, копируется новый образ в flash-память.

Сохранение текущего конфигурационного файла
show running-config
copy running-config {tftp | (usb) [u2]} address IP_TFTP filename FILENAME
copy tftp config — восстанавливает конфигурационный файл

Загрузка конфигурационного файла по сети
show config-network
configure network load-in-boot {disable | use-bootp | use-config} address IP_TFTP filename FILE

Восстановление заводских настроек:
в режиме конфигурации - restore factory-default [-y]

Использование кнопки User Interface (UI)
  • установить юнит базовым/не базовым
  • перегрузить стэк/юнит
  • установить адрес по умолчанию
  • загрузить новый образ с usb (имя должно быть 55xx.img)
  • загрузить конфигурационный файл с usb (ascii_cfg_55xx)
Enterprise Device Manager (c версии 6.2) заменил Java-based Device Manager и Web-интерфейс. EDM представляет собой Web-интерфейс.

четверг, 27 января 2011 г.

Обновление прошивок на коммутаторе Nortel 5510-24T.

Сегодня дошли руки обновить прошивки на коммутаторе Nortel 5510-24T. Это обновление было тренировкой  перед обновлением прошивок коммутаторов Nortel 5530-24TFD, которые стоят в ядре сети. Так как делал в первый раз, пришлось почитать много документации с сайта support.nortel.com (avaya.com). Первая страшная задача была определиться что есть и что надо. Прошивка на коммутаторе с момента покупки в 2004-2005 году не менялась  и была такой - Ver: HW:05 FW:1.0.0.16 SW:v3.0.1.00. На сайте avaya.com (компании, которая не так давно купила Nortel) лежит прошивка с версией 6.2.1, но достать ее просто так, без сервисного контракта не получится. Поскольку прошивок в общем доступе нет - пришлось обращаться к знакомым постащикам "железа", которые и прислали выбранные версии прошивок.
Что за HW, FW, SW? Для начала немного истории.
BoSS — BayStack operation System Software. Avaya Ethernet Routing Switch 5510-24T при рождении (1999 г. насколько я помню) назывался BayStack 5510. Потом BayStack купил Nortel и он долгое время назывался Nortel Baystack 5510, потом короткое время назывался Nortel Passport 5510, потом Nortel Ethernet Routing Switch 5510. Потом корпоративное подразделение Nortel купила Avaya и коммутатор стал называться Avaya Ethernet Routing Switch 5510.
Hint: терминология и архитектура не поменялась и даже сейчас можно в прошивке найти атавизмы вроде упоминания BoSS
Софт для всей серии 55х0/56х0 одинаков, было единственное различие для самой первой версии софта для ERS5600.
HW — версия аппаратной платформы, для пользователя - ни на что не влияет. Например, некоторые HW versions производились на разных заводах.
Софт состоит из двух частей: диагностический софт (diagnostic image, загружается первым, в имени файла присутствует буквы diag) и основной софт (agent image).
Основной софт бывает в двух вариантах: secure agent image и просто agent image.
Насколько я помню процесс запуска ERS5500, там сначала получает управление flash bootstrap loader (записанный во flash, и его стереть невозможно, если специально не стараться), потом diagnostic image (даёт свой вывод на консоль), потом если всё ok с POST (самодиагностикой), потом уже основной софт со своим выводом на консоль.
Соответственно нужно апгрейдить (например, по TFTP) сначала diagnostic image, потом (secure) agent image, потом перезагружаться.

Теперь о лицензии. Лицензия, кстати, появилась только в 5.0 (advanced license включала функциональность IPFIX, OSPF, ECMP, SMLT).
Если у Вас её нет, то у Вас не появится после апгрейдов SMLT и прочие вкусности.
Рекомендуемый путь - 3.x -> 4.0 -> 5.0 -> 5.1 -> 6.0 -> 6.1 -> 6.2 -> 6.2.1
Кстати, пришлось опрашивать специалистов из Avaya (спасибо Александру Андриашевичу), так как в документации уж очень хитро описывается смена версий.
После каждой смены софта рекомендуется зайти в privileged mode (#) и пересохранить конфигурацию.
Если конфигурация не очень сложная (например, нет километровых access lists и т.п.) - можно после установки финальной версии софта стереть конфиг и заново отконфигурировать свитч.

Теперь о процессе обновления:
- Поднимаем Tftp-сервер на каком-то/своем компьютере (например, yum install tftp-server)
- Подключаем консольный кабель
- Настраиваем подключение (9600,N,1,8)
- приветствие
Enter Ctrl-Y to begin.

  ***********************************************************
  * BayStack 5510-24T                                                        *
  * Nortel Networks                                                            *
  * Copyright (c) 1996-2003, All Rights Reserved                 *
  * BoSS 3.0                                                                      *
  * Ver:  HW:05       FW:1.0.0.16  SW:v3.0.1.00             *
  ***********************************************************
- Нажимаем Ctrl-Y
- переходим в привилегированный режим enable
- download address TFTP_SRV diag nortel/diag.bin [no-reset]
- download address TFTP_SRV image nortel/5xxx.img
Здесь хочется сделать ремарку. В директорию nortel на tftp-сервере последовательно копировал/переименовывал файлы с diagnostic image и agent image в соот. diag.bin и 5xxx.img для каждой итерации (т.е. скопировал файлы для обновления до версии 4.0, переименовал соответственно, после обновления удалил и т.д. для последующих обновлений)
С версии 5.0 появилась опция в команде download - no-reset, которая позволяет НЕ перегружать коммутатор после обновления.
С ее помощью можно сократить время обновления прошивок. Я обновлял diagnostic image с этой опцией (no-reset), затем agent image, после обновления шла перезагрузка с новыми прошивками (и diag, и agent).

Обновление заняло 40 - 45 минут, включая все перепрошивки, перезагрузки. В конце концов получаем приглашение:

Enter Ctrl-Y to begin.

  ***************************************************************
  *** Ethernet Routing Switch 5510-24T                        ***
  *** Avaya                                                   ***
  *** Copyright (c) 1996-2010,  All Rights Reserved           ***
  *** BOSS 6.0 SSH                                            ***
  *** HW:05       FW:6.0.0.10  SW:v6.2.1.003                  ***
  ***************************************************************

То, что нужно. Об обновлении стэка коммутаторов 5530 расскажу позже (как сделаю обновление).

воскресенье, 16 января 2011 г.

Обновление RDAC на сервере SunFire X4450

Субботний вечер. Сижу дома, никого не трогаю. Звонит ИТ-директор с фразой "все пропало, шеф". Хорошее начало. Оказывается DBA увидел в /var/log/messages на сервере записи типа: "MCE: warning: using only 7 banks". Гугление приводит на errata RHSA-2008:0612-25 (http://rhn.redhat.com/errata/RHSA-2008-0612.html), в котором говорится, что "* the kernel currently expects a maximum of six Machine Check Exception (MCE) banks to be exposed by a CPU. Certain CPUs have 7 or more, which may have caused the MCE to be incorrectly reported." Т.е. надо обновляться до новой версии ядра (текущая 2.6.18-92).

предварительный этап:

делаю бэкап настроек сервера, параллельно dba доделывает бэкап Oracle. Скачиваю последнее ядро для RHEL 5.5 - kernel-2.6.18-194.32.1 и kernel-devel-2.6.18-194.32.1.

С сайта lsi.com/rdac скачиваю последний RDAC - rdac-LINUX-09.03.0C05.0439.

Обновление ядра:
# rpm --test -ivh /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm /root/kernel-devel-2.6.18-194.32.1.el5.x86_64.rpm
warning: /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 37017186
error: Failed dependencies:
        ecryptfs-utils < 44 conflicts with kernel-2.6.18-194.32.1.el5.x86_64

Ладно, ecryptfs мне не нужен, удаляю пакеты
# rpm -e ecryptfs-utils.x86_64
# rpm -e ecryptfs-utils.i386

# rpm -ivh /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm /root/kernel-devel-2.6.18-194.32.1.el5.x86_64.rpm
warning: /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 37017186
Preparing...                ########################################### [100%]
   1:kernel-devel           ########################################### [ 50%]
   2:kernel

Закомментировать в /etc/fstab все, что касается разделов на стойках.
Перегружаюсь в новое ядро и ловлю на этапе старта кучу ошибок I/O. Недолго думая, вытаскиваю из сервера все FC-линки.
Теперь новое ядро загрузилось без проблем, далее установка RDAC.
Распаковать архив
make uninstall
make clean
make
make install
Изменить/добавить запись в файле /boot/grub/grub.conf
title Red Hat Enterprise Linux Server (2.6.18-194.32.1.el5) with MPP support
        root (hd0,0)
        kernel /vmlinuz-2.6.18-194.32.1.el5 ro root=LABEL=/ quiet elevator=deadline usb-handoff
        initrd /mpp-2.6.18-194.32.1.el5.img

Перезагрузка, подключение FC-линков.
Проверка /opt/mpp/lsvdev, fdisk -l

четверг, 13 января 2011 г.

Установка программного RAID1 на рабочей системе с 2-мя дисками

Небольшая памятка для себя.
1. Загрузка модулей ядра (во избежание перезагрузки)
/sbin/modprobe linear
/sbin/modprobe raid1
2. Проверка загрузки
cat /proc/mdstat
3. Копирование таблицы разделов с /dev/sda на /dev/sdb
/sbin/sfdisk -d /dev/sda | /sbin/sfdisk /dev/sdb
4. Проверка
/sbin/fdisk -l
5. Изменение типа разделов /dev/sdb на Linux raid autodetect
/sbin/fdisk /dev/sdb
Command: t (change a partition's system id)
Partition number (1-4): 1
Hex code (type L to list codes): fd
6. Обнуление суперблока, чтобы убедиться в том, что не осталось предыдущих RAID-installations на /dev/sdb
/sbin/mdadm --zero-superblock /dev/sdbX
7. Создание RAID массивов
/sbin/mdadm --create /dev/mdX --level=1 --raid-disks=2 missing /dev/sdbY
8. Проверка вывода
cat /proc/mdstat
9. Создание файловых систем на RAID массивах
/sbin/mkfs.ext3 /dev/mdX
/sbin/mkswap /dev/mdY
10. Создание /etc/mdadm.conf
/sbin/mdadm --examine --scan > /etc/mdadm.conf
11. Монтирование устройств /dev/mdX
mkdir /mnt/mdX
mount /dev/mdX /mnt/mdX
12. Изменение файла /etc/fstab. Замена LABEL=YYYY на /dev/mdX
13. Настройка загрузчика GRUB добавить fallback=1
14. Замена root=LABEL=/ на root=/dev/mdX и root (hd0,0) на root (hd1,0)
15. Согласование с новой ситуацией ramdisk
mv /boot/initrd-`uname -r`.img /boot/initrd-`uname -r`.img_orig
mkinitrd /boot/initrd-`uname -r`.img `uname -r`
16. Копирование содержимого директроий /dev/sdaX на новые устройства /dev/mdY
cp -dpRx / /mnt/mdX
17. Настройка и инсталляция загрузчика GRUB
grub
>root (hd0,0)
>setup (hd0)
>root (hd1,0)
>setup (hd1)
>quit
18. Перезагрузка
19. Изменение типа разделов /dev/sda на Linux raid autodetect
/sbin/fdisk /dev/sda
Command: t (change a partition's system id)
Partition number (1-4): 1
Hex code (type L to list codes): fd
20. Добавление устройств /dev/sdaX в соответствующие RAID массивы
/sbin/mdadm --add /dev/mdX /dev/sdaY
возможные проблемы с корневым разделом /sbin/grub-install --recheck /dev/sdb
сделать /sbin/modprobe megaraid_mm
21. Проверка вывода
cat /proc/mdstat
22. Согласование с новой ситуацией файла /etc/mdadm.conf
/sbin/mdadm --examine --scan > /etc/mdadm.conf
23. Подготовка загрузчика GRUB (Часть 2)
Скопировать строку с kernel (содержащую hd1), вставить ниже и заменить hd1 на hd0
24. Обновление ramdisk
mv /boot/initrd-`uname -r`.img /boot/initrd-`uname -r`.img_orig
mkinitrd /boot/initrd-`uname -r`.img `uname -r`

Литература:
http://www.howtoforge.com/software-raid1-grub-boot-fedora-8
man grub
man fdisk
man mdadm

понедельник, 10 января 2011 г.

Обновление firmware на IBM xSeries 366.

Собственно ничего сложного. IBM предоставляет неплохую графическую утилиту UpdateXpress, но новая версия (4.30) почему-то зависает на этапе сравнения обновлений. Выход - обновить с помощью командной строки, благо такая опция имеется. Поскольку все вопросы касательно получения/сравнения/обновления детально описаны в IBM UpdateXpress System Pack Installer User's Guide, опишу только свои действий.
1) С помощью графического интерфейса выкачал обновления для данной OS (rhel4 64bit) и данного MT (machine type). Не потому, что не осилил CLI, а потому, что не имело смысла качать заново.
2) На этапе сравнения установленных и выкачанных прошивок инсталлятор показывает, что идет процесс и он чем-то сильно занят. В логах /var/log/IBM_support/*.log ничего подозрительного - прибить (закрыть) инсталлятор
3) Если повторный запуск инсталлятора из командной строки завершается ошибкой "Exiting from the current instance is displayed when only one instance of UXSPI is running." решать запуском с опцией -semdestroy
4) ./uxspi430.rhel4 up -L -l 8863-04.11.2011
Querying Updates done
Comparing Updates
(1) [ ] RSA II Linux Daemon
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : ibm_svc_rsa2_hlp253a_linux_32-64
        Requisites        : None

        Update            : ibmusbasm64
        New Version       : 1.53
        Installed Version : 1.53

(2) [ ] Adaptec adp94xx SAS Controller Driver
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : ibm_dd_adp94xx_1.0.8-11_rhel4_32-64
        Requisites        : None

        Update            : adp94xx.ko
        New Version       : 1.0.8.11
        Installed Version : 1.0.8-13

(3) [ ] Broadcom NetXtreme TG3 rhel 4 driver
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : brcm_dd_nic_tg3-3.92n_rhel4_32-64
        Requisites        : None

        Update            : tg3.ko
        New Version       : 3.92n
        Installed Version : 3.110g

(4) [*] IBM ServeRAID 8i, 8k, 8k-l, 8s SAS Controller Driver for RHEL 4
        Severity          : Critical
        Reboot            : Reboot Required to take effect
        Update ID         : ibm_dd_aacraid_1.1.5.24701_rhel4_32-64
        Requisites        : None

        Update            : aacraid.ko
        New Version       : 1.1.5.24701
        Installed Version : 1.1-5[24551]

(5) [ ] BIOS Flash Update
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : ibm_fw_bios_zue166a_linux_intel32
        Requisites        : None
        New Version       : 1.12 (ZUE166A)
        Installed Version : 1.12 (ZUE166A)

(6) [ ] IBM Preboot Diagnostics Flash Update
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : ibm_fw_diag_zuyt38a_linux_i386
        Requisites        : None
        New Version       : 1.10 (ZUYT38A)
        Installed Version :      (ZUYT38A)

(7) [*] IBM ServeRAID 8i BIOS and Firmware Update
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : ibm_fw_aacraid_8i-5.2.0-16002_linux_32-64
        Requisites        : None

        Update            : ServeRAID 8i Firmware
        New Version       : 5.2-0-16002
        Installed Version : 5.2-0-15432

(8) [ ] Online Broadcom NetXtreme and NetXtreme II Firmware Utility
        Severity          : Recommended
        Reboot            : Reboot Required to take effect
        Update ID         : brcm_fw_nic_2.1.5b_linux_32-64
        Requisites        : None

        Update            : 5704 (#1)
        New Version       : 3.41
        Installed Version : 3.41

        Update            : 5704 (#2)
        New Version       : 3.41
        Installed Version : 3.41

(9) [ ] Remote Supervisor Adapter II Update  IBM Systems x3800, x3850, and x3900 (formerly x260, x366, and x460)
        Severity          : Recommended
        Reboot            : Not Required
        Update ID         : ibm_fw_rsa2_zuep66a_linux_i386
        Requisites        : None
        New Version       : 1.19 (ZUEP66A)
        Installed Version :      (ZUEP66A)

(10) [ ] IBM Optical drive firmware update
        Severity          : Non-Critical
        Reboot            : Not Required
        Update ID         : ibm_fw_optical_ujda-1.2_linux_32-64
        Requisites        : None
        New Version       : 1.2_02 (0000)
        Installed Version : Undetected

(11) [*] IBM Baseboard Management Controller Flash Update
        Severity          : Non-Critical
        Reboot            : Not Required
        Update ID         : ibm_fw_bmc_z2bt05j_linux_i386
        Requisites        : None
        New Version       : 2.11 (Z2BT05j)
        Installed Version : 2.11 (Z2BT05I)

Legend:
Type the item number to toggle selected [*] or not selected [ ]
Type 'a' to accept the menu
Type 'f' to select all entries
Type 'q' to quit without processing the entries
[1-11,a,q,f]> a


Copying update files to temporary directory...
(1 of 3) Running IBM ServeRAID 8i, 8k, 8k-l, 8s SAS Controller Driver for RHEL 4.Error code=3
(2 of 3) Running IBM ServeRAID 8i BIOS and Firmware Update............. done
(3 of 3) Running IBM Baseboard Management Controller Flash Update................... done

There were problems running some updates.  See /var/log/IBM_Support/UXSPI_dbmng01.office.com_8863_XxXxXxX_20110106122515.514000+120.log for details.
Finished applying selected updates


(1) IBM ServeRAID 8i, 8k, 8k-l, 8s SAS Controller Driver for RHEL 4
        Name: IBM ServeRAID 8i, 8k, 8k-l, 8s SAS Controller Driver for RHEL 4
        New Version:    1.1.5.24701
        Reboot:         Reboot Required to take effect
        Requisites:
        Status:         ***Install did not succeed***:
                        The update could not be performed, because the system is
                        currently running a certified driver provided by the
                        Linux distribution.  The certified driver can be overridden
                        by using the -o or --linux-override command line argument

(2) IBM ServeRAID 8i BIOS and Firmware Update
        Name: IBM ServeRAID 8i BIOS and Firmware Update
        New Version:    5.2.0-16002
        Reboot:         Reboot Required to take effect
        Requisites:
        Status:         Successfully Installed

(3) IBM Baseboard Management Controller Flash Update
        Name: IBM Baseboard Management Controller Flash Update
        New Version:    2.11 (Z2BT05j)
        Reboot:         Not Required
        Requisites:
        Status:         Successfully Installed

2 update(s) succeeded
0 update(s) were not installed because applicable hardware is not present
1 update(s) failed
See UXSPI_dbmng01.office.com_8863_XxXxXxX_20110106122515.514000+120.log file in IBM_Support directory for details.

5) reboot для закрепления/проверки результата.


Литература:
http://publib.boulder.ibm.com/infocenter/toolsctr/v1r0/index.jsp?topic=%2Fuxspi%2Fuspi_c_customization_uxsps.html 
Документация IBM UpdateXpress System Pack Installer User's Guide

вторник, 4 января 2011 г.

Обновление firmware на SunStorage 6580.

В декабре прошлого (2010) года удалось выбить 1 день в начале января на останов СУБД и обновление прошивок стоек, серверов, FC-свитчей, Blade-chases. Почему столько много — нужно было время на холодное резервирование данных (копирование терабайта с копейками по сети), а также последующее восстановление данных.
Прихожу 2 числа с утра на работу и узнаю, что холодное резервирование сделано не было, имелся только бэкап средствами Oracle. Наш DBA слезно клялся, что этого должно хватить в случае чего (не дай бог, конечно).
В нашей организации под хранилище данных отдана стойка Sun 6580 (1 корзина с контроллером и 5 корзин с дисками).
Обновления поставляются в составе CAM (Common Array Manager). Поскольку для скачивания CAM нужно регистрироваться на сайте Oracle и вводить номер поддержки продукта, решил вместо этого обратиться к поставщикам «железа», чтоб они скачали и выложили (вышло быстрей). Обязательно читаем документацию (http://docs.sun.com/app/docs/prod/stor.arrmgr67?l=en&a=view) перед какими-либо действиями по обновлению, настройке стоек с помощью CAM.
Поскольку стойка имеет 2 (два) контроллера, которые обеспечивают распределение нагрузки и отказоустойчивость в случае перезагрузки или выхода из строя одного из контроллеров, то необходимо ОБОИМ (поскольку firmware на контроллеры передается по сети, необходима доступность обоих контроллеров) назначить IP-адреса из нужной подсети. У каждого контроллера имеется 2 Ethernet порта — нас интересует только Ethernet 1 (второй зарезервирован на случай отказа первого). Назначить IP-адрес можно как с помощью CAM, так и с помощью консольного кабеля (это быстрее). IP-адрес по умолчанию для контроллера A — 192.168.128.101, для контроллера B — 192.168.128.102. В документации на Sun 6580 ищем информацию по параметрам консольного подключения (57600,8,parity none,stop 1, flow none). Пароль по умолчанию kra16wen. Далее изменить настройки IP-адреса несложно.
Поскольку обновляться будет не только firmware ​контроллеров, но и firmware дисков, доступ к стойке необходимо прервать временно (либо отмонтировать на сервере диски, предоставленные стойкой, либо снять mapping к серверам). Поскольку будем обновлять firmware на серверах с помощью ILOM, то я просто выключил сервера.
Важно: firmware контроллеров можно обновлять без прерывания работы серверов, так как они перегрузятся один за другим и связь не прервется; для обновления firmware дисков обязательно прервать ввод/вывод на стойку. Питание стойки естественно НЕ должно прерываться.
Собственно обновление.
- Залогиниться на CAM с управляющего хоста
- Разрешить все предупреждения из списка alarms (кроме тех, которые говорят о различиях в текущей версии firmware на хосте с CAM и версии на стойке)
- Остановить ввод/вывод на стойку
- Выделить необходимую стойку для обновления, нажать Install Baseline Firmware
- Следовать советам мастера обновлений

На обновление стойки в нашей конфигурации ушло 50 минут. После обновления вылезла проблема — не обновилось firmware на 4 дисках. Пришлось запустить процесс обновления заново (еще 5 минут). На этот раз все прошло успешно.