Обновление RDAC на сервере SunFire X4450

Субботний вечер. Сижу дома, никого не трогаю. Звонит ИТ-директор с фразой "все пропало, шеф". Хорошее начало. Оказывается DBA увидел в /var/log/messages на сервере записи типа: "MCE: warning: using only 7 banks". Гугление приводит на errata RHSA-2008:0612-25 (http://rhn.redhat.com/errata/RHSA-2008-0612.html), в котором говорится, что "* the kernel currently expects a maximum of six Machine Check Exception (MCE) banks to be exposed by a CPU. Certain CPUs have 7 or more, which may have caused the MCE to be incorrectly reported." Т.е. надо обновляться до новой версии ядра (текущая 2.6.18-92).

предварительный этап:

делаю бэкап настроек сервера, параллельно dba доделывает бэкап Oracle. Скачиваю последнее ядро для RHEL 5.5 - kernel-2.6.18-194.32.1 и kernel-devel-2.6.18-194.32.1.

С сайта lsi.com/rdac скачиваю последний RDAC - rdac-LINUX-09.03.0C05.0439.

Обновление ядра:
# rpm --test -ivh /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm /root/kernel-devel-2.6.18-194.32.1.el5.x86_64.rpm
warning: /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 37017186
error: Failed dependencies:
        ecryptfs-utils < 44 conflicts with kernel-2.6.18-194.32.1.el5.x86_64

Ладно, ecryptfs мне не нужен, удаляю пакеты
# rpm -e ecryptfs-utils.x86_64
# rpm -e ecryptfs-utils.i386

# rpm -ivh /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm /root/kernel-devel-2.6.18-194.32.1.el5.x86_64.rpm
warning: /root/kernel-2.6.18-194.32.1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 37017186
Preparing...                ########################################### [100%]
   1:kernel-devel           ########################################### [ 50%]
   2:kernel

Закомментировать в /etc/fstab все, что касается разделов на стойках.
Перегружаюсь в новое ядро и ловлю на этапе старта кучу ошибок I/O. Недолго думая, вытаскиваю из сервера все FC-линки.
Теперь новое ядро загрузилось без проблем, далее установка RDAC.
Распаковать архив
make uninstall
make clean
make
make install
Изменить/добавить запись в файле /boot/grub/grub.conf
title Red Hat Enterprise Linux Server (2.6.18-194.32.1.el5) with MPP support
        root (hd0,0)
        kernel /vmlinuz-2.6.18-194.32.1.el5 ro root=LABEL=/ quiet elevator=deadline usb-handoff
        initrd /mpp-2.6.18-194.32.1.el5.img

Перезагрузка, подключение FC-линков.
Проверка /opt/mpp/lsvdev, fdisk -l

Обновление firmware на SunStorage 6580.

В декабре прошлого (2010) года удалось выбить 1 день в начале января на останов СУБД и обновление прошивок стоек, серверов, FC-свитчей, Blade-chases. Почему столько много — нужно было время на холодное резервирование данных (копирование терабайта с копейками по сети), а также последующее восстановление данных.
Прихожу 2 числа с утра на работу и узнаю, что холодное резервирование сделано не было, имелся только бэкап средствами Oracle. Наш DBA слезно клялся, что этого должно хватить в случае чего (не дай бог, конечно).
В нашей организации под хранилище данных отдана стойка Sun 6580 (1 корзина с контроллером и 5 корзин с дисками).
Обновления поставляются в составе CAM (Common Array Manager). Поскольку для скачивания CAM нужно регистрироваться на сайте Oracle и вводить номер поддержки продукта, решил вместо этого обратиться к поставщикам «железа», чтоб они скачали и выложили (вышло быстрей). Обязательно читаем документацию (http://docs.sun.com/app/docs/prod/stor.arrmgr67?l=en&a=view) перед какими-либо действиями по обновлению, настройке стоек с помощью CAM.
Поскольку стойка имеет 2 (два) контроллера, которые обеспечивают распределение нагрузки и отказоустойчивость в случае перезагрузки или выхода из строя одного из контроллеров, то необходимо ОБОИМ (поскольку firmware на контроллеры передается по сети, необходима доступность обоих контроллеров) назначить IP-адреса из нужной подсети. У каждого контроллера имеется 2 Ethernet порта — нас интересует только Ethernet 1 (второй зарезервирован на случай отказа первого). Назначить IP-адрес можно как с помощью CAM, так и с помощью консольного кабеля (это быстрее). IP-адрес по умолчанию для контроллера A — 192.168.128.101, для контроллера B — 192.168.128.102. В документации на Sun 6580 ищем информацию по параметрам консольного подключения (57600,8,parity none,stop 1, flow none). Пароль по умолчанию kra16wen. Далее изменить настройки IP-адреса несложно.
Поскольку обновляться будет не только firmware ​контроллеров, но и firmware дисков, доступ к стойке необходимо прервать временно (либо отмонтировать на сервере диски, предоставленные стойкой, либо снять mapping к серверам). Поскольку будем обновлять firmware на серверах с помощью ILOM, то я просто выключил сервера.
Важно: firmware контроллеров можно обновлять без прерывания работы серверов, так как они перегрузятся один за другим и связь не прервется; для обновления firmware дисков обязательно прервать ввод/вывод на стойку. Питание стойки естественно НЕ должно прерываться.
Собственно обновление.
- Залогиниться на CAM с управляющего хоста
- Разрешить все предупреждения из списка alarms (кроме тех, которые говорят о различиях в текущей версии firmware на хосте с CAM и версии на стойке)
- Остановить ввод/вывод на стойку
- Выделить необходимую стойку для обновления, нажать Install Baseline Firmware
- Следовать советам мастера обновлений

На обновление стойки в нашей конфигурации ушло 50 минут. После обновления вылезла проблема — не обновилось firmware на 4 дисках. Пришлось запустить процесс обновления заново (еще 5 минут). На этот раз все прошло успешно.