ページの本文へ

Hitachi

統合サービスプラットフォーム BladeSymphony

BS320＋BR20/BR1200＋VMware(ESX4.ｘ)環境における
IO高負荷時ハングアップ障害について

現象

BS320の外付けSASストレージ接続構成においてVMware(ESX4.ｘ)環境で使用されており、かつI/Oが高負荷のケースで以下の現象が発生します。

《現象1》 BS320に接続されたBR1200のコントローラ閉塞が発生する。
《現象2》 複数台のブレードサーバでシステムハングアップが発生する。
《現象3》 BR20/BR1200のコントローラAとコントローラB間でパス切り替えが頻発する。

原因

VMware(ESX4.x)の標準インストール状態では、OSからSMPコマンド(*)が定期的に発行されます。一方I/Oが高負荷でコマンドタイムアウトする状況では、SASインタフェース上でリンクリセットが発生する場合がありますが、これを契機に接続されているサーバおよびBR1200から一斉にSASスイッチに対しSMPコマンドが発行されます。複数台のVMware ESXおよびリンクリセット契機のSMPコマンドが同時に発行された場合、SASスイッチのSMPコマンド処理がBusy状態となり、SMPコマンドの応答が規定時間内にできず、BR1200のコントローラ閉塞、サーバのハングアップ、パスの切り替わり頻発に至ります。

*
SASインタフェースで規定されている管理用プロトコル。一般的にはデバイスの構成変更を契機に、トポロジーを探索する目的で使用されるコマンドであり定期的に発行する必要性がない。

発生条件

BS320の外付けSASストレージ接続構成においてVMware (ESX4.ｘ) 環境で使用されており、かつI/Oが高負荷の場合。

■対策に関する情報

＜回避方法＞
VMware (ESX4.x) からのSMPコマンドの定期的な発行を抑止することで、規定時間内にSMPコマンドを処理できるようになります。このため、ハードウェア監視サービスプログラム (sfcbd) の停止およびESX起動時に自動起動しない設定をお願いします。

以下3つのコマンドをrootで実行します。
　　# service sfcbd-watchdog stop
　　# chkconfig sfcbd-watchdog off
　　# chkconfig sfcbd off

サービスの停止を、以下のコマンドを実行し"stopped"と表示されることで確認してください。
　　# service sfcbd-watchdog status
　　stopped

以下のコマンドを実行し、0〜6まで全てoffになっていれば、当該サービスはESX起動時に自動起動しない設定となっています。
　　# chkconfig sfcbd-watchdog --list
　　sfcbd-watchdog    0:off    1:off    2:off    3:off    4:off    5:off    6:off

詳細は以下をご確認ください。


  • ESXのアップデートまたはパッチ適用で、sfcbdが自動起動する設定(デフォルト設定)に戻る場合があります。ESXの再起動後に、上述のサービス停止を確認するコマンドを実行し、"stopped"と表示されない場合は、再度sfcbdの停止およびESX起動時に自動起動しない設定をお願いします。
  • JP1/ServerConductor/Blade Server Managerの管理対象サーバ設定において、sfcbdが動作していない状態ではVMwareホストの登録に失敗します。必ずsfcbdが動作している状態でVMwareホストを登録してください。VMwareホストの登録以後はsfcbdを停止していただいて問題ありません。ただし、VMwareホストを削除した後で再登録する場合は、再登録前に当該VMwareホストのsfcbdを一時的に起動するようにしてください。
  • sfcbd-watchdogサービスを停止することでvSphere Clientの健全性ステータス機能は利用できなくなります。サーバ監視には、JP1/ServerConductor/Blade Server Managerをご利用ください。

更新情報

2013年09月03日　この情報ページを公開しました。