概要
QLogic製ファイバーチャネルホストバスアダプターにて、データ破損に至りサーバが停止する場合があります。
重要度
【最重要】
本問題は、お客さまのストレージデータを破壊する可能性がある極めて重大な問題です。
ストレージデータが破壊された場合、バックアップデータからのリストアによる復旧が必要となります。
大至急、対策方法に示すファームウェアアップデートを実施してください。
発生頻度
高
現象および影響範囲
QLogic製ファイバーチャネルホストバスアダプターにおいて、多数のエラーメッセージが画面上に表示、またはエラーログに記録された後、OSが突然停止します。この時にファイルシステムのデータが破損しており、OS再起動しても、一部のファイルデータが利用できない、または不整合となり、OSが起動不可に至る可能性があります。クラスタ構成においてもクラスタ情報が破損し、システムの再構築が必要になる事例が報告されています。
VMwareで集中して発生しており、RHEL/Windowsでも発生事例が報告されています。
回避策
回避策はありません。
発生条件
QLogic製ファイバーチャネルホストバスアダプターにおいて、対象ファームウェアバージョンを使用している場合に発生する可能性があります。
対象ファームウェアバージョン
| SN1100Q/SN1600Q | ：01.73.07 (SPH6.00収録バージョン) ：01.72.02 (SPH5.50収録バージョン) ：01.71.03 (SPH5.10/5.00収録バージョン) ：01.70.85 (SPH4.60/4.50/4.00収録バージョン) ：01.70.51 (SPH3.00/2.00/1.00収録バージョン) |
ファームウェアバージョン確認方法
- iLO Web コンソールにログインしてください。
- メニューの「ファームウェア＆ＯＳソフトウェア」を選択します。
- 表示されたファームウェア一覧の[ファームウェア名]から「HPE SN1xxxQ 」から始まる名称を探し、ファームウェアバージョンを確認してください。
対策方法
対策方法は、以下2通りの方法があります。
① ドライバとファームウェアの両方を対策のバージョンへ更新する場合＜推奨手順＞
② ドライバ更新を必要としないファームウェアのみを更新する場合＜CRI-2020-0016 の事象は対策されません＞
①の最新バージョンのドライバとファームウェアの適用を推奨します。
① ドライバとファームウェアの両方を対策バージョンへ更新する場合の適用方法＜推奨手順＞
下表に、推奨するファームウェア/ドライバを示します。
なお、以下に記載のないOSは提供予定はありません。
【 Windows 】
サーバに搭載されているファイバーチャネルアダプタによって、適用可能なバージョンが異なります。
詳細はCRI-2020-0004をご確認ください。
| OS | SN1100Q搭載 かつSN1600Q未搭載の場合 | SN1600Q搭載の場合(SN1100Qの混載有無は問わない) | ||
|---|---|---|---|---|
| ファームウェア | ドライバ | ファームウェア | ドライバ | |
| Windows 2019 | 01.74.07(SPH6.30収録)以降 | 9.4.1.20(SPH6.30収録)以降 | 01.75.07(SPH6.40収録)以降 | 9.4.2.20(SPH6.40収録)以降 |
| Windows 2016 | ||||
| Windows 2012R2 | 9.4.1.20(SPH6.40収録)以降 | |||
【 RHEL 】
| OS | ファームウェア | ドライバ |
|---|---|---|
| RHEL 8.1 | 01.74.07(SPH6.30収録)以降 | 10.01.00.64.08.0_k1(SPH6.30収録)以降 |
| RHEL 7.8 | 10.01.00.64.07.6_k1a(SPH6.30収録)以降 | |
| RHEL 7.7 | 10.01.00.64.07.6_k1a(SPH6.30収録)以降 | |
| RHEL 7.6 | 01.74.07(ダウンロードサイト掲載、SPH6.30収録ファイルと同じ) | 10.01.00.64.07.6_k1a(ダウンロードサイト掲載) |
| RHEL 7.5 | 8.08.00.08.07.5_k20a(ダウンロードサイト掲載) | |
| RHEL 7.4 | 8.08.00.08.07.5_k20a(ダウンロードサイト掲載) |
【 VMware ESXi 】
| OS | ファームウェア | ドライバ |
|---|---|---|
| VMware ESXi 6.7 | 01.74.07(ダウンロードサイト掲載)以降*2 | 3.1.36.0(ダウンロードサイト掲載)以降 |
| VMware ESXi 6.5 | 2.1.101.0(ダウンロードサイト掲載)以降 | |
| VMware ESXi 6.0 | 2.1.101.0(ダウンロードサイト掲載)以降 | |
| VMware ESXi 7.0 | 4.1.22.0(SPH6.40収録)以降*6 |
- *2
- ファームウェアの適用手順については、ADV-2020-0053を参照してください。
- *6
- 推奨バージョンのドライバを使用する場合は、ファームウェアバージョン 01.75.07(SPH6.40収録)以降の使用を推奨します。
次の日立Webページから対象OSの最新バージョンのドライバとファームウェアをダウンロードしてください。
- Service Pack for HA8000V (SPH) Ver. x.xx xx
- ドライバ - Fiber Channel
- ファームウェア - Fiber Channel
ダウンロードファイル内のReadmeを参照しドライバとファームウェアを適用してください。
作業時間は1台あたり約15〜20分となります（システムの停止/起動時間は含みません）。
■ 更新完了後の確認方法
- 対策ファームウェアを適用しシステムを再起動した後に、iLo Webコンソールからファームウェアバージョンを確認し、対策バージョンが適用されていることを確認してください。
- iLo Webコンソールからファイバーチャネルホストバスアダプターの各ポートのステータスを確認し、お客様環境と一致していることを確認してください。
■ ポートのステータス確認方法
- iLO Web コンソールにログインしてください。
- メニューの「システム情報」を選択します。
- 表示されたシステム情報のタブから「ネットワーク」を選択します。
- 表示された物理ネットワークアダプター一覧から「HPE SN1xxxQ」で始まる名称を探し、FCポートの各ポートのステータスがお客様環境と一致していることを確認してください。
- ケーブルを接続し、リンクアップしている場合はポートのステータスが「OK」と表示されます。
- ケーブルを接続しておらず、リンクアップしていない場合はポートのステータスが「ダウン」と表示されます。ステータスが「ダウン」になっているポートがアダプターに含まれる場合、アダプターのステータスは「劣化」と表示されますのでご注意ください。
②ドライバ更新を必要としないファームウェアのみを更新する場合の適用方法＜CRI-2020-0016 の事象は対策されません＞
- iLo Webコンソールから現在使用しているファームウェアバージョンを確認してください。
- 以下の日立Webページから対象OSの対策版ファームウェアをダウンロードしてください。
その上でダウンロードファイル内のReadmeを参照しファームウェアを適用してください。
作業時間は1台あたり約10〜15分となります。（システムの停止/起動時間は含みません）
ファームウェア - Fiber Channel
現在使用しているファームウェアバージョンに応じて下記に示す対策ファームウェアバージョンを適用してください。
対策版ファームウェアの変更差分はデータ破壊対策のみで、機能および性能に影響ありません。
| 現在使用しているファームウェアバージョン | 対策ファームウェアバージョン | Windows Server*1 | RHEL | VMware ESXi 6.7 | VMware ESXi 6.5 | VMware ESXi 6.0 |
|---|---|---|---|---|---|---|
| 01.73.07 | 01.73.08 | - | ダウンロード | ダウンロード | ダウンロード | - |
| 01.72.02 | 01.72.03 | ダウンロード | ダウンロード | ダウンロード | ダウンロード | ダウンロード |
| 01.71.03 | 01.72.03 | |||||
| 01.70.85 | 01.71.85 | ダウンロード | ダウンロード | ダウンロード | ダウンロード | ダウンロード |
| 01.70.51 | 01.71.51 | ダウンロード | ダウンロード | - | ダウンロード | ダウンロード |
- *1
- Windows Server 2012R2環境で対策ファームウェアバージョンを適用する際に、以下に示すメッセージが表示される場合がありますが、メッセージを無視してインストールを継続してください。
対象製品
| 対象製品名 |
SN1100Q 16Gb Single Port ファイバーチャネルホストバスアダプター（TQ-xxx-P9D93A） SN1100Q 16Gb Dual Port ファイバーチャネルホストバスアダプター (TQ-xxx-P9D94A) SN1600Q 32Gb 1port ファイバーチャネルホストバスアダプター (TQ-xxx-P9M75A) SN1600Q 32Gb 2port ファイバーチャネルホストバスアダプター (TQ-xxx-P9M76A) *「xxx」はお客さまのご購入製品により相違します。 |
|---|---|
| 対象装置 |
HA8000V/DL20 Gen10 HA8000V/DL360 Gen10 HA8000V/DL380 Gen10 HA8000V/DL580 Gen10 HA8000V/ML350 Gen10 |
2020/1/17以降の出荷品は対策版ファームウェアを適用して出荷しています。
対象OS
OS依存はありません。
VMwareで集中して発生しており、RHEL/Windowsでも発生事例が報告されています。
現象発生時の判別方法
【VMware】
Purple Screen of Death（PSoD）の直前にQLogicドライバから次のエラーメッセージが複数回表示されることを確認しています。
|
qlnativefc: vmhba#: 83XX: F/W Error Reported: Check if reset required qlnativefc: vmhba#: Heartbeat Failure encountered, chip reset required WARNING: qlnativefc: vmhba#: Invalid ISP SCSI completion handle(XXX) req=1 qlnativefc: vmhba2(XX:X.X): Error entry - invalid entry type 0xa handle 0xXXXXXXXX |
PSoDバックトレースには、次のメッセージのいずれかが画面に表示されます。
|
PanicvPanicIntvmkernel#nover+0xXXX PANIC bora/vmkernel/main/dlmalloc.c:4736 -Corruption in dlmalloc #DE Exception 0 in world ##### #GP Exception 13 in world ##### #PF Exception 14 in world ##### |
【Linux】
ドライババージョン10.01.00.52以降を使用している場合、次のエラーメッセージが表示される場合があります。
| "MPI Heartbeat stop. Chip reset needed. MB0[%xh] MB1[%xh] MB2[%xh] MB3[%xh]\n" "MPI Heartbeat stop. FW dump needed\n" If ql2xextended_error_logging is enabled, then users may also see the message "Invalid status handle (0x%x).\n" |
ドライババージョン10.01.00.52未満では、次のエラーメッセージが表示される場合があります。
| qla2xxx [0000:xx:xx.x]-5030:8: Error entry - invalid handle/queue (xxxx). |
【Windows】
システムログに下記のエラー(例)が出力される場合があります。
| Eventlog: Log Name: System Source: ql2300 Date: MM/DD/YYYY hh:mm:ss AM Event ID: 11 Binary Data In words 0000: 0018000F 00000001 00000000 C004000B 0010: 82000000 00000000 00000000 00000000 Driver String QLIsrEventHandler: Nic Fw State Change (8200) MB1 0100 Fn 1 extraf3 9000 |
加えて、次のメッセージが出力される場合があります。
| STORMINI: QL27:FFFF91039F000010 QLProcRspQueueMq: INVALID handle, Tag 2cc Type 3 STORMINI: QL27:FFFF91039F07A010 QLProcRspQueueMq: INVALID handle, Tag 7e Type 3 |
SANブート構成等ではエラーメッセージがログに残らない場合がありますので、発生条件に合致する環境でファイルシステムのデータ整合性に問題が発生した場合は、OSサポート窓口にお問い合わせください。
関連する重要なお知らせ
CRI-2020-0016：QLogic製ファイバーチャネルホストバスアダプターとiLO間の継続的な通信異常により、PSoDやOSハングアップが発生する現象について
CRI-2020-0004：Windows環境においてQLogic製ファイバーチャネルホストバスアダプターでリンクダウン発生後にパス交替できない現象について
更新情報
2022年3月25日（更新）：
▪対策方法①②の記載順序を変更。(対策方法自体には変更ありません。)
▪対策方法②では、CRI-2020-0016が対策されないことを追記。
▪＜旧バージョン＞ドライバ／ファームウェア記載を削除。
▪関連する重要なおしらせ欄を追加。
2021年7月30日（更新）：SN1600Q搭載の場合のWindows Server向けの推奨ファームウェアとドライバを変更
2021年7月2日（更新）：VMware ESXi 7.0向けの対策版ドライバを追加
2021年5月21日（更新）：VMware ESXi 7.0向けの対策版ドライバ提供予定を6月に変更
2021年2月26日（更新）：推奨バージョンのファイル入手方法を記載
2021年1月29日（更新）：推奨バージョン (RHEL7.6/7.5/7.4)を記載
2020年10月30日（更新）：推奨バージョン (Windows, RHEL, VMware ESXi)を記載
2020年10月9日（更新）：VMware ESXi 6.0向けの対策版ファームウェア(01.74.07)とドライバ(2.1.101.0)の記載追加
2020年9月15日（更新）：
▪RHEL7.7向けの対策版ドライバ(10.01.00.57.07.6-k1)の記載追加
▪RHEL7.6向けの対策版ドライバ(10.01.00.57.07.6-k1)の記載追加
▪VMware ESXi 6.7向けの対策版ファームウェア(01.74.07)とドライバ(3.1.36.0)の記載追加
▪VMware ESXi 6.7向けの対策版ドライバ(3.1.31.0)の記載追加
▪VMware ESXi 6.5向けの対策版ファームウェア(01.74.07)とドライバ(2.1.101.0)の記載追加
▪VMware ESXi 6.5向けの対策版ドライバ(2.1.96.0)の記載追加
2020年3月13日（更新）：注意事項(※3)追加、誤記訂正
2020年2月14日（更新）：対策ファームウェアのダウンロードリンクを追加、記載内容を整理
2020年2月7日（更新）：VMware ESXi 6.7向けのファームウェアバージョン01.71.85提供開始、作業時間を修正
2020年1月31日（更新）：対策方法の対象OSにRHEL 7.7追加
2020年1月24日（更新）：下線部分追加
2020年1月17日（公開）
- *
- 本ページで記載している内容を予告なく変更することがありますので、あらかじめご了承ください。
文書番号
CRI-2020-0003