RHEL環境において特定のネットワークアダプターのRoCEドライバがロードされない現象が発生する場合があります。
高
RHEL環境において下記グループ1のネットワークアダプターのドライバアップデートを行うと、下記グループ2のネットワークアダプターのRoCEドライバがロードされなくなります。
グループ1: Mellanox ネットワークアダプター
グループ2: Broadcom/Marvellネットワークアダプター
グループ2のネットワークアダプターはOSイメージに収録されている"ib_core"カーネルモジュールを使用しますが、グループ1のネットワークアダプターはドライバアップデートにより"ib_core"カーネルモジュールを更新するため、グループ2のネットワークアダプターのドライバは下記の例のようにロードされなくなります。
OSイメージに収録されている"ib_core"カーネルモジュール:
[root@localhost ~]# modinfo ib_core
filename: /lib/modules/3.10.0-693.el7.x86_64/kernel/drivers/infiniband/core/ib_core.ko
license: Dual BSD/GPL
description: core kernel InfiniBand API
author: Roland Dreier
rhelversion: 7.4
srcversion: 2B35581D5A8815FA8684260
depends:
intree: Y
vermagic: 3.10.0-693.el7.x86_64 SMP mod_unload modversions
signer: Red Hat Enterprise Linux kernel signing key
sig_key: 4F:FD:D6:3C:93:7E:B4:A7:A1:14:BC:5E:89:1A:CB:DE:50:20:65:21
sig_hashalgo: sha256
parm: send_queue_size:Size of send queue in number of work requests (int)
parm: recv_queue_size:Size of receive queue in number of work requests (int)
parm: force_mr:Force usage of MRs for RDMA READ/WRITE operations (bool)
グループ1のネットワクアダプターのドライバアップデートにより更新された"ib_core"カーネルモジュール:
[root@localhost Mellanox-RoCE]# modinfo ib_core
filename: /lib/modules/3.10.0-693.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/ib_core.ko
license: Dual BSD/GPL
description: core kernel InfiniBand API
author: Roland Dreier
rhelversion: 7.4
srcversion: 88498DC1AE00B29161E536C
depends: mlx_compat
vermagic: 3.10.0-693.el7.x86_64 SMP mod_unload modversions
signer: Hewlett-Packard Company: HP UEFI Secure Boot 2013 DB key
sig_key: 1D:7C:F2:C2:B9:26:73:F6:9C:8E:E1:EC:70:63:96:7A:B9:B6:2B:EC
sig_hashalgo: sha256
parm: send_queue_size:Size of send queue in number of work requests (int)
parm: recv_queue_size:Size of receive queue in number of work requests (int)
parm: roce_v1_noncompat_gid:Default GID auto configuration (Default: yes) (bool)
parm: force_mr:Force usage of MRs for RDMA READ/WRITE operations (bool)
"ib_core"カーネルモジュールが更新されたことによりグループ2のネットワークアダプターのRoCEドライバがロードされない:
[root@localhost Qlogic]# modinfo qedr
filename: /lib/modules/3.10.0-693.el7.x86_64/extra/qlgc-fastlinq/qedr.ko
version: 8.33.0.0
license: Dual BSD/GPL
author: QLogic Corporation
description: QLogic 40G/100G ROCE Driver
rhelversion: 7.4
srcversion: 91BE17AF97BBFDD84C3FCF2
depends: qede,qed,ib_core
vermagic: 3.10.0-693.el7.x86_64 SMP mod_unload modversions
signer: Hewlett-Packard Company: HP UEFI Secure Boot 2013 DB key
sig_key: 1D:7C:F2:C2:B9:26:73:F6:9C:8E:E1:EC:70:63:96:7A:B9:B6:2B:EC
sig_hashalgo: sha256
parm: debug: Default debug msglevel (uint)
parm: delayed_ack: iWARP: Delayed Ack: 0 - Disabled 1 - Enabled. Default: Disabled (uint)
parm: timestamp: iWARP: Timestamp: 0 - Disabled 1 - Enabled. Default: Enabled (uint)
parm: rcv_wnd_size: iWARP: Receive Window Size in K. Minimum is 64K. Default is set according to device configuration (uint)
parm: crc_needed: iWARP: CRC needed 0 - Disabled 1 - Enabled. Default:Enabled (uint)
parm: peer2peer: iWARP: Support peer2peer ULPs 0 - Disabled 1 - Enabled. Default:Enabled (uint)
parm: mpa_enhanced: iWARP: MPA Enhanced mode. Default:1 (uint)
parm: rtr_type: iWARP: RDMAP opcode to use for the RTR message: BITMAP 1: RDMA_SEND 2: RDMA_WRITE 4: RDMA_READ. Default: 7 (uint)
parm: insert_udp_src_port: Insert a non-zero UDP source port for RoCEv2 packets that is unique per QP. 0 - Disabled, 1 - Enabled. Default:Enabled) (uint)
parm: wq_multiplier: When creating a WQ the actual number of WQE created will be multiplied by this number (default is 3). (uint)
[root@localhost Qlogic]# modprobe qedr
modprobe: ERROR: could not insert 'qedr': Invalid argument
"/var/log/messages" output
Oct 25 16:40:28 localhost kernel: qed_init called
Oct 25 16:40:28 localhost kernel: QLogic FastLinQ 4xxxx Core Module qed 8.33.0.0
Oct 25 16:40:28 localhost kernel: qedr: disagrees about version of symbol ib_umem_release
Oct 25 16:40:28 localhost kernel: qedr: Unknown symbol ib_umem_release (err -22)
Oct 25 16:40:28 localhost kernel: qedr: disagrees about version of symbol ib_modify_qp_is_ok
Oct 25 16:40:28 localhost kernel: qedr: Unknown symbol ib_modify_qp_is_ok (err -22)
グループ1のネットワークアダプターとグループ2のネットワークアダプターを混載しないでください。
混載した状態でグループ1のネットワークアダプターのドライバアップデートを行ってしまった場合は、アップデートしたドライバをアンインストールしてください。
対策方法はございません。
対象製品名 |
Ethernet 10Gb 2-port BASE-T QL41401-A2G Adapter (TQ-xxx-867707-B21) ※旧品名 Ethernet 10Gb 2ポート 521T ネットワークアダプター Ethernet 10Gb 2-port FLR-T BCM57416 Adapter (TQ-xxx-817721-B21) ※旧品名:Ethernet 10Gb 2 ポート 535FLR-T ネットワークアダプター Ethernet 10Gb 2-port BASE-T BCM57416 Adapter (TQ-xxx-813661-B21) ※旧品名:Ethernet 10Gb 2 ポート 535T ネットワークアダプター Ethernet 10Gb 2-port FLR-SFP+ BCM57414 Adapter (TQ-xxx-P08440-B21) ※旧品名 Ethernet 10Gb 2ポート 537FLR-SFP+ ネットワークアダプター Ethernet 10Gb 2-port SFP+ BCM57414 Adapter (TQ-xxx-P08421-B21) ※旧品名 Ethernet 10Gb 2ポート 537SFP+ ネットワークアダプター Ethernet 10/25Gb 2-port FLR-SFP28 BCM57414 Adapter (TQ-xxx-817709-B21) ※旧品名 Ethernet 10/25Gb 2ポート 631FLR-SFP28 ネットワークアダプター Ethernet 10/25Gb 2-port SFP28 BCM57414 Adapter (TQ-xxx-817718-B21) ※旧品名 Ethernet 10/25Gb 2ポート 631SFP28 ネットワークアダプター Ethernet 10/25Gb 2-port FLR-SFP28 MCX4121A-ACFT Adapter (TQ-xxx-817749-B21) ※旧品名 Ethernet 10/25Gb 2ポート 640FLR-SFP28 ネットワークアダプター Ethernet 10/25Gb 2-port SFP28 MCX4121A-ACUT Adapter (TQ-xxx-817753-B21) ※旧品名 Ethernet 10/25Gb 2ポート 640SFP28 ネットワークアダプター Ethernet 100Gb 2ポート 841QSFP28 ネットワークアダプター (TQ-xxx-872726-B21) InfiniBand HDR/EN 100Gb 2ポート940QSFP56 アダプター (TQ-xxx-P06251-B21) BCM 57412 10GbE 2p SFP+ Adptr (TQ-xxx-P26259-B21) BCM 57412 10GbE 2p SFP+ OCP3 Adptr (TQ-xxx-P26256-B21) BCM 57416 10GbE 2p BASE-T Adptr (TQ-xxx-P26253-B21) BCM 57416 10GbE 2p BASE-T OCP3 Adptr (TQ-xxx-P10097-B21) BCM 57414 10/25GbE 2p SFP28 Adptr (TQ-xxx-P26262-B21) BCM 57414 10/25GbE 2p SFP28 OCP3 Adptr (TQ-xxx-P10115-B21) BCM 57504 10/25GbE 4p SFP28 Adptr (TQ-xxx-P26264-B21) BCM 57504 10/25GbE 4p SFP28 OCP3 Adptr (TQ-xxx-P26269-B21) MLX MCX512F 10/25GbE 2p SFP28 Adptr (TQ-xxx-P13188-B21) MLX MCX562A 10/25GbE 2p SFP28 OCP3 Adptr (TQ-xxx-P10112-B21) 100GbE 1p QSFP28 MCX515A-CCAT Adptr (TQ-xxx-P31246-B21) MLX MCX623106AS 100GbE 2p QSFP56 Adptr (TQ-xxx-P25960-B21) IB HDR100/EN 100Gb 2p QSFP56 Adptr (TQ-xxx-P23666-B21) MLX MCX631102 10/25GbE 2p SFP28 Adptr (TQ-xxx-P42044-B21) MLX MCX6314 10/25GbE 2p SFP28 OCP3 Adptr (TQ-xxx-P42041-B21) iLO Webインターフェイス画面で表示されるネットワークアダプターの名称が上記と異なる場合があります。詳細はADV-2022-0112を参照ください。 ※「xxx」はお客さまのご購入製品により相違します。 |
---|---|
対象装置 |
HA8000V/DL20 Gen10 HA8000V/DL360 Gen10 HA8000V/DL380 Gen10 HA8000V/DL580 Gen10 HA8000V/ML30 Gen10 HA8000V/ML350 Gen10 HA8000V/DL20 Gen10 Plus HA8000V/DL360 Gen10 Plus HA8000V/DL380 Gen10 Plus HA8000V/ML30 Gen10 Plus HA8000V/DL320 Gen11 HA8000V/DL360 Gen11 HA8000V/DL380 Gen11 HA8000V/DL560 Gen11 HA8000V/ML350 Gen11 |
グループ1のネットワークアダプターのドライバアップデートを行うと本現象が発生します。
対象製品の全ドライババージョン
Red Hat Enterprise Linux Server
ADV-2022-0112:iLOやシステムユーティリティにおいて表示されるネットワークアダプターの名称が異なる現象について
ADV-2019-0015