开篇点题
给IB网卡手动配置IP地址，核心是通过IPoIB协议栈创建虚拟网络接口，然后使用ip addr add或编辑配置文件方式指定IP地址与子网掩码，最后激活接口即可实现IP网络通信。
IB over IP 与手动配置 IP 的前置知识
什么是 IB over IP 和 IPoIB
IB over IP 并不是一个标准术语，行业内通常用 IPoIB（IP over InfiniBand） 来描述在 InfiniBand 网络上传输 IP 数据包的技术，InfiniBand 本身是高性能计算场景下的高速互联网络，原生使用 RDMA 协议，为了让上层应用能够像使用普通以太网一样使用 InfiniBand 链路，操作系统提供了 IPoIB 内核模块或驱动，将 IB 端口映射为一个虚拟的网络接口（ib0、ib1），这个接口可以像 eth0 一样配置 IP 地址、子网掩码和路由。
手动配置 IP 的适用场景
- 你所在的数据中心或实验室规模较小，没有集中部署 DHCP 或 IPoIB 的自动配置服务。
- 你需要为特定节点分配固定 IP 地址，用于基于 IP 的存储协议（如 iSCSI、NFS over IB）或管理网络。
- 排查网络连通性问题时，需要临时指定一个静态 IP 进行测试。
- 据行业共识，在 HPC 集群中，超过半数 的 InfiniBand 部署仍采用手动或半自动的静态 IP 配置方式,以保证网络拓扑的可预测性。
手动配置 IP 地址的完整步骤
检查硬件与驱动状态
在动手之前，确保你的 InfiniBand 适配器（HCA）已被正确识别，IPoIB 驱动已加载，在 Linux 终端中执行以下命令：
lspci | grep -i infiniband ibstat ls /sys/class/net/ | grep ib
lspci输出中应看到 Mellanox、Intel、NVIDIA 等厂商的 IB 设备。ibstat显示端口状态，确认State: Active且Physical state: LinkUp。/sys/class/net/下没有ib0设备，尝试加载驱动：modprobe ib_ipoib。
使用临时命令配置 IP（重启后失效）
这种方法适合快速测试或临时调整，假设你的 IB 网卡接口名为 ib0，需要分配 IP 168.100.10/24：
ip link set ib0 up ip addr add 192.168.100.10/24 dev ib0
- 如果需要指定默认网关：
ip route add default via 192.168.100.1 dev ib0。 - 验证配置：
ip addr show ib0或ifconfig ib0。
注意：IPoIB 接口的 MAC 地址通常显示为 InfiniBand 的 GUID，这并不影响 IP 配置。
在 CentOS / RHEL / Rocky Linux 上持久化配置
编辑位于 /etc/sysconfig/network-scripts/ 下的配置文件，以 ifcfg-ib0 为例,手动创建或修改该文件：
DEVICE=ib0 BOOTPROTO=static ONBOOT=yes IPADDR=192.168.100.10 NETMASK=255.255.255.0 GATEWAY=192.168.100.1
- 如果你的子网掩码格式为 CIDR，可写为
PREFIX=24。 - 保存文件后执行
ifup ib0或systemctl restart network（视发行版版本而定）。 - 使用
ip addr show ib0确认 IP 是否生效。
在 Ubuntu / Debian 上持久化配置
编辑 /etc/network/interfaces 或在 /etc/netplan/ 下创建 YAML 文件（根据系统版本），对于 interfaces 风格：
auto ib0
iface ib0 inet static
address 192.168.100.10/24
gateway 192.168.100.1
对于 Netplan（Ubuntu 18.04+），创建一个如 /etc/netplan/01-ib.yaml 的文件：
network:
version: 2
ethernets:
ib0:
dhcp4: no
addresses: [192.168.100.10/24]
gateway4: 192.168.100.1
然后执行 netplan apply 使配置生效。
配置 P_Key 子接口（高级场景）
在部分 IB 环境中，你需要绑定特定的 P_Key（分区键），此时设备名会变为 ib0.8001 或类似格式，手动配置 P_Key 子接口的 IP 地址时,需要先创建子接口：
echo 0x8001 > /sys/class/net/ib0/create_child
然后你会看到 ib0.8001 接口出现，再对此接口进行 IP 配置，步骤与上述一致，持久化时，不同发行版需在配置文件中指定 PKEY_ID 参数，Red Hat 系：
DEVICE=ib0.8001 PHYSDEV=ib0 PKEY_ID=0x8001 BOOTPROTO=static IPADDR=192.168.200.10 NETMASK=255.255.255.0
验证配置与常见问题排查
验证 IP 连通性
- 使用
ping -I ib0 192.168.100.20测试与同一 IB 子网内其他节点的连通性。 - 使用
ibping工具进行 InfiniBand 本地的连通性测试（需安装infiniband-diags）。 - 检查路由表：
ip route确认默认路由指向正确的 IB 接口。
手动配置不生效的常见原因
| 现象 | 可能原因 | 解决思路 |
|---|---|---|
ip link set ib0 up 报错 |
驱动未加载或端口未启用 | 执行 modprobe ib_ipoib，检查 ibstat 的端口状态 |
| 配置后 IP 显示但无法 ping 通 | 子网掩码或网关错误 | 核对 IP 规划，确保与对端节点在相同网段 |
| 重启后 IP 丢失 | 未做持久化配置 | 按上述方法编辑配置文件，并设置 ONBOOT=yes |
| 接口未创建 | 没有加载 IPoIB 模块或硬件故障 | dmesg | grep -i ipoib 查看内核日志，检查 HCA 状态 |
专为不同系统习惯的配置方法对比
如果你更习惯使用图形化工具，许多 Linux 发行版的 nmtui 或 nm-connection-editor 也支持 IB 接口的 IP 配置，但采用命令行或配置文件修改的方式更为可靠,尤其是在无图形界面的服务器环境中。
| 配置方式 | 特点 | 推荐场景 |
|---|---|---|
临时 ip addr 命令 |
即时生效，重启丢失 | 测试、快速排错 |
编辑 /etc/network/interfaces |
Debian 系传统方式，系统稳定 | 长期运维的 Ubuntu Server |
编辑 /etc/sysconfig/network-scripts/ifcfg- |
Red Hat 系标准做法 | 企业级 Linux 环境 |
| 使用 Netplan YAML | Ubuntu 18.04+ 新方式，声明式语法 | 新部署的 Ubuntu 系统 |
使用 nmtui 图形界面 |
有交互式菜单，减少手写错误 | 不熟悉配置文件的入门用户 |
如何给 IB 网卡指定多个 IP 地址
在某些场景下，你需要为同一块 IB 网卡附加多个 IP 地址（例如用于管理网络和存储网络）,这与以太网操作类似：
ip addr add 192.168.200.10/24 dev ib0 ip addr add 10.0.0.10/24 dev ib0
持久化配置时，在 Red Hat 系中通过添加 IPADDR1、NETMASK1 等参数实现，Ubuntu 的 interfaces 文件则使用 up ip addr add 命令，多 IP 配置不会影响 IB 本身的性能,但需注意路由规划。
手动给 IB 网卡配置 IP 地址并不复杂，关键在于理解 IPoIB 接口与传统以太网接口的异同，以及采用正确的持久化方式，无论你是临时调整还是固化配置文件，只要遵循检查驱动、确认接口名、配置 IP 并激活这三个基本步骤，就能让 InfiniBand 链路顺利承载 IP 业务。
IB over IP 配置常见问题解答
为什么我的 IB 网卡没有 ib0 接口？
这通常是因为 IPoIB 内核模块未加载或者 HCA 端口未被正确激活，执行 modprobe ib_ipoib 加载模块，然后使用 ibstat 或 ibv_devinfo 检查端口状态，如果端口处于 Down 状态，需要检查物理链路和交换机配置，部分低端 Mellanox ConnectX-2 卡也需要依赖 mlx4_ib 驱动,确保驱动版本匹配。
手动配置 IP 后，P_Key 自动修改了怎么办？
P_Key 是 InfiniBand 分区键，通常由子网管理器（SM）分配，如果你手动配置 IP 后，SM 或 opensm 重新分配了 P_Key，可能导致 IP 配置失效，建议将 P_Key 固定，在 IB 交换机上为该端口设置一个静态 P_Key 值，并在主机端通过 echo 0x8001 > /sys/class/net/ib0/create_child 创建对应子接口，再对该子接口配置 IP。
同一个 IB 网络内，IP 地址冲突会怎样？
与以太网类似，IP 地址冲突会导致网络不稳定，通信随机中断，并可能触发 ARP 混乱，IPoIB 使用 ARP over InfiniBand 来解析 IP 到 GUID 的映射，冲突时对端会收到错误的 MAC 地址（GUID）信息，建议在部署前使用 ip neigh 查看邻居缓存，或使用 arping -I ib0 检测待分配 IP 是否已被占用。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/580314.html
