InfiniBand网络设计与研究

InfiniBand网络设计与研究

01 引言

随着中央处理器运算能力持续高速提升，高性能计算机研发中对高速互连网络的需求日益迫切。这类网络需解决传统外围元件扩展接口（PCI）的性能瓶颈问题，当前主流方案包括千兆以太网与InfiniBand技术，其中InfiniBand的发展势头最为迅猛。

02 InfiniBand贸易协会（IBTA）

InfiniBand贸易协会（IBTA）成立于1999年，由Future I/O开发者论坛与NGI/O论坛合并组建，成员涵盖惠普、IBM、英特尔、迈络思、甲骨文等300余家行业企业。该组织负责制定并维护技术规范，推动产品兼容性测试，是InfiniBand技术标准化发展的核心推动力量。

03 InfiniBand概述

InfiniBand本质是一种面向处理器与输入/输出设备的数据传输链路，最多可支持64000个可寻址设备。其架构（IBA）作为行业标准，采用点到点交换式设计，主要用于服务器、通信设施、存储设备及嵌入式系统的互联。作为高性能、低延迟的代表性方案，InfiniBand天然具备普适性强、延迟低、带宽大、管理成本低等优势，尤其适合需要多数据流（集群、通信、存储、管理）协同的场景，可连接成千上万个节点。

最小完整IBA单元是子网，多子网通过路由器互联构成大规模网络。子网由端节点、交换机、链路及子网管理器共同组成。InfiniBand的设计初衷是将服务器总线网络化，因此除高性能外，还继承了总线的高带宽、低延迟特性。其采用的RDMA（远程直接内存访问）技术，通过硬件实现跨网络数据直接传输——数据在内存间流转无需操作系统介入或复制，结合NIC（网络接口卡）的可靠传输协议、零复制网络技术及内核内存旁路，显著降低了延迟与带宽消耗。这种特性使InfiniBand在服务器、存储设备的数据交换中，性能优于万兆以太网与光纤通道（Fiber Channel）。

InfiniBand系统由信道适配器（CA）、交换机、路由器、线缆及连接器构成。CA分主机信道适配器（HCA）与目标信道适配器（TCA），其中HCA是服务器、存储设备等端节点连接IB网络的接口，TCA常见于存储设备等嵌入式场景。

InfiniBand的核心优势体现在五方面：支持标准化协议（如SCSI RDMA协议SRP、iSCSI扩展RDMA协议iSER）、传输速率高（当前已达168Gbps，即12倍FDR）、支持RDMA技术、实现传输卸载（将数据包路由从操作系统转移至芯片级）、提供网络分区与服务质量（QoS）保障。

04 InfiniBand数据包与数据传输

数据包是InfiniBand网络传输的基本单元。信道适配器会将信息分割为多个数据包进行传播，完整的InfiniBand数据包包含本地路由报头（LRH）、全局路由报头（GRH）、基本传输报头（BTH）、扩展传输报头（ETH）、净荷（PYLD）、固定循环冗余检测（ICRC）和可变循环冗余检测（VCRC）等模块。

LRH（8字节）：用于交换机转发时确定源端口、目的端口，以及服务等级、虚通路（VL）等参数；

GRH（40字节）：遵循IPv6规范，通过LRH中的链路下一跳头（LNH）标识，负责子网间数据包的正确路由；

BTH（12字节）：明确目的队列偶（QP）、操作码、数据包序号及分段信息；

ETH（428字节）：提供可靠数据报服务；

PYLD（04096字节）：承载应用数据；

ICRC（4字节）：校验源到目的的固定数据；

VCRC（2字节）：处理链路中可变数据的校验。

InfiniBand数据包采用128位IPv6扩展地址，GRH中包含的HCA（源）与TCA（目的）地址，可让交换机快速定位目标设备。物理层支持单线（1X）、4线（4X）、8线（8X）及12线（12X）传输，标准支持的传输速率包括单倍速（SDR）、双倍速（DDR）、四倍速（QDR）、十四倍速（FDR）等，其中DDR/QDR因直通转发技术，特别适合大数据文件传输（如分布式数据库、数据挖掘）。若不同速率（如SDR与DDR）设备互联，子网管理器需支持拓扑透明或采用存储转发方式匹配速率，此时DDR主机会根据连接参数限速传输。

05 InfiniBand架构层次结构

InfiniBand架构采用分层设计，从底层到顶层依次为物理层、链路层、网络层和传输层，各层协同保障网络高效运行。

物理层：作为基础支撑，负责建立物理连接、监测连接状态，并将控制信号与数据传递给上层。具体功能包括端口信号连接、电/光信号传输、硬件管理、电源管理及编码线处理等；

链路层：聚焦数据包的收发管理，提供地址分配、缓冲存储、流量控制、错误检测及数据交换服务，服务质量（QoS）的实现主要依赖这一层；

网络层：承担子网间数据包的路由任务，支持单点传送与多点传送两种模式，但不涉及非IBA协议的路由规则；

传输层：通过通道适配器通信客户端（即“发送”与“接收”工作队列）实现端节点间的数据交互。每个数据包携带的传输报头包含端节点所需的操作指令，支持可靠连接、可靠自带寻址、不可靠自带寻址、不可靠连接四种传输服务类型，或非IBA协议的封装服务。

06 InfiniBand交换机制

InfiniBand采用交换式结构构建网络，这种面向系统容错与扩展的点到点互联方案，通过交换机实现数据包的高效转发。作为子网内路由的核心组件，交换机不仅负责将数据包送达本地路由报头指定的目标地址，还需完成自管理相关操作。其核心功能包括：

端口选择：根据数据包的本地目的标识符（DLID）查询转发表，确定输出端口；

虚通路分配：依据服务等级（SL）与虚通路（VL）映射表，为不同优先级数据分配输出虚通路；

流量控制：采用基于信用的链路级流控机制；

多模式传输：支持单播、多播、广播（多播/广播包会被拆解为多个单播包处理）；

分区隔离：通过分区密钥限制通信范围（仅同一分区内的主机可互访）；

错误校验：执行多维度检查（包括不一致错误、编码错误、成帧错误、包长度错误、包头版本错误、服务级别有效性、流控制合规性及最大传输单元校验）；

服务质量保障：通过VL仲裁机制，优先保障高优先级数据传输。

目前，迈络思、QLogic、思科、IBM等厂商是InfiniBand交换机的主要供应商。

07 InfiniBand与以太网对比

对比传统以太网技术，InfiniBand在数据传输与延迟控制上优势显著。具体来看，InfiniBand的传输速率已突破168Gbps（12倍FDR），远超万兆以太网的10Gbps与10万兆以太网的100Gbps；其支持的RDMA技术通过硬件实现远程直接内存访问，数据无需经操作系统内核即可完成跨网络传输，大幅降低处理器开销与传输延迟，这种特性使其在集群、分布式数据库、数据挖掘等需要高频数据交换的场景中表现更优。

值得注意的是，尽管以太网仍是主流网络技术，但在高性能计算（HPC）领域，InfiniBand的市场占有率持续攀升。当前全球HPC TOP500榜单中，InfiniBand在TOP100系统里已占据主导地位，与以太网的差距正逐步缩小。

08 结束语

随着技术迭代，InfiniBand已成为替代千兆/万兆以太网的重要方案，在GPU、固态硬盘及集群数据库等领域展现出广阔应用潜力。其发展不仅推动了高速互连网络的性能升级，更促进了与iSCSI等技术的深度融合，持续为高性能计算场景提供更高效的连接支持。

版权声明：本站所有文章皆为原创，欢迎转载或转发，请保留网站地址和作者信息。