盛科交换机配置基于DSCP的RoCEv2-无损网络

本文最后更新于 2024年2月4日 晚上

简介

当前HPC高性能计算、分布式存储、AI人工智能等应用采用RoCEv2网络替代传统的TCP/IP网络,来降低CPU的处理和延迟,提升应用的性能。然而,这些分布式高性能应用的特点是“多打一”的Incast流量模型,对于以太交换机,Incast流量易造成交换机内部队列缓存的瞬时突发拥塞甚至丢包,将会带来应用时延的增加和吞吐的下降,从而损害分布式应用的性能。因此,针对RoCEv2流量实现的智能流量分析功能,将对设备经过的RoCEv2流量通过ACL匹配特征报文,上送至TAP后分析其丢包、时延、吞吐和路径信息,实时监控RoCEv2网络状态。

基本概念

RDMA(Remote Direct Memory Access),远程直接内存访问功能,用于InfiniBand网络,是一种直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机,数据从一个系统快速移动到远程系统存储器中,无需双方操作系统的介入,不需要经过处理器耗时的处理,最终达到高带宽、低延迟和低资源利用率的效果。

RoCE(RDMA over Converged Ethernet),允许应用通过以太网实现远程内存访问的网络协议,是将RDMA技术运用到以太网上的协议。目前RoCE有两个协议版本,RoCEv1和RoCEv2。

业务需求

VMware vSAN的 RoCEv2 网络照要求划分到优先级 3 和 6,开启 PFC 和 ECN 功能,实现无损网络。

交换机使用盛科E680系列交换机,版本为 v7.4.8。

策略配置

ECN 配置策略

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#配置优先级 3 及优先级 6 的 ECN 策略
class-map type traffic-class ecn-pri-3
match traffic-class 3
exit
class-map type traffic-class ecn-pri-6
match traffic-class 6
exit
policy-map type traffic-class ecn-pmap
class type traffic-class ecn-pri-3
random-detect maximum-threshold 8192 minimum-threshold 64
exit
class type traffic-class ecn-pri-6
random-detect maximum-threshold 8192 minimum-threshold 64
end
#将 ECN 策略应用至对应的物理接口
interface eth-0-1
service-policy type traffic-class ecn-pmap

PFC 配置策略

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#将 DSCP=26(af31)映射到优先级 3,将 DSCP=48(CS6)映射到优先级 6
class-map type qos pfc-pri-3
match dscp af31
exit
class-map type qos pfc-pri-6
match dscp cs6
exit
policy-map type qos pfc-pmap
class type qos pfc-pri-3
set traffic-class 3
exit
class type qos pfc-pri-6
set traffic-class 6
end
1
2
3
4
5
#将映射策略应用到对应的物理接口,并开启对应物理接口优先级 3 和优先级 6 的 PFC 功能
interface eth-0-1
priority-flow-control mode on
priority-flow-control enable priority 3 6
service-policy type qos input pfc-pmap

物理接口最终配置

1
2
3
4
5
6
7
8
9
10
interface eth-0-4
switchport mode trunk
switchport trunk allowed vlan add 222,223
priority-flow-control mode on
priority-flow-control enable priority 3 6
service-policy type qos input pfc-pmap
service-policy type traffic-class ecn-pmap


# 注意交换机与其他交换机互联接口也需要配置。如果需要相互发送RDMA的话。

汇聚口配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# Agg口配置较为特殊,下面为示例

interface eth-0-27
switchport mode trunk
switchport trunk allowed vlan add 222,223
switchport trunk allowed vlan remove 1
priority-flow-control mode on
priority-flow-control enable priority 3 6
service-policy type traffic-class ecn-pmap
channel-group 1 mode active
!
interface eth-0-28
switchport mode trunk
switchport trunk allowed vlan add 222,223
switchport trunk allowed vlan remove 1
priority-flow-control mode on
priority-flow-control enable priority 3 6
service-policy type traffic-class ecn-pmap
channel-group 1 mode active
!
interface agg1
switchport mode trunk
switchport trunk allowed vlan add 222,223
switchport trunk allowed vlan remove 1
service-policy type qos input pfc-pmap

参考

参考盛科RDMA2.0 文档
参考华为文档:https://support.huawei.com/enterprise/zh/doc/EDOC1100198802/5d4312fb


盛科交换机配置基于DSCP的RoCEv2-无损网络
https://songxwn.com/switch-ROCEv2-DSCP/
作者
Song
发布于
2024年2月4日
更新于
2024年2月4日
许可协议