本帖最后由 小懒 于 2026-11-17 20:45 编辑
深信服HCI集群中,如何将物理网络流量镜像给vSTA?
目录:一、背景与需求 二、实现原理 三、环境及网络拓扑 四、交换机ERSPAN配置 五、HCI与vSTA配置 六、抓包验证 七、测试过程中遇到的一些现象 八、总结与注意事项
一、背景与需求 1、近期在一个项目中,客户采购了深信服态势感知SIP / STA软件,客户环境为深信服超融合HCI集群,计划通过vSIP/vSTA对网络流量进行采集、分析。
2、在查阅官方产品手册时,发现HCI从6.8.0版本开始,已经支持对HCI平台承载的业务虚拟机网卡流量进行镜像,并将镜像流量发送给vSTA。
3、但客户还有一个需求:希望将外部物理网络中的终端电脑的流量也镜像vSTA,而不仅仅是采集HCI内服务器虚拟机的流量。
4、对于这种场景,在查阅相关资料后,暂时没有找到官方手册中关于外部物理交换机流量接入HCI内vSTA的相关解决方案。
5、于是尝试从交换机侧入手,通过ERSPAN功能将外部物理网络流量封装后发送到HCI内的vSTA。
6、经过实际环境测试,vSTA可以正常接收并解析ERSPAN报文。下面将整个实现思路和测试过程整理出来,供有类似需求的朋友参考。
二、实现原理 这里采用的方式并不是通过HCI自带的流量镜像功能实现,而是由外部物理交换机完成流量复制和 ERSPAN封装,再将封装后的报文发送给HCI内的vSTA。
整体流程如下:
1、在物理交换机上配置流量镜像,指定需要采集的源接口。
2、通过ERSPAN功能,将复制的业务流量封装成ERSPAN报文。
3、将ERSPAN报文发送至HCI网络。
4、由HCI内的vSTA网卡接收报文。
5、vSTA对接收到的流量进行解析、检测和上报。
简单来说,流量复制和封装由物理交换机完成,HCI负责转发镜像流量,vSTA负责接收和分析。
三、环境及网络拓扑本次测试环境如下:
| 设备 | 说明 | | 物理交换机 | 华为S7706 | | 超融合平台 | 深信服HCI | | 流量分析软件 | 深信服态势感知vSIP | | 采集组件 | 深信服探针vSTA | | 镜像方式 | ERSPAN | | vSTA 收包模式 | DPDK / AF_PACKET |
环境中,核心交换机华为S7706负责对指定业务接口进行流量复制,并通过ERSPAN将镜像报文发送至HCI内的vSTA。
四、交换机ERSPAN配置 1、注意事项及准备工作 在开始配置之前,需要先确认物理交换机是否支持ERSPAN功能。
并不是所有交换机、所有软件版本都默认支持 ERSPAN。部分设备可能需要额外加载功能插件或补丁。
本次以华为S7706为例:
①确认交换机型号及当前软件版本。
②登录华为官方网站,根据设备型号和软件版本查找对应的ERSPAN功能插件。
③下载与当前设备版本匹配的ERSPAN插件。
④按照华为官方文档要求,将插件上传至交换机并加载。
⑤加载完成后,确认设备已经具备ERSPAN相关配置命令。
本次使用的插件文件:s7700_v200r022c00spc500_erspan.mod
插件加载前,交换机原有的镜像配置功能并没有提供ERSPAN所需的源IP、目的IP等配置参数。加载对应插件后,才可以进行后续ERSPAN配置。
特别提醒: 插件必须与交换机型号、VRP 软件版本匹配。不要直接使用其他型号或其他版本的插件。实际操作前建议确认厂商支持情况,并按照官方指导进行加载。
2、ERSPAN参数规划
本次测试使用以下参数:
| 参数 | 配置值 | 说明 | | 镜像源接口 | Eth-Trunk1/2/4/5 | 需要采集的业务接口 | | 镜像方向 | 入方向、出方向 | 双向采集 | | 镜像出口 | GE1/3/0/22 | 连接到HCI主机 | | VLAN | 26 | 本次测试使用 | | ERSPAN 源IP | 10.0.26.1(任意、但不能冲突) | 外层源IP | | ERSPAN 目的IP | 10.0.26.122(任意、但不能冲突) | 外层目的IP | 具体参数需要根据实际网络规划调整。
3、配置镜像源及ERSPAN配置完成后,可以通过以下命令检查镜像端口状态:
display observe-port
重点检查ERSPAN源IP、目的IP、镜像出口及相关配置是否正确。
五、HCI与vSTA配置 交换机侧配置完成后,接下来需要处理HCI内vSTA的镜像网卡。
1、vSTA镜像网卡 确认vSTA已经部署完成,并且具有用于接收镜像流量的镜像网卡。
采集网卡需要与HCI中承载ERSPAN报文的网络连通。
2、收包模式选择 本次测试中,vSTA提供DPDK和AF_PACKET两种收包模式。
分别使用两种模式进行测试,均可以正常接收交换机发送的ERSPAN报文。
六、抓包验证 完成交换机和vSTA配置后,开始进行抓包验证。
在采集侧抓取报文,可以看到交换机发送的流量已经经过ERSPAN封装。
以其中一条报文为例、报文结构如下:
从抓包结果可以看到:
1、外层Ethernet头部包含源MAC和目的MAC。
2、外层IP头部包含 ERSPAN 源IP和目的IP。
3、GRE协议字段为0x88be,对应ERSPAN。
4、ERSPAN内部封装了原始业务报文。
这说明交换机已经成功将原始业务流量封装成ERSPAN报文,并发送到了vSTA侧。
同时,在vSTA上可以看到相关流量被正常接收和上报给SIP。
七、测试过程中遇到的一些现象 在实际测试过程中,还发现了几个比较有意思的现象,这里一并记录。
1、DPDK和AF_PACKET两种模式均可正常接收分别使用DPDK和AF_PACKET模式进行测试,均能正常收到ERSPAN报文。 说明在本次测试环境下,两种采集模式都可以满足当前的ERSPAN接收需求。
2、vSTA镜像网卡没有配置ERSPAN的目的IP,仍然可以接收报文 测试时,vSTA采集网卡没有配置ERSPAN目的IP10.0.26.122,但仍然能够正常接收和解析ERSPAN报文。
另外,将vSTA中配置的目的IP修改为其他地址后,仍然可以正常接收。
这一现象说明,在当前测试环境中,vSTA的ERSPAN接收并不依赖镜像网卡配置与外层目的IP相同的地址。
但这属于本次环境下的实测结果,不能直接认为所有版本和部署方式都不需要配置目的IP。
3、外层目的MAC地址变化 测试过程中还发现,当交换机上存在ERSPAN源IP对应的VLANIF接口时,抓包中外层目的MAC 显示为广播MAC:ff:ff:ff:ff:ff:ff
删除对应VLANIF接口后,外层目的MAC则变成了默认路由下一跳设备的MAC地址。
目前已经记录了这一现象,但具体的MAC地址选取机制还需要结合华为ERSPAN插件的实现进一步确认。
八、总结与注意事项 通过本次测试,验证了利用外部物理交换机ERSPAN功能,将物理网络流量引入深信服HCI集群内vSTA的可行性。
这种方式与HCI原生虚拟机网卡流量镜像不同:
1、HCI原生流量镜像:由HCI平台负责复制虚拟机网卡流量。
2、本文介绍的方式:由外部物理交换机负责复制和封装流量,HCI负责转发,vSTA负责采集和上报。
最后补充几点注意事项:
①物理交换机需要支持ERSPAN,部分型号或软件版本可能需要额外加载插件。
②ERSPAN插件必须与交换机型号及软件版本匹配。
③需要提前规划ERSPAN源IP、目的IP、镜像出口及网络路径。
④HCI网络需要能够正常承载ERSPAN报文,并确保报文能够到达vSTA采集网卡。
⑤正式部署前建议进行持续流量测试,重点关注采集丢包、网卡性能及vSTA处理能力。
以上是本次实际环境中的测试过程和一些经验,希望能给有类似需求的朋友提供一点参考。也欢迎大家交流其他实现方式。 |