【问题背景】 【排查过程】 1、迁移两虚拟机的运行主机为同主机后,拷贝速率能达到80MB/s
2、同主机iperf3打流带宽500Mb、跨主机打流100Mb,跨主机时带宽跑不上来。
3、超融合主机cpu、内存使用正常
4、vxlan网口采用2个千兆电口,四层信息聚合,是最佳实践部署。
5、跨主机在拷贝文件时虚拟机的磁盘IO速率和时延都正常
6、协调研发抓包分析,同主机场景下server到client的传输都是大包传输,包长接近5万(tcp卸载特性) 跨主机场景下server到client的传输都是1514长度的小包;
从包数量看, 同主机场景传输2.3G文件,包数量约140万左右; 跨主机场景,包数量约 250万;
7、跨主机场景client端cpu负载情况可看到持续有cpu跑到100%:
8、观察到SMB服务端和客户端都存在赛门铁克杀毒软件运行,和客户沟通卸载服务端和客户端的Symantec杀毒软件后,通过共享文件夹传文件可以达到220MB/s,接近vxlan网络2G的带宽上限。
【问题根因】 1、包数量上的差异,同主机场景 收包端pps较小,跨主机场景收包端pps较大; virtio网卡启用卸载特性情况下虚拟机发送tcp包时会根据tso卸载特性发出单包长度较大的报文,长度可达到6万左右; 同主机场景,tcp卸载包可直接转发给目标虚拟机,不需要再根据物理口mtu 1514分片处理; 跨主机场景tcp卸载包会从物理口发出去,因此一定会按照mtu 1514分片; 同主机场景tcp卸载包不需要分片即可发送到目标虚拟机内部,因此传输同样的文件 包数量较少; 跨主机场景tcp卸载包必须分片后发送到物理网络再到目标虚拟机内部,因此包数量较多,即pps高。 2、杀毒软件逐包审计造成性能下降; 赛门铁克杀毒软件逐包审计造成性能下降; pps越高,杀软审计的包数量越多,性能开销越大,带来的性能下降越多。
【解决方案】 1、卸载赛门铁克杀毒软件。 |