【破障之光】HCI 6.11.1 虚拟机 跨节点运行时进行SMB CIFS 共享文件传输 速度慢问题排查思路分享
  

陈璨 866

{{ttag.title}}
【问题背景】
1、客户两台虚拟机bk和ma是同段ip,接在相同的虚拟交换机上,分别运行在1.3和1.4两个节点。bk虚拟机从ma虚拟机拉取文件的时候,速度只有10MB/s(已按照如下步骤调优https://support.sangfor.com.cn/cases/list?product_id=33&type=1&category_id=28084
   
【排查过程】
1、迁移两虚拟机的运行主机为同主机后,拷贝速率能达到80MB/s
   

2、同主机iperf3打流带宽500Mb、跨主机打流100Mb,跨主机时带宽跑不上来。


3、超融合主机cpu、内存使用正常
   

4、vxlan网口采用2个千兆电口,四层信息聚合,是最佳实践部署。
   

5、跨主机在拷贝文件时虚拟机的磁盘IO速率和时延都正常
   
   


6、协调研发抓包分析,同主机场景下server到client的传输都是大包传输,包长接近5万(tcp卸载特性)
   
跨主机场景下server到client的传输都是1514长度的小包;
从包数量看, 同主机场景传输2.3G文件,包数量约140万左右; 跨主机场景,包数量约 250万;


7、跨主机场景client端cpu负载情况可看到持续有cpu跑到100%:
   


8、观察到SMB服务端和客户端都存在赛门铁克杀毒软件运行,和客户沟通卸载服务端和客户端的Symantec杀毒软件后,通过共享文件夹传文件可以达到220MB/s,接近vxlan网络2G的带宽上限。
   


【问题根因】
1、包数量上的差异,同主机场景 收包端pps较小,跨主机场景收包端pps较大;
virtio网卡启用卸载特性情况下虚拟机发送tcp包时会根据tso卸载特性发出单包长度较大的报文,长度可达到6万左右;  
同主机场景,tcp卸载包可直接转发给目标虚拟机,不需要再根据物理口mtu 1514分片处理;
跨主机场景tcp卸载包会从物理口发出去,因此一定会按照mtu 1514分片;
同主机场景tcp卸载包不需要分片即可发送到目标虚拟机内部,因此传输同样的文件 包数量较少; 跨主机场景tcp卸载包必须分片后发送到物理网络再到目标虚拟机内部,因此包数量较多,即pps高。  
2、杀毒软件逐包审计造成性能下降;
赛门铁克杀毒软件逐包审计造成性能下降; pps越高,杀软审计的包数量越多,性能开销越大,带来的性能下降越多。


【解决方案】
1、卸载赛门铁克杀毒软件。

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

发表新帖
热门标签
全部标签>
2025年技术争霸赛
每日一问
信服课堂视频
新版本体验
GIF动图学习
产品连连看
标准化排查
纪元平台
功能体验
安装部署配置
社区新周刊
【 社区to talk】
技术笔记
运维工具
每周精选
故障笔记
高手请过招
答题自测
排障笔记本
秒懂零信任
技术晨报
技术盲盒
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
2023技术争霸赛专题
卧龙计划
华北区拉练
天逸直播
以战代练
平台使用
山东区技术晨报
文档捉虫
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
排障那些事
西北区每日一问
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
安全效果
云化安全能力
专家说
热门活动
产品动态
行业实践
产品解析
关键解决方案

本版版主

2
0
1

发帖

粉丝

关注

本版热帖

本版达人