---------------故事背景--------------------
国庆早上7点钟起来,吃着零食,翘着二郎腿,准备看70周年大阅兵。8点40,接到客户电话,“我们单位这里网络出问题了,视频打不开,网络很慢,赶紧看一下” 开电脑,远程,登陆AC,发现设备登陆页面很卡,艰难登陆首页,看到带宽很高,设备负载吃紧,网络质量差。
尝试发现设备卡死,没有办法操作,是由于设备流量过大导致设备性能不足引起的。登陆出口AF查看wan口带宽已经满负载。 由于远程无法操作,10点钟马上要开始阅兵仪式,于是火速赶往现场。 --------------处理过程--------------------- 9点半赶到客户现场,AC网桥模式部署,笔记本直连AC管理口,无法正常登陆,地址可以ping通,telnet 443端口也是正常的,但是就是登陆页面打不开。 于是采取紧急措施,将AC设备从网络中跳掉,过几分钟,发现还是无法正常登陆,果断重启,等待5分钟,设备可以正常登陆,一切正常,检查设备策略,发现之前做的视频限制和流控功能被关闭了,在加上客户设备本身使用年限比较长,设备都是千兆网口。不做权限控制和流控肯定有问题。 开启AC流控,将设备接入网络,设备恢复正常。 考虑到AC内存不足等性能问题,于是登陆出口AF防火墙,将流控做到AF设备上。
将AC上的流控策略关闭,AC内存马上下来了。流量也下来了,网络恢复正常。
一切弄好,刚好10点钟,阅兵仪式开始,于是跟客户一起欣赏祖国70周年庆典,顺便保障一下。 ----------------原因分析--------------- 往常,上班时间,都是有做流控和视频流媒体等p2p限制的,一到节假日的时候,都会把这些策略停掉,便于值班人员看看视频,下下东西。本次客户也做了同样的操作,谁知道10.1大阅兵这么火爆,直接流量爆表。幸好处置及时,没有造成大影响。 ---------------结束语----------------------- 当天远程看了下其他单位的流量情况,发现基本上都是满负荷情况,几乎人人看阅兵,祖国繁荣昌盛,我们幸福满满。 针对设备性能不足引起的问题,还可以通过上下行设备做端口聚合来提升网口转发速率来优化。拓扑如下。
核心和出口设备做聚合,由于AC设备不支持聚合,我们可以做多网桥来实现。然后通过管理口来管理AC设备。
|