本帖最后由 银票小当家 于 2020-6-8 17:49 编辑
一、主机重启 1. 主机重启后，VGA接入显示器看下屏幕显示，是否有硬件故障的显示信息，也可以连接服务器ipmi口查看服务器是否硬件故障 2. 确认虚拟机业务是否HA
热拔SSD服务器就重启 【问题描述】 做高可用性测试时，插拔SSD，每一次拔SSD就可能导致服务器重启，而且再次插回去，识别不了，需要再次将服务器重启后才能再次识别该SSD磁盘。
【处理过程】 1. 磁盘拔除后再插回去，发现识别不到磁盘，重启后识别到了，怀疑是PCIe的SSD 2. 在界面上，存储-磁盘管理，点击该SSD，显示的详情，通常也可以判别是否是nvme的磁盘，确认是PCIe SSD
3. 需要确认，是否测试采购的PCIe的SSD磁盘 【根因】 PCIe SSD直接与CPU进行通信，不支持热插拔。 【解决方案】 高可用测试不应该热插拔PCIe的SSD，改用热插拔其他HDD磁盘。 【建议与总结】 测试前必须先确认磁盘类型，避免热插拔PCIe SSD，此类操作为高风险操作，可能会导致服务器CPU和主板损坏，只有PCIe转M.2的才可以热插拔，再热插拔该类磁盘必须提前确认好。
二、主机离线 1、检查网络是否连通 【问题描述】 集群中有主机离线，内网PC不能ping 通对应的离线主机ip 【解决方案】 1. 登陆集群中其他主机的后台，在其他主机后台尝试ping 离线主机的管理口看是否能通 2. 使用PC直接设备管理口看是否能ping通 3. 查看网口亮灯状态是否正常 4. 确认最近网络是否有调整过
2、检查主机系统盘只读 【问题描述】 集群内主机离线接显示器，显示器内可以看到filesystem read-only字样 【解决方案】 1. 系统盘故障，检查系统盘是否支持 2. 需拨打某公司400电话技术支持
3、检查主机硬件是否正常 【问题描述】 集群中主机开机失败 【解决方案】 1. 开机不载电 现象：电源灯量橘红色，或者不亮 开机不载电
排查：确认电源接头，插座通电情况。 2u单电源一款，确认电源开关是否打开如下图
开机箱检测排线连接情况。 如果以上排查都检测正常，判断为电源或者主板故障，区分电源故障，还是主板故障，可以更换其它设备，正常模块测试。 如果替换模块使用正常，判断为电源模块故障，报修需要更换配件。 如替换模块仍然无法开机，判断为主板故障，报修需要更换配件或机器返厂维修或者使用对接电源24pin线中的绿色线和任意一根黑色线，看电源是否工作。 如果电源能正常工作，判断为主板故障。报修需要更换配件或机器返厂维修 。 如果电源不能正常工作，判断为电源故障。
2. 开机载电无显示 现象：电源指示灯正常，开机VGA 无信号输出。 排查：此现象为主板未启动或者VGA输出有问题 确认故障，显示器电源指示灯由蓝色灯转为橙色灯，任然提示无信号输出。 主板放电测试： a. 断开电源连接线，多次按开关键，重复7-10次左右。 b. 断开电源连接线，去掉CMOS 电池10S以上，重新开机测试。 最简单配置测试（去掉所有扩展卡，保留CPU1和一根内存） 以上方法排查都无法显示，或者开机，判断为主板故障，报修需要更换配件或机器返厂维修。
3. 开机有报警声 现象： 开机有报警声 排查： 此现象为内存/CPU未接触好预警。 外接显示器，查看是否有，指定dimm槽位提示。如图：
如有提示，按提示槽重新插拔内存，如无提示，重新插拔所有内存。 如重新插拔仍然无效，请做缩减内存测试，排查指定内存或者指定dimm槽问题。
4. 自检无法通过 现象：设备开机，主板能够启动，接VGA显示卡，自检界面，有“2F”字样提示：
排查：此处为设备自检，内存未通过，排查方法同开机有报警声。 现象：设备开机，主板能够启动，接VGA显示卡，自检界面，有“91”字样提示：
排查：此处为设备自检，pcie槽配件未通过。 重新插拔，所以PCIE插槽上的扩展卡 去掉所以扩展卡，重新开机 扩展卡逐个使用测试，更换pcie槽测试 以上判断来测试，可以判断扩展卡故障或pcie插槽故障 如果所有卡全部拔掉，仍然有此故障现象，判断为主板故障 报修需要更换配件或机器返厂维修。
5. 无法进系统 现象：设备开机直接进BIOS或者一直卡在如下图界面提示，标示未进系统
排查：此现象为默认启动项内没有系统。 确认系统盘是否被识别，查看BIOS-Boot 选项中的hard disk 选项 确认BIOS-Boot 选项内默认模式为LEGACY 确认系统盘在BIOS-Boot 选项内为首选启动项 根据以上判断，无法排除故障，判断为系统盘不带系统或系统盘故障。
三、虚拟机蓝屏 1虚拟机蓝屏代码 【问题描述】 虚拟机使用异常蓝屏 【解决方案】 1. 观察到蓝屏现象获取蓝屏代码，一般有蓝屏代码，但也有极少数蓝屏没蓝屏代码 2. 遇到蓝屏的问题，优先恢复虚拟机保障正常使用在查原因，可以取消fastIO尝试，查看已知案例（见步骤四）等等方式优先恢复 3. 确认在蓝屏之前正常使用的时候客户这边是否有对虚拟机做过什么改动，比如更新Windows补丁或者业务系统软件补丁，安装新软件等 4. 如果在蓝屏之前有给虚拟机做过补丁更新或者安装过新的软件，给虚拟机打个快照，然后看虚拟机是否可以进入安全模式 a、可以进入安全模式。在安全模式下卸载安装的补丁或者软件在进行开机尝试 b、不可以进入安全模式。可以拨打某公司400技术支持，附操作方法： 让蓝屏虚拟机使用虚拟光驱加载我们的PE工具，里面的ISO文件替换成Dism++.iso，加载完成后使用Dism++工具卸载虚拟机更新，卸载完成后关闭虚拟机，在正常开启虚拟机看虚拟机是否可以正常开启。
2、虚拟机蓝屏生成蓝屏文件 【问题描述】 虚拟机蓝屏没有生成蓝屏文件 【解决方案】 正常情况下都会有蓝屏日志的生成，但是在某些情况下可能没有生成蓝屏日志，可以做下面的尝试 1. 编辑虚拟机不要勾选“异常时重启”
2. 调整虚拟机内部设置 只有设置生成dump文件，蓝屏时才会生成dump文件。有的蓝屏错误导致无法生成dump文件。设置方法如下图：
注意：要生成dump 需要C盘剩余大小比内存要大一些
3检查已知蓝屏问题 【问题描述】 确认是否为已知问题导致蓝屏 【解决方案】 有些蓝屏问题已经有排查确认过问题原因，下面列举已知的蓝屏问题供参考 1. 蓝屏代码0xc000007F 驱动导致或者注册表坏了，建议重新下载驱动，修改注册表 2. 蓝屏代码0xc000007F 注册表坏了1：ConfigFlags值被改了 3. 蓝屏代码0x0000003B 内存错误蓝屏，重新部署VM 4. 蓝屏代码是0x00000050 0x0000005E 中勒索病毒 5. 一些虚拟机蓝屏，反复重启蓝屏中把虚拟机网线拔掉之后就不蓝屏了，说明就是中毒了 6. usguard.sys导致的蓝屏，可能UC浏览器 7. 蓝屏代码0X8E可能是UniAccessAgent 这个软件导致的蓝屏。建议卸载软件，打上windows的补丁 8. 虚拟机蓝屏了，0x00000050，srv.sys中毒了，打勒索病毒补丁包或者开启Windows更新 9. 蓝屏代码0X7B 可能是fastio磁盘问题，去掉勾选fastio尝试 10. XP电脑蓝屏可能是是NTFS驱动损坏了，建议直接还原 11. 打开excel或者浏览器多就会蓝屏(0x00000050,pqk qqm.sys) win7虚拟机2和4G内存，修改成4核8G没有再蓝屏 12. 虚拟机一打开java组件虚拟机就蓝屏 a. 卸载JRE（jave 2 Runtime Environment SE v1.4.1_07），重启VM，然后重新安装此组件。 13. VM蓝屏 趋势驱动导致
四、虚拟机开机异常 1虚拟机开机启动到恢复页面 【问题描述】 开机之后启动就到系统恢复界面
【根因】 启动到这里就不是启动项损坏的问题，而是windows一些启动组件出现问题，可以联系某公司400技术支持。 虚拟机开机卡在booting from hard disk 【问题描述】 开机之后一直停在这个界面
【根因】 1. 操作系统引导项丢失 2. 活动分区失效 可以联系某公司400技术支持。
3、虚拟机开机显示疑难解答，恢复电脑 【问题描述】 虚拟机开机直接蓝屏 【根因】 1. 磁盘驱动不兼容 2. 显卡类型不兼容 【解决方案】 1. 将虚拟机的virtio磁盘去掉
2. 将虚拟机的显卡改成标准VGA（最兼容的显卡）
3. 重新正常启动虚拟机，之后重装下vmtools再关机将上述去掉的东西勾选回来，再开机测试。
4虚拟机开机黑屏 【问题描述】 UEFI方式启动虚拟机，开机卡在黑屏界面
【根因】 UEFI启动方式兼容不太好 【解决方案】 操作下列方案之前，一定记得先给虚拟机打上快照。 1. UEFI改成seabios方式启动 2. 尝试启动虚拟机 3. 如果还黑屏可以联系400技术支持 2.5虚拟机卡慢 2.5.1检查设备负载 【问题描述】 设备负载异常导致虚拟机卡慢 【解决方案】 1. 设备CPU或者内存负载不均衡，卡顿的虚拟机所在主机CPU或者内存负载明显高于其他主机。如果是虚拟机调度不均衡可以迁移部分虚拟机到负载较低的主机上。 2. 核数超配。当一台服务器同时运行虚拟机总虚拟核数超出物理核心太大时容易出现虚拟机内部cpu调度过长整体使用卡慢的问题。虚拟机核数配置越高越容易出现。当主机所有虚拟机核数总和超过物理核数4倍后，会造成卡慢。此时可以适当降低虚拟机的CPU核心。 3. io写压力大或硬件写性能弱，虚拟存储查看io写数据多，写延迟偏高，可以在存储界面查看虚拟存储的时延是否长时间在30ms以上。 同时虚拟机内部使用性能查看器（任务管理器中可点开），看到许多进程的io写延迟很高。
2 检查虚拟机内部 【问题描述】 虚拟机内部异常导致虚拟机卡慢 【解决方案】 1. 检查下虚拟机的配置，是否是配置不足导致的。 2. 某个进程异常，消耗了虚拟机大量的cpu和内存。任务管理器可以看到该进程cpu沾满了虚拟机某个核心或者所有核心。可以和客户沟通找该进程的厂商进行沟通。 3. 虚拟机中毒，吃掉性能可以使用杀毒工具进行扫描。可对虚拟机进行杀毒处理。
3 检查协议或者端口问题 【问题描述】 查看是否为终端和协议问题导致虚拟机卡慢 【解决方案】 1. 更换电脑或者浏览器在超融合的控制台操作虚拟机，体验是否卡顿。 2. 使用物理机mstsc远程到虚拟机对比。
4 检查设备硬件问题 【问题描述】 设备硬件问题导致虚拟机卡慢。 【解决方案】 1. 需要后台测试内存性能，cpu性能，磁盘性能 2. ifconfig检查网口是否有丢包 需要打某公司400技术支持进到后台做测试。
六、虚拟存储私网异常 1.检查存储私网配置 【问题描述】 虚拟存储私网的作用是用于虚拟存储进行读写数据，数据同步，如果虚拟存储出现异常，严重情况下会影响客户业务，甚至导致数据丢失。当虚拟存储私网提示有丢包，不通异常告警，或者是虚拟存储读写出现异常，可以按照以下的步骤对虚拟存储私网进行排查。 一般来说，可以先检查一下aCloud上的虚拟存储私网配置是否正常，有没有主机没有配置，或者存储接口配置错误等情况 我们aCloud虚拟存储私网有三种组网方式可以选择配置： 1. 无链路聚合 实际上就是只有一台交换机，每台主机一根存储线路，该组网出现链路故障或者交换机故障会导致虚拟存储异常。不太可靠
2. 单交换机链路聚合 每台主机两根存储网线接到一台交换机上，需要注意的是交换机不需要配置聚合，只需要配置VLAN让存储口之间能够通信即可。有了链路冗余，单主机一根存储链路故障不影响虚拟存储正常使用。但是如果是一台交换机的情况下，如果交换机出现故障则会导致整个虚拟存储断开。建议是两台交换机做堆叠。实现链路和交换机的冗余。
3. 双交换机链路聚合 双交换机链路聚合是目前较为主推的方案，链路和交换机都有冗余。两台交换机是互相独立的，如果交换机进行了堆叠，那么需要选择单交换机链路聚合组网。并且交换机之间不能有连线，。防止存储数据走交换机的中间连线转发，导致性能瓶颈。如果是两主机环境，两个存储口都是直连的情况下，需要选择组网为双交换机链路聚合。
需要与客户核对虚拟存储组网是如何连接的，交换机是否配置了堆叠。如果配置了堆叠，那就要选择单交换机链路聚合。虚拟存储组网配置错误会导致虚拟存储出现异常。需要谨慎配置，如果配置错误了需要修改存储组网。是需要关闭所有虚拟机才能够进行操作
2检查存储交换机接线及配置 【问题描述】 检查虚拟存储组网配置之后，如果确认无误，但是存储私网依然存在链路不通或者丢包异常。则需要检查交换机接线情况以及网口配置。 1. 无链路聚合：建议交换机上将存储网口单独划入一个VLAN中，防止其他网络的广播组播报文发送到虚拟存储网络中影响存储网络稳定性。确认主机存储口在交换机上有没有插错接口。交换机接口下出了VLAN配置不要再有其他多余的配置。
2. 单交换机链路聚合 单交换机链路聚合：着重强调，虽然说是单交换机链路聚合，但是聚合是在虚拟存储中自动进行聚合的，交换机这段无需做聚合配置。只需要配置VLAN即可。如果是两台交换机堆叠的组网。建议主机的两个存储口分别连接到两台交换机上，防止交换机单点故障引起虚拟存储网络中断。
3. 双交换机链路聚合 双交换机链路聚合：双交换机链路聚合，表示两台交换机是独立的交换机，如果两台交换机是做了堆叠，那就需要配置为单交换机链路聚合。两台交换机之间尽量不要有网线直连，或者通过第三台交换机互联。一定要互联的话，请给互联口划分VLAN与存储口的VLAN隔离开。
需要与客户核对虚拟存储组网是如何连接的，交换机是否配置了堆叠。如果配置了堆叠，那就要选择单交换机链路聚合。虚拟存储组网配置错误会导致虚拟存储出现异常。需要谨慎配置，如果配置错误了需要修改存储组网。是需要关闭所有虚拟机才能够进行操作。 最后就是一定要检查存储口有没有接错交换机端口。由此引发的虚拟存储网络异常问题较多。
3 检查光纤和光模块是否匹配 【问题描述】 虚拟存储私网部署一般都建议使用万兆网口部署，否则会出现带宽性能瓶颈。一般服务器的万兆网口基本上都是光口，需要使用光纤光模块与交换机互联。 光纤光模块是分为多模和单模的。需要配套使用。如果单模光模块使用多模光纤或者是多模模块使用单模光纤。是会导致光模块光衰较大，出现丢包或数据不通问题。 区分光纤光模块的方法： 光模块区分方法：可以将光模块拔出，查看光模块的型号，如果型号中带有SM那就是单模光纤。模块型号中带MM那就是多模光纤 如下图所示就是多模光模块：
一般光纤可以通过光纤跳线的颜色进行区分： 单模光纤(Single-mode Fiber)：一般光纤跳线用黄色表示，接头和保护套为蓝色；传输距离较长。
多模光纤(Multi-mode Fiber)：一般光纤跳线用橙色表示，也有的用灰色表示，接头和保护套用米色或者黑色；传输距离较短。
如果是光纤光模块不匹配，则需要协调进行光纤或者光模块的更换。确保光纤光模块的配套使用。 一般情况下，如果有告警网口偶尔丢包，并且网口是使用光纤光模块的情况下，建议是优先更换光纤光模块观察。
七、 虚拟存储卡慢 1检查虚拟存储延迟及读写速率 【问题描述】 存储上运行的所有的虚拟机都出现卡慢情况，并且虚拟机按照最佳配置进行了性能调优，如勾选fastio，关闭内存回收，开启重要虚拟机，开启大页内存，配置磁盘动态分配或者预分配。那一般都是存储存在问题，需要对存储进行排查，如果虚拟机所在存储为虚拟存储，则可以按照该典型场景的步骤进行排查。 1. 第一步一般先检查一下虚拟存储的延迟和读写速率是否正常。 虚拟存储的延迟可以在aCloud的web控制台上查看。 路径为：存储--总览--虚拟存储性能状况--IO时延趋势
一般正常情况下存储时延是要在50ms以下的。如果在这里看到存储时延一直很高或者偶尔彪高，基本上存储就已经存在异常了，需要进行后续步骤的排查。 2. 如果看存储延迟没有看出什么问题，可以在前台测试一下虚拟存储的读写速率，看是否有读写速率过低或者异常的情况。 路径为：实体机--主机详情--主机可访问存储--重新检测存储最大IO速率
可以多检测几次，看是否存在读写速率过低或者远低于正常值的情况。 一般情况下，缓存盘是intel企业级SSD，存储带宽是万兆。检测虚拟存储读写一般读能够达到1GB/S以上，写入500MB/S以上。 可根据当前的实际磁盘配比以及存储私网带宽去评估测试的速率是否正常（存储测速或优先保障虚拟机正常的IO读写，虚拟机读写IO较高的情况下，前台测速会有较大的误差，需要注意）根据获取的读写IO检测结果，进行下一步的排查。
2检查主机存储IO状态 【问题描述】 检查虚拟存储内磁盘IO是否正常，可以通过如下几种方式检查： 1. 先在前台通过一键检测检查磁盘性能： 默认磁盘性能检查没有勾选，该功能需要在业务不繁忙的时候进行检测。检测磁盘性能可能会导致业务卡顿，需要征得客户同意的情况下再操作 查看数据盘以及缓存盘是否存在IO或者吞吐过低的情况。如果出现某一两块磁盘IO吞吐异常，需要具体排查该磁盘是否存在坏道或者其他故障。 如果还有问题，可以联系某公司400技术支持。
八、虚拟存储数据丢失 1虚拟存储数据丢失损坏 【问题描述】 当虚拟存储内的虚拟机出现磁盘损坏无法启动，或者是内部数据丢失的情况。这种情况如果急需恢复业务，可以先检查虚拟机之前是否做过备份或者快照。 【解决方案】 查看是否可以通过快照备份恢复虚拟机业务或者恢复虚拟机数据。 查看虚拟机是否存在快照或者备份可以点击进入虚拟机详情页面查看：
一般情况下，建议是通过恢复出一台新的虚拟机出来进行恢复，以免出现覆盖原虚拟机导致新数据丢失的问题。
如果没有打快照做备份，或者是通过快照及备份无法恢复虚拟机数据，则第一时间联系某公司400技术支持，切勿乱删除或者操作虚拟机。
九、 虚拟网络不通 1检查虚拟机和交换机IP配置 【问题描述】 在处理aCloud网络类问题时，经常会碰到部署业务之后反馈虚拟网络不通的情况，一般如果是碰到虚拟网络不通，需要先获取如下信息： 1. 是到同网段虚拟机还是到网关不通，或者是到其他网段的设备不通 2. 只有个别虚拟机存在网络不通的情况还是所有的虚拟机都有问题 3. 是一直都有不通问题还是不定时出现问题 如果是新部署的虚拟机，反馈到同网段的主机不通或者是跨网段访问不通，有可能是由于虚拟机的IP地址和掩码配置错误。比如说原本是172.16网段的地址配置成了172.168网段，就会导致虚拟机与同网段的其他地址不通，因为网段都不一样了。 如果是掩码配置错误，比如原本是172.16.1.10/24网段，不小心掩码配置成了172.16.1.10/16，则会导致一种现象就是同网段的地址和虚拟机都能通，但是跨网段访问如172.16.2.0/24网段就不通了。因为虚拟机认为是172.16.2.0的地址是跟自己一个网段的，同网段访问不会找网关，直接就发ARP包请求mac地址去了。 【解决方案】 具体可以通过查看虚拟机的IP和掩码配置是否正确确认 1. windowx虚拟机可以通过查看网络适配器详细信息或者是CMD使用命令ipconfig查看：
2. linux虚拟机可以通过查看网卡配置文件/etc/sysconfig/network-scripts/ifcfg-xxx或者使用ifconfig查看网卡配置文件，也能顺便检查网卡配置是否正确
查看ifconfig信息
如果检查虚拟机IP配置无问题，则需要检查交换机配置。
2检查端口聚合配置及状态 【问题描述】 业务口是聚合口的场景出现虚拟机网络不通的问题，需要着重检查两端聚合的配置和状态。 1. 检查aCloud聚合配置是否正确，从590版本新增了主备配置，但是主备配置是针对对端交换机无法配置聚合的场景下使用的，如果aCloud这边配置了主备模式，而交换机又配置了聚合。那么就会导致业务口数据不通。拔掉聚合口的任意一根线就能够恢复正常通信。
2. aCloud是普通聚合，则需要检查物理交换机的聚合配置。aCloud目前只支持静态聚合，交换机配置聚合时，不能够选择LACP聚合，只能使用static的方式手工捆绑端口。如果交换机配置的是动态聚合，则会直接导致网口无法选中，数据无法转发。 检查聚合口状态（以华三交换机配置为例）： 执行display link-aggregation verbose检查聚合口状态，查看聚合口的成员端口状态是否为S选中状态，如果是S状态，则表示成员端口已启用，聚合配置无问题，如果是U未选中状态，则可能是聚合口配置有问题，或者是交换机接线错误导致端口状态是down的。
十 、虚拟网络丢包 1检查是否有IP或mac地址冲突 【问题描述】 当虚拟机出现丢包问题时，首先确认是否是共性问题还是个别虚拟机丢包，如果是个别虚拟机丢包，大概率是由于存在IP或者mac地址冲突导致的。某些物理机做了P2V迁移，然后虚拟机接入了网络，但是原物理服务器也没关机或者自动开启了，就会导致出现访问虚拟机丢包的情况。因为IP地址一样，所以有时候访问数据会发动到另外一台设备上去。 【解决方案】 检查IP地址冲突方法： 1. 在同网段的linux虚拟机上使用arping的方式，看是否会有不同的mac地址的回显：
2. 检查同网段虚拟机或者是交换机的arp表项，看是否出现IP与虚拟机mac地址不匹配的情况，windows虚拟机可以通过arp -a查看arp信息： linux虚拟机可以通过arp命令查看学习到的arp表项
2检查物理网络是否存在环路 【问题描述】 二层物理网络由于接线或者配置错误等原因，导致出现环路，但是又没有相应的防环机制的话，就会导致广播和组播数据不断的被洪泛，并且由于二层报文没有TTL值，可以被无限转发。导致二层链路带宽被耗尽，业务和ping包出现严重丢包的情况。 一般情况下aCloud本身是不会导致环路出现的，主要是出现在物理网络。如果出现环路，可以在虚拟网络上看物理出口上是不是会受到大量的广播报文。以及检查物理交换机上看是否存在mac地址漂移的情况。mac地址漂移是指一个mac地址经常从不同的交换机端口学习到。则就可能是这两个接口连接的网络存在环路。 一般这种情况，需要交换机工程师检查交换机接线和配置是否正确。也可以尝试开启STP进行防环。但是连接aCloud主机的接口需要将STP关闭。 | 
楼主
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
来自 # 
发表于 2020-6-14 15:22
技术员2级 
