一、测试背景: 客户3D场景测试我司3D桌面云服务器,需要将一块RTX 8000显卡(显存48G)直通给一个虚拟机跑图使用
二、踩坑点 搭建好DLS授权服务器及3D虚拟用户虚拟机机后,3D虚拟机始终无法获取到显卡授权,故障现象如下: ①从3D虚拟机使用命令查看未获取到显卡授权 三、排查思路 ①排查DLS服务器授权是否正常,3D授权服务器授权异常会导致虚拟机无法获取 ②排查DLS服务器时间与3D虚拟机系统时间、时区是否一致,时间不一致也会导致授权无法获取 ③排查DLS服务器到3D虚拟机网络连通性是否正常 ④排查3D虚拟机是否连通DLS授权服务器的对应端口(老版英伟达授权服务器,3D虚拟机和授权服务器通信的端口是TCP 7070,VDI5.5.2及之后如果采用新版DLS授权服务器,3D虚拟机和授权服务器通信的端口是TCP 80和443) ⑤虚拟机内部显卡驱动未安装,或者未安装对应的显卡 ⑥vGPU授权不够,缺少对应的Q或者B系列授权 ⑦授权服务器未开机、授权服务器显卡服务未正常启动 ⑧是否是5.5.2以上的版本,使用了新的授权服务器,客户端没有使用对应的 ⑨检查vGPU服务器当前是否还有剩余授权数且在有效期内 四、最终排查结果 (1)直通显卡授权需要修改3D虚拟机的注册表(修改注册表可参考此链接https://www.dingqian.net/index.php/archives/228/) ①拟机里配置GPU直通以后可以使用NVIDIA官网驱动下载页面直接的驱动,也可以使用vGPU驱动,再加上授权的选择,一共有3种使用方式: 使用官网直接下载的驱动,对于数据中心GPU,不支持图形能力,仅支持计算类负载。 使用vGPU驱动,不额外配置授权,功能特性等同vApps类型,支持简单图形能力,不支持多屏显示,分辨率有限制,不支持高级加速特性。 使用vGPU驱动,配置使用vWS授权,全功能运行,无限制支持图形、计算等所有高级特性。
直通只能使用vWS授权,裸金属部署的情况也与直通相同,详细可以参考: 本文主要介绍使用vGPU驱动下搭配vWS授权的一些额外配置,首先,在驱动安装和授权token使用步骤上,直通与vGPU方式一样。 ②对于Windows虚拟机:在驱动安装,token也放置完成以后,打开NVIDIA驱动控制面板,可以看到默认运行在vApps模式,需要手动点选改成使用第一项RTX vWS,应用即可完成配置。 ③不同版本的驱动界面显示可以略有差异,如果控制面板无法修改配置,可以使用修改注册表的方法。打开注册表编辑器,定位到HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\nvlddmkm\Global\GridLicensing如果驱动版本低于15.0,路径为HKEY_LOCAL_MACHINE\SOFTWARE\NVIDIA Corporation\Global\GridLicensing 在这里添加一个REG_DWORD值,名称为FeatureType,数值为2,改完重启生效。 对于Linux虚拟机:
Linux需要修改配置文件来指定使用vWS授权模式,首先从模板复制一份配置文件 sudo cp /etc/nvidia/gridd.conf.template /etc/nvidia/gridd.conf编辑配置文件 sudo nano /etc/nvidia/gridd.conf
修改其中的FeatureType数值为2
然后重启服务,就可以看到授权已经生效。使用nvidia-smi -q可以查看更多详细信息。
五、本次3D虚拟机为windows系统,需要修改虚拟机注册表,修改完成之后重新获取3D授权正常
六、总结 显卡直通授权需要修改Windows注册表才能正常授权 备注!!本次测试为将A超融合中已经搭建好的DLS授权服务器(已申请测试授权)完整导出再导入到B超融合进行3D测试然后重新申请测试授权,在这种场景下本次授权正常,但是建议不要这么干,dls不能导入导出再使用,需要重新部署,本次比较幸运,通过导出再导入另外一个集群授权正常,但是建议小伙伴们不要干哦!!!按照规范操作。 |