vGPU? 没问题中的没问题！
随着超融合概念的兴起，同时也伴随着显卡虚拟化vGPU技术的日渐成熟。如今，制造，媒体，政府，教育等行业vGPU VDI需求又如雨后春笋般重新被挖掘。VxRail V470正是应用到此场景的超融合解决方案产品，可以支持NVIDIA M10/M60等vGPU显卡。
但是，vGPU如同所有SDDC软件定义数据中心概念，比如软件定义存储、软件定义网络一样，愿望是美好的，现实是骨感的。由于软件定义的产品需要调用底层物理设备，因此必须要与底层物理设备有一定的耦合性，也就是需要有兼容性列表，并不是可以拿来就用，用户往往容易忽视这点：
以往应用层，并不是程序有多么强悍，而是微软Windows帮我们做了兼容性这一层。不得不说几十年Windows的强大统治力，以至于所有非专业领域的硬件做出来第一件事就是要有Windows驱动。哪怕排第二的Linux，即使安装在常用PC上也会经常出现无驱动无法使用的问题。
而有的超融合产品宣称可以支持所有硬件平台，我想那并不是因为超融合软件做的多么适用性，而是底层的vSphere多年来相当于成为了虚拟化的一个标准，并且有广泛的兼容性。超融合软件只不过是vSphere的一个虚拟机。
对于vGPU也并不是拿来显卡，插到一台留有PCIe插槽的服务器就用的。根据以往的经验总结，至少要考虑以下方面：
服务器和Hypervisor兼容性
首先，就是服务器兼容性检查，不是所有服务器都可以使用vGPU卡，NVIDIA官网有详细的列表。http://www.nvidia.cn/object/grid-certified-servers-cn.html
除了确认硬件兼容性，运行在服务器上的Hypervisor虚拟化层的软件和版本也是有要求的。
显卡和服务器散热方式
还要特别注意服务器的散热方式，与所要购买的显卡散热方式是否相同，GPU是非常强劲的芯片，发热量可观，如果出风口位置不同，散热出现问题，会引起vGPU卡甚至整个机箱温度过高，工作不正常。然后，就是PCI-E槽位的类型和速率一定要匹配。
vGPU卡供电
另外一个容易忽视的问题就是vGPU卡的供电。vGPU卡功率较大，一般需要单独供电，既要有服务器厂家机箱内部的电源线，也要使用vGPU卡附带的转接线。在供电不正常的情况下，同样会出现莫名其妙的问题。
BIOS设置优化
然后是BIOS的设置和优化，不同厂家服务器的BIOS不同，配置的细节选项也是各不相同。如果配置不正确，vGPU卡会不工作。
vGPU卡工作模式切换
还有切换显卡模式， M60和M10同时支持计算模式和图形模式，经常使用到的vGPU是图形模式，而显卡出厂时一般默认是计算模式。所以就需要在使用前，利用原厂工具在Hypervisor底层将显卡都切换为图形模式。
以上可以看到，vGPU使用时需要大量的注意点，而这些往往又是最容易忽视的。而且每个服务器不一样，又没有统一的标准。某个细节方面没有注意到，就可能花费大量时间调试，甚至无法正常工作。
VxRail V470超融合正是解决了这一难题，底层包括软硬件兼容性、散热方式，供电问题，BIOS调试都已经预设好。并且出厂就将vGPU设置成了图形模式，不需要再由用户切换。
当然，vGPU软件的相关安装工作还是少不了的。从测试来讲，仅需要四步vGPU相关的安装步骤：
下载vGPU软件和测试许可
安装vSphere vGPU插件
安装许可证服务器
安装VDI虚拟机驱动
下载vGPU软件和测试许可
访问：http://www.nvidia.com/grid-eval
输入相关信息注册用户
注册成功后，NVIDIA会发送邮件到邮箱，其中有许可激活代码。再登录网站：https://nvid.nvidia.com/dashboard/ ，输入激活代码就可以得到测试许可。
然后可以下载相关的软件，请注意好版本。另外，建议将 GPU Mode Switch Tool，License Manager，vGPU Manager Pack也下载。
安装vSphere vGPU插件
首先确认下载的VIB包没有问题。（其余的exe文件是安装在VDI桌面的驱动）
然后将ESXi置于维护模式，再通过比如SCP工具将VIB拷贝到ESXi目录，执行以下命令安装VIB。重启ESXi。
安装许可证服务器
安装一台Windows 2008或以上，作为License Server。然后提前安装Java，注意：虽然提示Java 7及以上支持，但建议安装Java 8，因为Java 7碰到过坑。
基本就是一路Next安装下来。唯一注意就是将此两个默认端口选上，并且环境中保证7070通信端口和8080管理端口开放。
安装好后，可以访问http://10.99.2.20:8080/licserver/，就可以上传License了。
安装VDI虚拟机驱动
现在有了vSphere vGPU底层插件和License服务器，只差一步就可以使用vGPU啦。注意，想要配置vGPU的虚拟机一定要运行在安装了vGPU卡的节点上，在编辑设置里，添加Shared PCIe设备，就可以看到NVIDIAGRID vGP设备了，并可以在下面选择具体的vGPU型号。
打开虚拟机，可以看到有两个显卡设备，但其中有一个没有安装驱动。
在下载的包中，包含了不同平台的驱动，选择正确的安装，一路Next，重启。
重启后，在NVIDIA控制面板中输入License Server的地址。再打开设备管理器，vGPU显卡已经出现啦！
请注意，安装好vGPU驱动后，vSphere Web Client就已经不显示虚拟机的Console了，所以安装驱动时最好使用RDP远程桌面或VNC等工具。
很简单吧，后续还会有更详细的评测报告。想了解详细配置步骤的朋友请给我留言吧！
附：常用调试命令
Putty登录到ESXi主机。
~: nvidia-smi 可以查看到vGPU显卡每个芯片的工作状态，入当前功率，绑定CPU槽，使用显存情况，虚拟机占用情况等。
~：nvidia-smi vgpu -l 可实时查看每台虚拟机对vGPU的利用率和所用CPU核
~:nvidia-smi vgpu -p 可实时查看所有虚拟机中每个程序对vGPU的占用情况。
本文作者是“德克萨斯的牛仔”，相信各位EMC粉丝应该都不陌生了吧。作为EMC技术部的员工，他在技术方面有非常深入的了解，大家若是对技术感兴趣，不要错过他的公众号哟~
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点vGPU分享-如何注册license服务器vGPU分享-如何注册license服务器益肤达人百家号前几篇文章中，有说到，如何申请测试license，但是很多人并不知道申请之后，还需要进行MAC地址注册。怎么申请授权主机？1、 进入英伟达企业门户控制面板2、 选择注册授权服务器输入授权服务器的MAC地址注意： 不需要横杠，不然会无法授权3、 填入备用license地址，并命名主机4、 对license服务器进行分配授权5、 选择map-on6、 分配完毕之后，选择download license file 下载文件，然后导入到license 服务器即可。至此 测试license在英伟达官网分配完毕本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。益肤达人百家号最近更新：简介:没有护理不好的肌肤，只有不科学的护肤方式作者最新文章相关文章NVIDIA M60基本说明
<span type="1" blog_id="1866764" userid='
分享到朋友圈
好的文章，和好友一起分享中文 - 歌单 - 网易云音乐
播放：5097次
网易云音乐多端下载
同步歌单，随时畅听320k好音乐
网易公司版权所有(C)杭州乐读科技有限公司运营：
违法和不良信息举报电话：6
举报邮箱：【交流】GPU场景知识分享二
----M60显卡安装部署
最新回复： 10:57:07
M60显卡安装部署说明
本文档旨在为GPU项目在部署或者简单演示，提供部署详细指导。包括硬件安装、M60 License服务器部署及注意事项、显卡驱动安装与更新
2M60环境安装部署
2.1M60显卡的安装
2.1.1M60显卡的物理安装
M60显卡安装于RH2288H
V3服务器，需要准备好Riser卡和显卡电源延长线（与K系列显卡一样，M60显卡是通过安装在Riser卡上，再接入服务器主板上，由主板或Riser为显卡提供供电。显卡电源延长线有时也被称为显卡电源线。）
M60显卡安装于E9000
CH220V3，将M60显卡安装于主板的扩展盒中，不需要Riser卡，需要显卡电源延长线。
兼容服务器参考：
http://www.nvidia.com/object/grid-certified-servers.html
1）每个服务器最多可接入两块M60显卡，每块显卡 峰值功率 300W，且需要专用的电源线为GPU供电，更多服务器配置信息及注意事项请参考：华为服务器兼容性助手
2）BIOS配置：
在BIOS菜单“Advanced--Misc
Configuration”中“Pci 64-bit Decode”的配置应为Enabled。
作用：设置pci 64-bit Decode功能，启用本功能后，外接设备被分配的地址空间可以大于4GB。
说明：出厂默认为Enabled，请确认配置为
3）RH2288H
V3的Riser卡购件中，包括了显卡的显卡电源延长线。而E9000
CH220V3中，需要单独采购显卡的电源延长线。具体可以见下文中的附件。
2.1.2附1：RH2288H V3参考配置
RH2288H V3
RH2288H V3
BC1M02HGSA
RH2288H V3 (8*2.5英寸硬盘机箱)H22H-03
BC1M01FGEA
SM210板载网卡-4xGE电口(Broadcom 5719)-RJ45
BC1M03FANA
8056 Plus风扇组件
BC1M26RISE
PCIe提升卡-2槽位(x16,x16)-GPU专用-适用RH2288H V3
750W白金交流电源模块
Haswell EP CPU
Haswell EP CPU
英特尔至强E5-.2GHz/8-core/20MB/135W)处理器(带散热器)
RDIMM内存-16GB-2400MT/s-2Rank(1G*8bit)-1.2V-ECC
硬盘(带拉手条)
硬盘(带拉手条)
N300S1210W2
通用硬盘-300GB-SAS 12Gb/s-10K rpm-128MB及以上-2.5英寸(2.5英寸托架)
RAID卡及配件
RAID卡及配件
BC1M03ESMN
SR130(LSI3008)
SAS/SATA RAID卡-RAID0,1,1E,10-不支持带外管理-12Gb/s-no
Cache-适用RH2288 V3/RH2288H V3的8&24硬盘机箱
GRID vWS Perpetual License, SUMS 1st year
2.1.3附2：E9000 CH220 V3参考配置
刀片基本配置
刀片基本配置
刀片主控板
刀片主控板
IT11GRUB05
4*X8+2*X16
PCIe资源扩展单元-CH220 V3
Haswell EP CPU
Haswell EP CPU
英特尔至强E5-.2GHz/8-core/20MB/135W)处理器
RDIMM内存-16GB-2400MT/s-2Rank(1G*8bit)-1.2V-ECC
硬盘(带拉手条)
硬盘(带拉手条)
N300S1210W2
通用硬盘-300GB-SAS 12Gb/s-10K rpm-128MB及以上-2.5英寸(2.5英寸托架)
RAID卡及其它配件
RAID卡及其它配件
BC0MESMCE600
RU120(LSI2308)
SAS/SATA RAID卡-RAID0,1,1E,10-6Gb/s-no Cache
IT1DMGEA0100
MZ110-4*GE端口扣卡,PCIE 2.0 X4
GRID vWS Perpetual License, SUMS 1st year
电源电缆-0.55m-(H2X4(4.2))-(3*18UL1007红+5*18UL1007黑)-(H2X4(4.2)-I)-GPU电源线
2.1.4附3：附图：显卡电源线连接示意图
说明：以下仅以RH2288H V3为例，说明显卡的电源延长线如何连接，最后将Riser卡直接接在主板上。
图1_RH显卡完成电源连线后，效果图如下：
原则：白色接口对白色接口，黑对黑。
图2_M60显卡逻辑图如下：
当是RH2288H V3时，图中显卡的电源线连接至Riser卡的电源接口。
当是E9000 CH220 V3时，图中显卡的电源线连接至主板上电源接口。
图3_M60显卡拆箱硬件图，自带1分2的电源线（因为显卡自带的1分2的电源线很短，所以需要显卡电源延长线），效果图如下：
图4_RH2288HV3_需要购买的Riser卡（带有显卡电源线延长线），如果是E9000 CH220 V3，则需要购买显卡的电源线延长线
2.2M60驱动安装
切换图形模式：
M60区分为科学计算模式和图形模式，M60默认为计算模式，需要设置为图形模式。安装主机驱动前，需要切换到图形模式。
具体操作步骤，参考FusionCloud桌面云解决方案文档中“安装与调测”-&“特性指南”-&”F112_高性能图形处理(GPU硬件虚拟化)”-&”创建M60 GPU虚拟机”中的“切换图形模式”。
驱动安装：
M60显卡的使用，需要在服务器和虚拟机上，安装同一套驱动程序。
例如：（以下仅为举例，请以实际版本为准）NVIDIA-GRID-UVP-367.64-369.71
需要在服务器安装：NVIDIA-vGPU-uvp-210.0-367.64.x86_64.rpm
为虚拟机绑定显卡，然后虚拟机上安装对应 OS下的驱动：例如369.71_grid_win8_win7_server2012R2_serverbit_international.exe
在服务器上，安装或是卸载显卡驱动后，请重启服务器。
安装成功的标准：ssh登录服务器：以root权限，执行nvidia-smi，返回gpu的使用情况，无报错。如下图所示：
具体操作步骤，参考FusionCloud桌面云解决方案文档中“安装与调测”-&“特性指南”-&”F112_高性能图形处理(GPU硬件虚拟化)”-&”创建M60 GPU虚拟机”中的“安装主机驱动”。
3M60 License服务安装部署
3.1GRID License授权的工作原理
GRID License 授权架构
通过上图我们可以看到，GRID分为三个版本（虚拟工作站vWS、虚拟PC和虚拟应用vApps），当带有VGPU的虚拟机运行的时候会请求License服务器中的License授权，根据License服务器中的GRID License版本，加载不同的VGPU驱动（普通驱动和专业卡驱动）。我们可以看到虚拟PC和虚拟应用的License加载的都是普通的显示驱动。
整个License获取和释放的过程发生在如下两个阶段：
License获取阶段：
虚拟机在启动的时候通过访问License服务器的地址+端口7070发起License的请求，当正常获取License后加载GRID驱动。
License释放阶段：
当关闭虚拟机的时候，之前虚拟机获得的License会自动释放，还回到License服务器中。
需要明确的一点：当虚拟机处于关闭状态的时候是不占用任何的GRID License的。此外如果客户使用的是K1，K2的GPU是不需要License授权的。只有在使用 Tesla M60 GPU 时，GRID 虚拟工作站或虚拟 PC 的授权版本须经由网络从 NVIDIA GRID
License 服务器获取到 license，激活使用。
3.2GRID License服务器部署流程
3.3License server平台支持规格
3.3.1虚拟机规格
支持操作系统
7 32/64bit、
Windows8/8.1,32/64bit、
server 2008R2
Hat Enterprise Linux 7.1 64bit、
目前仅支持英文Windows、Linux操作系统。
3.3.2虚拟机创建
可直接通过FC进行创建，确保硬件配置能够满足上面的规格要求。
3.3.3安装操作系统
根据用户实际使用需求安装所需的操作系统，平台所支持的系统类型，参考章节（虚拟机规格）。
3.3.4注意事项（重要）
3.4License server软件包获取
3.4.1进入官网
https://www.nvidia.com/en-us/design-visualization/solutions/virtualization/
点击下载软件链接：Software Download
3.4.2跳转至登录界面
如果之前有过NVIDIA帐号，请在注册界面点击下方的
如果从未申请过NVIDIA帐号，请先注册，然后登录注册邮箱激活你的帐号。
3.4.3登录NVIDIA账号
如果已存在NVIDIA账号,在注册界面点击下方cancel后，登录NVIDIA账号，
或直接输入：https://nvid.nvidia.com/dashboard/ 登录NVIDIA账号
3.4.4获取License 软件安装包
依次点击: Software & Services
Product Information àNVIDIA Grid,进入下载页面
点击icense Manager for windows/License
Manager for Linux 链接，下载所需软件包
3.4.5License软件包介绍
通过上述步骤，可以下载到License Manager压缩包：
NVIDIA-ls-windows-XXXX.XX-XXXX.zip
NVIDIA-ls-linux-
XXXX.XX-XXXX.tgz
Windows安装包，解压后可获取：
：用于安装于Windows 虚拟机上
GRID License
Server User Guide.pdf
：Windows License 服务器用户指南
GRID License
Server Release Notes.pdf
：Windows License服务器版本说明
Linux安装包，解压后可获取：
：用于安装于Linux虚拟机上
GRID License
Server User Guide.pdf
：Linux License 服务器用户指南
GRID License
Server Release Notes.pdf
：Linux License服务器版本说明
3.4.6获取产品激活密钥（PAK）
获取方法一：
从NVIDIA销售处，下单并处理订单后，您会收到包含产品激活密钥的欢迎电子邮件。此邮件包含产品激活密钥（PAK）以下是欢迎电子邮件的示例：
获取方法二：
如果下单后只拿到许可密钥，可以通过许可密钥为您的账户兑换产品激活密钥（PAK），
依次点击：Software & Services
Redeem Product Activation Keys,进入Redeem Product
Activation Keys页面,在下方表单中输入许可密钥进行兑换：
详细请参阅《GRID-Quick-Start-Guide-August-2016》
3.5Windows 7平台License
server安装
3.5.1安装Java运行环境及要求
从www.oracle.com下载当前的Java
32位安装包，并安装在win7_32bit虚拟机上
3.5.2License server 安装
在win7_license服务器上，解压获取到的License软件安装包，NVIDIA-ls-windows-XXXX.XX-XXXX.zip包，运行setup.exe
选择： “I accept the terms of the license
Agreement” à点击
选择： “I accept the terms of the license
Agreement” à点击
可自定义安装路径，这里选择默认，点击 N
默认勾选： “License server(port 7070)”，需要勾选上“Management interface （port
8080）” à点击 N
点击“Install”
安装完成，点击”Done”，完成安装。
验证许可证服务器是否正常运行，在win7_license服务器主机上打开Web浏览器并连接到http：// localhost：8080 / licserver，显示License管理界面。
如未显示管理界面，请参阅《GRID License Server User Guide》，第4章中的故障排除。
3.5.3获取License文件
步骤1：获取MAC地址
在License管理界面，打开License
Server Configuration，通过Server host ID,获取到MAC地址，如下图所示：
步骤2：注册License服务
在有公网的办公机上，打开NVIDIA官网登录到”NVIDIA
SOFTWARE LICENSING CENTER”页面。
依次点击: Grid Licensing
Register License Serverà,进入Register
License Server页面,将获取到的MAC地址，输入“MAC address”中，并点击“Create”，如下图所示：
创建完成后，需要进入分配license页面。
注意：如果没有执行本步骤，会导致导出的BIN文件中，没有真实可用的license信息。
然后点击Map Add-Ons，会显示目前账号一共可以分配的用户数。
在Qty to Add框中填入需要分配的用户数量，然后点击Map
Add-Ons就完成了分配。分配的数量可以通过重复上述步骤进行添加和删除，但是测试license不允许调低分配的用户数。
步骤3：下载License文件
创建完后，生成许可证*.bin文件，并下载保存到win7_license服务器上。
3.5.4加载License文件
在win7_License服务器上，使用IE打开http://localhost:8080/licserver , 显示License管理界面，
从左侧菜单，依次点击：License ServeràLicense
Management，使用License服务器配置菜单导入，刚下载保存好的许可证*.bin文件，并点击Upload。如下图所示：
至此，win7_License服务器安装完成。
License服务器详细配置请参考《GRID
License Server User Guide》，章节3（Operation）。
3.6Grid Virtual
Workstation with Virtual GPU License配置
3.6.1Windows虚拟机配置License
在Windows虚拟机桌面 右键à打开”NVIDIA控制面板“点击”Licensing“àManage
License任务项中设置，如下所示：
License 服务器字段可输入域名或者IP，端口号默认是7070。成功设置后点击”Apply”按钮，重启生效。
看不到Manage License任务项的原因有：
(1)当前vGPU、GPU不需要license，或者驱动不支持license；
(2)Licensing控件被隐藏，参见《GRID-Licensing-Guide》的
3.6.2Linux虚拟机配置License
Linux 上的License设置，须编辑配置文件，Linux版本的驱动中提供了配套的配置文件模板，详细操作方法见《GRID-Licensing-Guide》的2.3节。
3.7Grid Virtual Workstation with Pass-through
GPU License配置
GRID Virtual Workstation在Tesla GPU上以GPU直通模式运行，可用于Windows和Linux VM。 虚拟工作站需要GRID Virtual
Workstation版本，并提供以下功能：
（1）最多4个4k分辨率的虚拟显示器（未经许可的Tesla GPU支持单个虚拟显示头，最大分辨率为）。
（2）工作站特定的图形功能和加速度。
（3）专业应用的认证驱动程序。
3.7.1Windows客户机配置License
在Windows虚拟机桌面 右键à打开”NVIDIA控制面板“点击”Licensing“àManage
License任务项中设置à在”License Edtion:”选择 ”GRID
Virtual Workstation“，如下图所示：
License 服务器字段可输入域名或者IP，端口号默认是7070。成功设置后点击”Apply”按钮，重启生效。
3.7.2Linux客户机配置License
Linux 上的License设置，须编辑配置文件。Linux版本的驱动中提供了配套的配置文件模板，详细操作方法见《GRID Licensing Guide》的3.3节
4NVIDIA显卡驱动更新
显卡驱动更新，无论是在主机服务器或是虚拟机中，都是卸载旧版本，重启，安装新版本的过程。
注意：升级过程中会要求重启服务器和虚拟机，请事先知会客户影响。
4.1更新显卡驱动流程
对于显卡硬件虚拟化应用场景，需要按顺序执行如下步骤。
对于显卡直通的应用场景，只需要更新虚拟机里面的驱动版本即可。
一：准备工作：
二：在服务器上，更新显卡驱动：
相关命令：rpm -qa|grep NV
//rpm查询命令，查找出NV开头的包。
相关截图：
相关命令：rpm -e NVIDIA-vGPU-kepler-uvp-210.0-352.54
相关截图：
相关命令：reboot
相关截图：
相关截图（版本对应安装实际版本）：
说明：如上提示信息为正常提示，已与UVP同事确认无影响。
相关命令为：rpm -qa|grep NV
相关截图（版本对应安装实际版本）：
相关命令：nvidia-smi
相关截图：
至此，完成了服务器上的显卡驱动程序的更新。
三：在虚拟机上，更新显卡驱动：
4.2更新后验证
请一线根据自己的业务情况，验证是否可以正常可用。
4.3关于回退
整个更新过程，都是卸载，重新安装的过程。如果需要回退，请使用之前准备的更新前的安装包。卸载当前包，重启，安装目标包，重启。流程相同。
本帖最后由 IT读人 于
15:49 编辑
感谢分享！！！！
vGPU驱动下载链接更新为这个：https://www.nvidia.com/en-us/des ... ons/virtualization/
* 是否包含第三方商业秘密:
第三方商业秘密
第三方商业秘密是指第三方不为公众所知悉、具有商业价值并经权利人采取保密措施的技术信息和经营信息，包括但不限于：产品的价格信息、路标规划、商务授权、核心算法和源代码等。如有疑问，请联系:e.（各社区公共邮箱）。
如果附件按钮无法使用，请将Adobe Flash Player 更新到最新版本！
`@trans`drinking_poetry`~trans`
`@trans`drinking_poetry_des`~trans`