和导师在Computers & Geosciences上发表的关于多流向算法GPU并行化的文章(SCI, IF=1.834)。
&As one of the important tasks in digital terrain analysis, the calculation of flow accumulations from gridded digital elevation models (DEMs) usually involves two steps in a real application: (1) using an iterative DEM preprocessing algorithm to remove the depressions and flat areas commonly contained in real DEMs, and (2) using a recursive flow-direction algorithm to calculate the flow accumulation for every cell in the DEM. Because both algorithms are computationally intensive, quick calculation of the flow accumulations from a DEM (especially for a large area) presents a practical challenge to personal computer (PC) users. In recent years, rapid increases in hardware capacity of the graphics processing units (GPUs) provided in modern PCs have made it possible to meet this challenge in a PC environment. Parallel computing on GPUs using a compute-unified-device-architecture (CUDA) programming model has been explored to speed up the execution of the single-flow-direction algorithm (SFD). However, the parallel implementation on a GPU of the multiple-flow-direction (MFD) algorithm, which generally performs better than the SFD algorithm, has not been reported. Moreover, GPU-based parallelization of the DEM preprocessing step in the flow-accumulation calculations has not been addressed. This paper proposes a parallel approach to calculate flow accumulations (including both iterative DEM preproces- sing and a recursive MFD algorithm) on a CUDA-compatible GPU. For the parallelization of an MFD algorithm (MFD-md), two different parallelization strategies using a GPU are explored. The first parallelization strategy, which has been used in the existing parallel SFD algorithm on GPU, has the problem of computing redundancy. Therefore, we designed a parallelization strategy based on graph theory. The application results show that the proposed parallel approach to calculate flow accumula- tions on a GPU performs much faster than either sequential algorithms or other parallel GPU-based algorithms based on existing parallelization strategies.
阅读(...) 评论()只需一步，快速开始
查看: 503|回复: 0
GPU并行的理论加速比分析
求问各位大神，用GPU并行的理论加速比一般都是怎么分析的呢？是串行（CPU）时间除以GPU scalar cores 来作为理论的并行时间么？
但是这样有一个问题就是，CPU单核的计算能力和GPU单核的计算能力显然不同。于是，可不可以用下式来表示：
理论并行时间=（串行时间）/GPU scalar cores *（CPU单核计算效率与GPU单核计算效率之比）
对于我的硬件配置:
Intel Xeon Quad-core XGHz) and ECC DDR3 4GB Memory (1333MHz)
NVIDIATelsa C 1060
CPU单核计算效率与GPU单核（double型计算）计算效率之比 大概是多少呢？
lz不知道自己的想法对不对，真心求教各位大神指点，谢谢大家！
站长推荐 /1
为了更好地为各位会员提供技术支持服务，本论坛采用注册审核制度。您注册会员后，我们的管理人员会在8小时内在后台进行审核，审核通过会发邮件通知。只要是真实的开发者或学习者，我们都会审核通过。敬请谅解！如果您着急的话，可以发邮件至： 提醒我们第一时间审核通过。热门推荐：
　　GTC （GPU 技术大会）从 2009 年开始一直在美国举办，每一届大会都能引起全世界玩家和粉丝的狂热。
　　在美国以外，今年 GTC 第一次来到了中国。黄仁勋告诉我们，因为整个中国互联网产业增速很快，有大约几十万的开发者，中国软件行业又位居世界第二，所以 GTC 应该到中国来。
　　显然，英伟达是重视中国市场的。专为深度学习设计的推理加速器 Tesla P4 和 Tesla P40，以及专为自动驾驶和汽车人工智能开发的低功耗计算机 Drive PX2 for Auto Cruise 都于当天在中国进行全球首发。
　　英伟达赶上了一个好时代。GPU 计算正在成为一个大市场，不再局限于只是研究者使用， 人工智能、VR、游戏、自动驾驶，这几大热门领域让 GPU 计算应用的领域和数量呈现爆炸式增长。为了顺应时代，在 GTC China 的演讲上，英伟达 CEO 黄仁勋对外界强调： 「我们不再是一个半导体公司，而是一个 AI Computing Company。」
　　以前开发者们可以利用 GPU 创建虚拟世界用于游戏和设计，用于讲故事，包括制作电影。现在因为深度学习，英伟达自然而谈进入另一个领域――人工智能。
　　黄仁勋在 GTC 上提到，今年有 16000 名人员参加 GTC。下载 SDK 的开发人员增长了 3 倍，达到了 40 万开发人员。深度学习开发人员在两年之内有了 25 倍的增长，现在下载深度神经网络实验室引擎的开发人员已经增长了 25 倍，下载了 5 万 5 千次。AI 研究人员来自于全球各地，现在 所有的实验室都会使用英伟达的 GPU 平台来做自己的 AI 研究，有软件公司、互联网软件提供商，还有互联网公司、汽车公司、政府、医疗成像、财务、制造等等。
　　黄仁勋对此的评价是：「现在用 GPU 深度学习领域非常广，（这）非常了不起。」六年前他开始将英伟达往深度学习、人工智能方向推进，现在则是投入全力到 AI 计算当中。成为一家「人工智能计算公司」，英伟达想让自己变得更酷。
　　在 9 月 13 日上午黄仁勋的主题演讲结束后，英伟达举办了一场媒体专访，让众多媒体与黄仁勋面对面沟通，以下内容由雷锋网(搜索“雷锋网”公众号关注)整理（有删减）：
　　谈自动驾驶
　　问：搭载 PX2 的自动驾驶汽车什么时候上市？
　　黄仁勋：基于 PX2 有不同类型的自动驾驶（Auto Cruise，AutoChauffeur、Full Autonomy）。
　　如出租车和穿梭的班车，往下的乘用车，实现在高速公路上自动驾驶的功能。刚刚讲的是两端，中间我把它叫做 AutoChauffeur，它就像司机一样，你只要和它说你要去哪里，汽车就会自动将你带到目的地。
　　这三种不同层面的自动驾驶，我们都在和全球不同汽车厂商开展合作。现在我们看到完全自动驾驶的出租车已经在一些国家不同城市进行路试。百度目前在加州进行相关测试，nuTonomy 在新加坡进行测试。不久后百度可能也会在中国开展测试。
　　完全自动驾驶的出租车已经在路上测试，正是由 Drive PX2 支持的。 我认为 Auto Cruise 可以在高速公路上实现自巡航的自动驾驶应该在明年可以上市。我认为 AutoChauffeur 还需要一些时间，可能还需要 2 到 3 年时间。
　　问：目前在汽车领域的 AI 技术，在英伟达的技术体系中是一个什么样的地位？未来在这个领域，英伟达会有什么设想和计划？
　　黄仁勋：我们公司正在成为一家 AI 计算公司，这项技术我们称之为 AI 计算，这项技术能带来很多好处，首先是在云互联网服务方面，今天我们发布新的云推理加速器：P40、P4。这对我们来说是一个新的市场，潜力非常大，从互联网使用者每天提出的问题数量来看，互联网人工智能查询量会非常大。刚刚讲的是 AI 互联网。
　　第二个是 AI 城市，城市正变得越来越智能，因为在城市当中，有很多摄像头、麦克风、扬声器。在未来你在街上，只要去问问题，也许城市就会自动回答你。2020 年将会有 10 亿个摄像头，今天我们发布了 TX-1，这将对互联网以及 AI 城市众多摄像头是一个很好的计算平台。
　　交通运输领域是一个 10 万亿美元的市场。我们作为一家人工智能计算公司，我们相信在整个交通运输行业，我们可以通过 AI 来帮助实现一场非常大的变革，使得交通运输可以更加地安全。这里面涉及的问题非常复杂和有挑战性，我们懂 AI，在这里面我们能创造很多价值，因为我们是唯一一家公司推出车载 AI 计算机。对社会来说，AI 交通将会非常有意义。
　　现在来说，游戏部门也很让人振奋，未来我们可以用 AI 生成整个国家、山脉、城市风貌。自然也可以通过 AI 来进行模拟。
　　AI 应用方面非常广，我对它所具有的潜力非常激动，我们非常愿意用 AI 解决大的社会问题，非常相信在汽车领域 AI 有很大的应用前景。
　　问：英伟达在无人驾驶还将有什么激动人心的项目会启动？
　　黄仁勋：我想在智慧出行或自动驾驶这方面，我们最大的要务是 将车变成人工智能，不只是 ADAS，而是真正的 AI。
　　未来我们坐进车里，我们可以直接与车进行对话。在我坐下来之前，车就可以识别是我，相应调节座椅位置，车内温度。未来也不需要车钥匙，因为车就认识我。我坐下来，车就就会问我，今天想去哪里。在我的想象中，就像一个美女一样与我对话。
　　上路之后，车问我要不要听音乐，听广播或者拨打什么人的电话等等。到目的地之后，我下车，车就找一个地方自己停车。很自然，非常像一个人。
　　所以这是我们在汽车方面重点的要务，将车变成 AI。这可能在未来 10 年让我们去努力的事情。
　　问：英伟达的产品不断推出，接下来如何推动 AI 生态形成？有没有相应投资计划？
　　黄仁勋：我们与 AI 研究者、大学有合作。对于 AI 商业使用，最早用户是拥有超大数据规模的互联网公司，因为他们有海量数据，他们提供的服务对象是数以亿计的消费者。
　　每一个用户、互联网用户是不同的，他们都希望互联网能提供最完美的答案。显然唯一的解决方案是使用人工智能。基于云计算机的人工智能系统，可以去了解每个人的特性和需求。
　　所以很自然，这些互联网公司在人工智能商业化方面是最重要的群体，包括我们与谷歌的合作，微软与我们合作也持非常开放的态度，Facebook 与我们合作，他们已经建立了有 GPU 服务器的数据中心，还包括像 eBay，Netflex、YouTube等公司，在中国有百度、阿里巴巴、腾讯、科大讯飞、爱奇艺等与我们合作。你能想到的大的互联网公司都与我们有合作。
　　另外一个使用 AI 计算的群体是初创企业。全球有 1500 多家公司，他们是基于人工智能技术的初创企业。我们有个针对创业公司的项目，叫做 Inception。通过这个项目有 700 多家初创企业与我们开展合作，这些初创公司希望抢先用上英伟达技术。
　　参与 Inception 项目，对于初创企业来说，有以下好处：可以获得我们的技术、专家们的支持、获得市场营销平台支持，进入到不同国家的市场以及获得潜在投资机会。
　　问：就目前形势而言，移动互联网将被人工智能取代，成为互联网下一个增长点，也是一个不可逆转的趋势，在这过程中，英伟达将扮演怎样的角色？对企业市场和消费者市场而言，英伟达将会有怎样的规划？
　　黄仁勋：人工智能是对移动互联网的一种补充，而不是说移动互联网会消失。在过去十年，有很多针对智能手机的应用没开发出来，很多应用是需要有人工智能来提供助力和支持的。未来可能会有越来越多的手机服务、应用都需要有 AI 在背后提供支持，包括生活的方方面面。
　　在手机上用的 App，比如推荐餐厅、推荐电影或者音乐服务 App，它背后都有推荐引擎来提供支持，推荐引擎是需要训练的，需要有人工智能训练。然后提供这些推荐服务，很多也是有 GPU 在背后来提供支持。
　　首先我们要对这些网络来进行训练，需要有大量数据样本，也需要非常大的计算资源，把网络训练好，之后可以在不同设备上运行，比如在手机、机顶盒、汽车、无人机、机器人或者是联网的摄像头或者是家里的温控器等等，大量的物联网智能终端，都可以运行经过训练的网络。
　　对于中小企业市场，我想现在在云端有 GPU 的能力，可以使得这些企业获得以往靠自己完全没有办法去获得的能力，之前吴恩达提到，在百度价值上亿美元的数据中心，在进行完全架构的改造，从而可以更好的使用 GPU，这样一种做法对于中小企业不太可能实现。但是中小企业完全可以利用如阿里云、亚马逊云服务或者微软的 Azure云服务、IBM 的云计算等等，然后来使用 GPU 的能力。
　　我们的策略是，他们在云端都有英伟达 GPU，有我们 AI 的计算平台；另外一个是，针对中等规模的企业，如果希望自己内部有计算能力的话，我们为他们创建一些非常简单的 AI 设备，那就是我们现在 DGX-1 这个产品。
　　对消费者产品来说，我个人最喜欢的消费品是汽车，对于汽车的类别，就是 Drive PX2 这个产品。还有一些在中国的公司，他们在开发一些消费级机器人，比如在家里提供服务、倒茶、打扫卫生等等，这种家政机器人在未来也会出现，这种类型消费级产品有 Jetson TX-1，它是一个非常小的 AI 计算机，低功耗，但性能很强大。
　　问：创建英伟达的时候，你应该也不会想到英伟达会变成一家人工智能公司，那么你认为 GPU 在人工智能的影响或者作用会有多大？
　　黄仁勋：英伟达公司主要关注重点应该是计算领域当中比较特殊的部分，在这个部分当中，性能是非常重要的。我们从来没想过要去做常见的计算、基础的计算，这不是我们的使命。
　　我们得计算类型叫做加速计算，加速计算最大的市场就是游戏计算图形。其他加速计算包括像工业设计、电影制作、CAD 等等都是计算非常密集的领域，我们相信会有很大增长的潜力。
　　我们没预见过深度学习的出现使得 AI 成为可能。但是当我第一次知道深度学习，了解深度学习，我开始意识到这种应用对于未来是非常重要的，而且对于 GPU 加速计算来说是非常完美的应用领域。
　　这是为什么大约在六年前我开始把英伟达往深度学习、人工智能方向去推进，因为我看到很多市场，AI 将具有非常大的影响。我们本身所具有的能力，我们有责任确保能够进一步推动 AI 的发展。总得来说，可能最开始我们没看到，但是我们相信 AI 确实对于我们 GPU 加速计算来说，是最完美的。所以我们现在将公司全力投入到 AI 计算当中。
　　问：在推动 VR 的发展过程中，除了 SDK 方面，英伟达的作用是什么？
　　黄仁勋：首先，对于 VR 来说我们要做出非常好的 GPU。VR 与传统计算机显示有很大的不同，Pascal 是第一款针对 VR 设计的图形架构。
　　VR 不仅要非常快速模拟图形，而且需要模拟整个虚拟世界，在 VR 视野当中，需要在真实世界一样与虚拟世界发生交互，不仅是要快，还要非常漂亮。物体之间发生关系应该符合我们真实世界的物理原理。
　　我们需要和生产相关 VR 设备的厂商进行更好的合作，我们创建相应 SDK 和 API 使得这些头戴式的显示器可以有更能快的反应，使得控制器实现非常真实的相互交互。
　　我们也需要帮助那些游戏开发者，让他们去设计有更好体验的 VR 游戏，因为 VR 游戏和我们传统的游戏非常不一样，所以我们开发了 Fanhouse VR 游戏，将它开源，提供给所有开发者群体，他们可以去学习，激发他们去开发具有更好 VR 体验的游戏。
　　最后，我们需要让消费者去尝试 VR、体验 VR，我们和 VR 公司、相关开发公司合作，将这些 VR 产品带到网吧和购物中心，让消费者能够体验，因为他们能够体验，喜欢 VR，他们才真正愿意去用 VR。
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
专注移动互联网领域的科技博客。雷者，万钧之势；锋者，锐利之...
18751文章数
知名IT评论人，曾就职于多家知名IT企业，现是科幻星系创建人
未来在这里发声。
新媒体的实践者、研究者和批判者。
立足终端领域，静观科技变化。深入思考，简单陈述。
智能硬件领域第一自媒体。全球GPU大会在即 浪潮准备放大招
　来源：　
来源：作者：责任编辑：赵清建
　　光明网讯 4月4日-7日，GPU技术大会（GTC）将在美国硅谷举行，这项由Nvidia发起主办的技术大会，已经成为全球规模最大的GPU开发商盛事。届时来自全球45个国家和地区的高性能领域专家和研究人员、科学家、程序员、超算中心工作人员和系统管理管理员等4000余人将参与其中，共同探讨GPU技术在科学探索、学术研究、教育和商业等方向的进展。
　　GPU是当前最重要的三大协处理加速技术之一，其应用领域几乎涵盖了社会生活的各个方面，如航空航天、药物开发、基因研究、农作物改良、工业制造、能源勘探、环境保护等等。不过，在这些传统应用领域之外，GPU也正在成为一些未来技术的新宠，如机器学习、无人驾驶汽车、虚拟现实（VR），这三项技术也是GTC2016重点探讨的核心议题。
　　作为Nvidia在中国最重要的合作伙伴之一，浪潮一直关注GPU技术的应用与发展，并与Nvidia联合成立了Inspur-Nvidia 云超算应用创新中心，共同推动多个行业HPC应用的并行优化。
　　在算法开发上，Inspur-Nvidia 云超算应用创新中心对中国科学院北京基因组研究所BLAST算法进行了GPU加速，经过倚天超算服务器实测，针对较大的数据库可获得35倍以上的性能提升。而针对西北工业大学航空学院流体力学系的并行大涡模拟（Large Eddy Simulation，LES）算法，该实验室利用GPU对其核心算法格子Boltzmann方法（Lattice Boltzmann Method，LBM）进行加速，使用C2050作为加速器，对比i7CPU加速比约55倍。
　　在异构系统优化上，Inspur-Nvidia 云超算应用创新中心为中石油东方地球物理公司（BGP）的GeoEastRNA 设计和开发了一套CPU+GPU的协同计算异构系统，经过优化后，CPU应用性能提升2倍，GPU计算核心加速24倍，整体系统性能提升8倍，从计算受限问题转变为存储IO受限问题。而针对BGP的叠前时间偏移应用，实验室则协助开发出适用于大规模集群系统的GPU软件，在相同计算复杂度情况下GPU获得约258倍加速比，CPU采用加速算法后相比CPU单线程加速40倍，最终大规模GPU集群相比原来加速5倍。
　　除此之外，Inspur-Nvidia 云超算应用创新中心还在深度学习领域取得多项突破。通过与某搜索引擎公司的合作，双方联合对图像识别使用的K-means算法进行了GPU架构的移植和优化，通过重写了计算部分代码将整体速度大幅提升。经过优化后的软件，在单GPU上运行的速度与串行程序相比，加速比达到41倍，1块GPU相当于4.4个8核CPU并行的性能。而在智能语音开发领域，实验室与科大讯飞合作开发了DNN GPU集群版本，16GPU卡较原来单GPU卡加速13倍，节点扩展效率达到90%以上，大大加速了“讯飞超脑”计划的开展。
　　随着GTC2016临近，各个厂商又将使出“看家本领”来展示自身在GPU技术应用领域的优势。作为GPU技术的引领者，浪潮也将在此次大会上放出大招，种种悬念，值得期待。[责任编辑:赵清建]
光明网版权所有小木虫 --- 500万硕博科研人员喜爱的学术科研平台
&&查看话题
做MD模拟使用CPU并行好呢，还是GPU并行？
似乎现在是GPU并行更流行啊，大家来交流交流
那像现在的K40大概能抵得上多少核CPU
我測試過k40的 非常不錯
用namd至少能遞上64線程
顺便问一下一个K40大概什么价位
2w人民币左右
研究生必备与500万研究生在线互动！
扫描下载送金币
浏览器进程
打开微信扫一扫
随时随地聊科研