可扩展并行计算--技术、结构与编程_c 并行编程

客服   拼多多砍价dy抖音ks快手 自助商城点击进入

记者：借助NVIDIA的Tesla，中国的超级计算机取得了世界领先的成绩。我想中国要保持这种领先的成绩，在未来，需要做哪些方面的努力和创新？第二个问题，NVIDIA在这个过程中，对中国未来的超级计算机将会提供哪些支持？谢谢！

刘光明：刚才我给大家讲过，中国的要性能计算机的发展经历了将近30年的历程，从78年开始，以银河1号为代表，中国就全面开展了高性能计算机的研制，这个研制并不是为了在世界上去争排名，确确实实是因为我们国家急需这样的高性能计算机。作为天河来讲，经过32年的积累，在怎么做高性能计算机，特别是研制承担国家科技部“863”这个项目，千万亿次级别的高性能计算机研究过程中，遇到了一个世界性的难题，就是怎么去做。从2005年到2007年一直在研究，通用CPU我们这也有，我们的“飞腾1000”，在技术上怎么用别的有的称为协处理器，有的称为加速器，这种结构也就叫做异构的结构去解决世界的难题。这里面过去实验过我们自己的流处理器芯片，当时叫“飞腾100”，去年我们用的是AMD的，最后发现了NVIDIA的芯片的性能更好。

有一点请各位朋友注意的是，超级计算机做出来运算峰值能做到4700万亿次，平均值2566万亿次，世界靠前。但这并不等于你能把这个机器在实际运作中，能用的非常好。实际上在高性能计算方面是两个问题，第一个是怎么把这台计算机做出来，综合性能是不错的，刚才杨教授介绍了，这就涉及到一个体系结构的问题，涉及到我们计算部件的系统（计算子系统），包括高性能的通信系统。

第二个挑战也是现在全世界都面临的，就是它的应用。也就是说，解决实际问题怎么去编程序。在这种通用CPU+GPU这种国际，国际上学术界称为异构协同、并行处理，或者叫异构结构，它在编程上是非常困难的。这也是当今世界上，人们面临的第二个大的技术挑战，并不是所有的程序拿过来之后，都能够在这个结构上用的很好，包括国外。所以我们现在有一个很好的团队，像杨教授带领的这么一个团队，从几年前就在解决这个问题，应该说现在已经取得了非常好的成绩。我们这一次能够在实现4700万亿次情况下，能够做到53%的计算效率，把平均值测到了2566万亿次，如果用同样的结构去给别的用户测，测不到这个水平，因为我们过去一直尝试从事体系结构的研究，就是机器怎么做，芯片的研制，知道这个程序怎么划分。

通俗的讲，这样一个结构里面，大家算出来它的核，包括通用CPU的核，再包括GPU的核，几十万亿次，18万多个。什么概念？就是一件工作你把它分为1000个人好分，1000个人你好领导，把一件工作分给18万个人，而且要把他们协调起来，让他们同步听命令、听指挥的干好这件事，这在国际上也是个难题，对我们现在也是个难题，但是我们现在不断的去解决，解决过程中有NVIDIA CUDA这样的一个编程环境支持，又使这个难题开始解决了一部分，核心问题还要对物理过程分析怎么去并行化，计算机一般有超级计算机有超级并行计算机，所以也就是并行。很直观的讲，18万个人去干同一件事，这个组织，令行禁止，然后统一的行动都是一个很难的事。大家可能知道，当个小班长、当个小团队的老总很好当，当个大国企的领导就不好当了，也就是这个道理。

所以现在我们也在花很大力气把应用，就是过去在通用CPU环境下的应用不断的移植到异构结构，应该说我们取得了很好的成绩，当然后面也还有大量的工作要去做可扩展并行计算--技术、结构与编程，也请大家在宣传的时候跟读者们讲清这个事。并不是说计算机做好之后就会用好，还需要我们进一步的努力，把这机器在这样的结构情况下，在NVIDIA CUDA支持的情况下，还有新的技术上的突破、创新、进步的基础上，把应用提升到一个更高、更实用的水平，使计算机天河一号A真正发挥它的实际用处。

黄仁勋：刘教授说的很对，并行计算是一个非常复杂、非常大规模的计算，它的困难非常的多，但实际上如果你解决了这些困难的话，它能够带来的收益和效率也是非常可观的。并行计算今天遇到的问题是整个计算界在过去30年，一直不停想要解决的问题，但是过去30年一直都没有成功过。

有多少个超级计算机的公司在全球真正开发出来异构计算、并行计算的呢？过去从事并行计算的这些公司今天都已经不再存在了，因为他们的技术和产品都没有发挥作用。今天我们推出CUDA的新技术，实际上是异构计算，CPU+GPU的计算，一方面它很容易进行推广，另外一方面，它有非常强的扩张能力。

革命性的一件事情是，花了NVIDIA公司很多年的时间来开发这个技术，也花费了我们几十亿美元的投资。在这个世界上，没有任何一家公司在并行计算当中的投资能超过NVIDIA。我们今天可以看到，因为CUDA可扩展并行计算--技术、结构与编程，并行计算有非常光明的前景。当然，像刘博士刚才提到的，在这里我们还面临着非常多的挑战。在未来，我们需要不断和刘博士及他的团队进行合作，不断地创造出更多或创造出下一代世界上最强的超级计算机。

中国已经非常清楚地认识到，开发和推广超级计算机对于未来的知识、科学和技术的发展都有非常大的推动作用。我们公司非常荣幸，能够和国内很多的科学家、研究人员、很到公司，还有很多的超级计算机中心一起合作，为超级计算方面的发展提供支持。在中国，超级计算机领域的进步以及中国在科学发展当中不断的进步，会在全人类范围内给我们提供好处。

各位知道，世界已经开始变得越来越小。现在对于知识、技术、科学的探索，对于全球整个人类都非常有益。我们会让我们公司最强的技术人员和最强的技术队不断支持刘博士和杨博士以及整个超级计算天津中心，我们会用我们最出色的软件工程师帮助刘博士的团队开发和拓展新的软件，在CUDA上发挥得更好。我们会尽我们所有的力量，不断投入，保证在中国所有的大学都能教授CUDA的课程，中国所有的大学都有这方面的知识和能力去不断的推广和教授并行计算的新技术。我深信，所有的计算机科学家和工程人员，都要学习并行计算。串行计算已经是一个过去时，并行计算才是未来。

刘光明：非常感谢各位朋友到我们天津中心来，也感谢NVIDIA的黄仁勋先生来现场和我们一起探讨超级计算领域现有的技术以及未来的发展，给予我们很多新的启示。从天河一号A得到世界靠前之后，获得了世界和我们国家的关注，我们国家超级计算天津中心现在正在做两件事儿，第一件事就是利用天河一号A，真正为滨海新区和天津地区的经济发展做好科技服务，这是最关键的。未来，我们除了需要在高性能计算机方面做好科技服务之外，还会成立一个天津的云计算中心，尽管这是科学计算和数据服务两件事，但我们会全方位服务于国家的发展。

第二方面，国家科技部在进行“十二五”高性能计算机的发展规划，根据我们现在研制高性能计算机的经验和积累的技术，会规划一个未来符合国家整体战略发展的新的更大的计算机，这一点在“十二五”期间肯定会实现。我也希望跟NVIDIA的合作过程中，不断利用双方的经验、技术，为我们国家的高性能计算，为全世界高性能计算机的发展做出我们更大的贡献。谢谢各位！■<

泡泡网显卡频道1月2日上个月，NVIDIA公司联合创始人、总裁兼首席执行官黄仁勋先生亲自来华，主持了2010年度GPU高性能计算峰会（GPU High Performence Forum 2010），并且亲自带领NVIDIA公司众多员工和媒体记者朋友们，共同参观了位于天津滨河新区的国家超级计算机天津中心。

详细的报道大家可以参阅：

GPU计算峰会:黄仁勋自曝大学青涩照片

黄仁勋:GPU加速超级计算机实现民用化

最强超级计算机！天河一号A 内部探秘

会后NVIDIA公司联合创始人、总裁兼首席执行官黄仁勋先生，以及国家超级计算天津中心刘光明主任和杨灿群教授，共同接受了媒体记者们的采访，就GPU计算以及世界最强超级计算机“天河一号”等大家感兴趣的内容，做出了官方权威的申明。

下面笔者就将采访内容整理出来，供大家参考。

记者：天河一号A里面用了14336颗至强处理器，还用了7168颗的NVIDIA Tesla。我想请问一下，在HPC里头，CPU和GPU数量的平衡是有什么因素来决定的？

刘光明：基本上，GPU负责一些复杂的并行计算，而CPU负责比较规整的计算。根据现在的应用情况跟我们的实验结果，这种配比比较合理，实际运行效果能达到2：1这是我们在去年9月份做了一个实验之后，觉得这种配比比较合理。

记者：如果未来应用有变化的话，这个比例还会有变化是吗？

刘光明：现在这台机器不会变了，因为硬件上已经固定了。至于未来，现在是千万亿次，到了以后万万亿次，百万万亿次，这个结构有可能会变，还要做研究才能下结论。

记者：你好！我想问一下天河一号A最大性能比上一代提升了4.4倍，系统的效能也从16.7%一直到53.3%，但是比传统上的CPU能耗可以下降1/3。请问一下是采用了哪些的技术达到这样的效果的？谢谢！

杨灿群：天河一号A这一代系统从实用性能到计算效率大幅度的提高，主要有一下几个方面的原因。第一，我们采用了自己的高速度互联网络，这个互联网络的性能大幅度的提高了，对应的软件优化技术也提高了。这个软件优化主要是针对全系统的。

另外还有一个原因，我们能够构架这么大的系统，系统也能够稳定运行。在天河一号A上，这一代计算机采用了NVIDIA的GPU，这款GPU是专门针对高性能计算或者通用计算所设计的。

记者：现在的GPU与最新的四核CPU相比的话，第二代TeslaGPU处理器能否以大约1/20的功耗以及1/10的成本实现同等级的性能？NVIDIA将来会有哪些方法来推广Tesla产品？

黄仁勋：GPU+CPU这样一个架构一方面它的计算性能非常高，同时它的耗电量又非常低。这是一个常识，如果你用比较合适的处理器来处理一定的任务的话，那你的速度一定会更快一些。中国几乎每一个孩子都知道，如果你玩计算机游戏的话，性能最高、最好的办法就是用GPU。我们实际上推出的GPU产品是一个通用运算的GPU，因为我们在设计的时候就有一个想法，现在已经实现了，不仅仅它可以用来玩游戏，另外还有一点，它可以解决高性能的数学的计算。

梁教授、刘教授，还有杨教授他们做的中心有一点，在几年以前，他们就意识到科学计算的重要性。GPU在科学计算当中，几乎所有的人都认识到如何用GPU去高性能计算是效率非常高的。在全球比较领先的关于高性能计算的一本杂志叫《HPC Wire》，他们就在这个星期发表了一篇文章，用GPU去进行高性能计算是世界上现在最重要的趋势。

现在这个使用CPU+GPU的异构计算的趋势已经变得非常清晰，但是在两年以前，使用现在的架构风险是非常大的。刘教授和杨教授在两年以前就看到了这一点，就是从事视觉方面的尝试，他们是非常有远见的。对于刘博士和杨博士非常的赞赏，在这里再一次恭喜他们，因为他们的远见，他们创造了世界上最快的超级计算机。

天河一号A现在已经设定在世界上高性能计算机的一个新的标准，也提升的人们对高性能计算的期望和期待值。中国政府非常有远见，一直在鼓励高性能计算和利用高性能计算做科学的探索和发现，在这方面不断的投资，这是非常有远见的。

今天在高性能计算方面投资非常的重要，因为高性能计算实际上是科学探索和科学发展的一个有效的工具。在高性能计算方面投资，和我们现在在投资建立公路、投资汽车、投资互联网一样，对于未来非常重要。今天投资高性能计算可以引领我们不断的发掘、探索新的科学和新的技术。今天科学家们在这里从事着高性能计算工作，不仅仅是对科学家来说非常的重要，对所有的业界都是非常重要的。

刘博士刚才提到，有很多在高性能计算方面的应用，比如生命科学，发现新的药物，延续人们的生命，保护人们的生命。他也介绍了运用超级计算机设计更好的汽车。也介绍到我们可以利用高性能计算机去制造和创造今天的电影或者电视连续剧。所以很显然，超级计算对于我们现在生活和工作当中的各个方面都显得非常重要。这也是为什么目前Tesla在全球所有主要的超级计算机当中都有应用，而且非常成功的原因。

我们的战略是鼓励所有的公司都在他们公司内部开始使用基于Tesla的超级计算机，通过这些，他们不仅仅可以加速和开发他们的产品和设计，也可以缩短他们的产品进入市场所需的时间。目前，在全球前10个最高效的超级计算机中有7个是基于Tesla的。全球十大最高效的超级计算机，其中有7台是基于Tesla。所以这就呈现了一种趋势，这个趋势就是未来，越来越多的公司或者所有的公司，他们的超级计算机都会是基于Tesla的。我们相信Tesla超级计算机会占有很大的市场。这也是为什么我们和全球领先的公司，比如HP、IBM、戴尔公司、Cray，Silicon Graphic，还有浪潮，一起不仅把超级计算机，也把基于Tesla的高性能工作站带到市场上。现在可以在全球任何一个国家，通过任何一家计算机厂商去购买基于Tesla的超级计算机。

希望回答了你的问题。谢谢！

记者：现在硬件的销售越来越依赖于应用方面的拓展，所以我想问一下，NVIDIA在应用方面有没有想要做一个平台，类似于苹果的应用商店，把整个程序移植到和硬件的使用者联系到一起？

黄仁勋：你说的不错，在推广新的硬件产品的时候，一定需要软件的帮助。我们投入了大量的资源去传播新的信息和技术，就是怎么样用并行的技术去编程。GPU是并行的，CPU是串行的，CPU每一次只能做一个工作， GPU可以同时做很多的工作。

一方面，我们要建立一个全新的架构，在并行计算当中拥有非常高的效率。另外一方面，我们也要去推广和教育全球所有的技术人员和编程人员怎么样运用新的方法，通过并行计算进行编程。针对CUDA的编程语言推广已经持续了一段时间，现在全球有400多个大学已经开始把CUDA作为他们的教程。现在针对CUDA的教学书籍和参考书籍也非常多，有汉语、日语英语，还有俄语，不同语言的版本。

现在全球目前有超过10万余个CUDA的注册编程人员。很多其他的主要领先软件厂商，他们新的软件也都支持CUDA，比如说像Adobe一个新的软件叫Creative Sweet。第一个用于科学研究的计算软件叫Matlab，他们也支持CUDA。全球业内知名的工程设计以及模拟方面的软件叫Ansys，他们也全线支持CUDA。另外全球先进的流体力学模拟软件Amber也支持CUDA。全球目前数字创作当中最强的软件3Ds MAX也支持CUDA。我们现在还有很多的开发工作在做，还有很多的软件需要逐渐的扩展到CUDA编程中去。

全球在CUDA软件的开发和推广方面，发展速度是非常快的。现在全球最快的超级电脑里面有CUDA，世界上最快的超级计算机里面有CUDA，日本的最快超级计算机里面有CUDA，俄国、美国的最快超级计算机都有CUDA。这个时候，软件开发人员如果他们需要超级计算机做软件的时候，他也需要了解和学习CUDA。另外一方面非常重要的是，全球几乎所有的个人电脑里面都有CUDA的芯片。苹果、联想、戴尔、HP，几乎所有的公司都推广CUDA，如果你在这些商店去买计算机的话，里面都有CUDA的推广人员。所以CUDA无处不在。

有一点非常的重要，在这些企业应用当中，有很多不同的应用程序，但是一个或者两个应用程序占用了CPU 70%、80%、90%甚至更高的计算能力，一两个程序几乎使用了所有的计算能力。不是所有的程序都同样的重要，如果能够针对这一两个非常重要的应用提高它的效能，其实能够整体极大的提高他们计算的效能。