让并行计算走进科研室的微软WCCS2003系统

xasun

[这个贴子最后由xasun在 2007/10/22 00:47am 第 2 次编辑]

并行计算的平民时代来了--微软WCCS 2003
集成MPI及集群管理系统　并内含InfiniBand或Myrient驱动程序

高性能计算广泛应用于网格运算、工程运算、科学运算、IC设计、汽车碰撞模拟，以及财务风险控管等；回顾历史，只要提及HPC，用户脑海中立即浮现的首选平台，非Linux莫属，其次才是Unix，至于微软的Windows操作系统，却始终未能在此一市场成气候。究其主因，乃在于现今HPC所采用之并行程序，绝大多数皆由FORTRAN、C或C++等程序编写而成，仅能在Unix或 Linux环境执行所致。


  随着四核处理器性能不断提升、同时价格下调，并行计算的整体成本大幅降低，微软推出的并行计算Windows Compute Cluster Server 2003，将给HPC市场带来低成本高效率。该操作系统最大优势，即配备了MPI、作业调度器与资源管理功能，已将HPC所需套件全部囊括在内。
传统linux的HPC环境，无异像一个深不可测的科技黑匣子，每个环节之间，都是不易跨越的鸿沟；举个最简单的例子，程序开发者或IT人员，通常很难参透专业研究员或科学家的逻辑思维，故甚难编写出精确符合研究计划的应用程序，且IT人员也不知从何管理或设定诸如消息传递接口（MPI）、Private Network或Public Network等细节，导致研究员或科学家必须自己动手，尝试搞懂MPI函数库、程序开发语言，自行跳下来编程、管理和维护。

                               
登录/注册后可看大图

　 因此，微软遂以Windows Server 2003操作系统为核心，继而加入了诸如MPI、作业调度程序、集群计算工作管理员等重要HPC的套件，孕育出Windows Compute Cluster Server 2003（以下简称WCCS 2003）这个专为HPC量身订做的操作系统，同时搭配了包括Active Directory、MOM、Visual Studio等已为市场熟知的技术，让HPC应用不管在于并行计算程序开发、调试，乃至于集群计算环境的监控、管理、部署、设定及安全防护等环节，都不再像从前那般艰深困难。
微软Windows Compute Cluster Server2003操作系统说明
品名 微软Windows Compute Cluster Server2003
CPU要求 64位，intel Pentium或Xeon系列的EM64T处理器，或AMD Opteron、Athlon等系列处理器，支持四路处理器
内存 最小512MB，最大32GB
安装硬盘空间 4GB
硬盘空间 主节点需要最少2个硬盘空间（C: 和D：），节点需要至少2块网卡，以建立公用和私人网络，视所选择的网络拓扑而定，各节点可能需要额外NIC，以存取公用网络或支持MPI网络

                               
登录/注册后可看大图

■提供RIS自动部署工具　并藉由AD整合既有IT架构
　 WCCS 2003提供了1项名为Remote Installation Services（简称RIS）的工具，其就如同安装精灵一般，旨在简化计算节点的安装作业。具体而言，WCCS 2003用户于完成主节点的安装程序后，便可透过RIS工具的协助，从而以最快的效率，自动于远程完成其它节点的部署、安装等程序。
　 不过，虽有RIS工具可供自动部署，然用户仍可选择以手动方式完成部署工作，或是采用非微软的部署工具。
　 此外，WCCS 2003内含Microsoft Management Console（MMC）管理控制，透过此一GUI主控台，管理者便可快速且轻易地设定MPI、网络（含Private Network与Public Network），同时可进一步利用节点管理机制，随时监控各个远程运算节点的主机健康状态，掌握诸如CPU、内存、硬盘、供电系统或散热风扇等组件之实时信息。
　 值得一提的，MMC经由与Active Directory之整合，便能让WCCS 2003融合客户端权限控管、账号管理等既有IT基础架构，从而精准定义管理者及使用者的权限，进行以角色为基础的安全性丛集管理，致使所有的程序，都能够在提交使用者的环境与凭证下运行。
■支持Visual Studio开发环境　降低HPC程序编译与调试之复杂度
　 WCCS 2003的一大特色，便是让开发人员能够以其所娴熟的基于Windows技巧与经验，运用业界普及率颇高的Visual Studio整合开发平台（Integrated Development Platform；IDE），展现前所未见的程序开发效率。
　 据悉，Visual Studio 2005业已支持HPC应用程序开发中，所亟需之并行编译和调试能力；而综观当前HPC应用的主流操作平台－Linux，则并未整合类似的开发环境，故用户必须参透诸如FORTRAN、C或C++等不同函数库，且需因应Linux操作系统版本之歧异，蓄积不同的维护或管理技巧，而相关人才的取得，亦有相当程度的困扰，相形之下，WCCS 2003可谓占尽上风。
■集成消息传递接口MPI　同时内建作业调度器
　 较诸Linux操作系统，WCCS 2003最显著的竞争优势，便在于内建了MPI信息传递接口、作业调度器；至于Linux用户，还需透过第三方供货商所提供之MPI或编程工具，在可用度方面，难免存有若干风险。
　 微软所提供的MPI，系依循MPI2、WinSock Direct等业界标准协议，旨在为不同的计算节点之间，在兼顾性能及CPU资源利用率的前提下，建立彼此沟通、传送、同步更新信息之管道，对于大多数分布式运算程序的执行，皆属至为关键。WCCS 2003除支持以太网络连结外，也可藉由制造商所提供的WinSock Direct驱动程序，继而支持InfiniBand或Myrient高速网络，辅以内建Remote Direct Menory Access功能，达到降低延迟的效果。
　 另外，WCCS 2003本身也内建了1个命令列作业调度器与集群计算作业管理器（Compute Cluster Job Manager），允许使用者得以传统命令行(Command Line)方式进行操作；此一作业调度器，提供了1个Win32使用者接口，据以建立、提交与监控集群节点的任务。据了解，此一命令列接口（Command-Line Interface；CLI）的支持范围，横跨Perl、FORTRAN、C/C++、C#与Java，论及作业调度器的功能，亦含故障监测、自动清除与安全防护等任务。

http://www.xasun.com/attachment/071011/4dbe7f5789.gif
▲Windows Compute Cluster Server 2003内建命令列作业调度器与集群计算作业调度器。
http://www.xasun.com/attachment/071011/b935b46a09.gif
▲透过GUI画面，WCCS 2003用户可快速且轻易地行网络拓扑设定。

http://www.xasun.com/attachment/071011/c225c54662.gif
▲WCCS 2003提供了节点管理和监控机制。