[转帖]商用服务器结构大比拼(SMP/NUMA/MPP)

周华

　　从体系结构来看，目前广泛应用于关键业务领域的商用服务器大体可以分为三类，即对称多处理器结构(SMP:Symmetric Multi-Processor)，非一致存储访问结构(NUMA:Non-Uniform Memory Access) 以及海量并行处理结构(MPP:Massive Parallel Processing)。
　　SMP结构是指服务器中多个CPU对称工作，无主次或从属关系。各CPU共享相同的物理内存，每个CPU访问内存中的任何地址所需时间是相同的，因此SMP也被称为一致存储器访问结构。对SMP服务器进行扩展的方式包括:增加内存、使用更快的CPU、增加CPU、扩充I/O、更多的外部设备 (通常是磁盘存储)。SMP服务器的主要特征是共享，系统中所有资源(CPU、内存、I/O等)都是共享的。也正是由于这种特征，导致了SMP服务器的主要问题，那就是它的扩展能力非常有限:每一个共享的环节都可能造成SMP服务器扩展时的瓶颈;对SMP而言，最受限制的是内存，每个CPU必须通过相同的内存总线访问相同的内存资源;随着CPU数量的增加，内存访问冲突将迅速增加，造成CPU资源的浪费，CPU性能的有效性大大降低。
　　由于SMP在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA就是这种努力下的结果之一。利用NUMA技术，可以把几十个CPU(甚至上百个CPU)组合在一个服务器内。
　　NUMA服务器的基本特征是:具有多个CPU模块(或称为Building Block、节点);每个CPU模块由多个CPU(如4个)组成，并且具有独立的本地内存、I/O槽口等;节点之间通过互连模块进行连接和信息交互;每个CPU可以访问整个系统的内存，显然，访问本地内存的速度将远远高于访问远地内存(系统内其他节点的内存)的速度，这也是非一致存储访问NUMA的由来。由于这个特点，为了更好地发挥系统性能，开发应用程序时需要尽量减少不同CPU模块之间的信息交互。
　　利用NUMA技术，可以较好地解决原来SMP系统的扩展问题，在一个物理服务器内可以支持上百个CPU。NUMA技术的主要问题是，由于访问远地内存的延时远远超过本地内存，因此当CPU数量增加时，系统性能无法线性增加。
　　和NUMA不同，MPP提供了另外一种进行系统扩展的方式，它由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征如下:由多个SMP服务器(每个SMP服务器称节点)通过节点互连网络连接而成，每个节点只访问自己的本地资源(内存、存储等)，是一种完全无共享结构;扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互连。

                               
登录/注册后可看大图

　　在MPP系统中，每个SMP节点也可以运行自己的操作系统、数据库等，但和NUMA不同的是，它不存在异地内存访问的问题。换言之，每个节点内的CPU不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一般称为数据重分配(Data Redistribution)。
　　MPP服务器的主要问题是:需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于MPP技术的服务器往往通过系统级软件(如数据库)来屏蔽这种复杂性。基于此类数据库来开发应用时，不管后台服务器由多少个节点组成，开发人员所面对的都是同一个数据库系统，而不需要考虑如何调度其中某几个节点的负载。
　　NUMA与MPP的区别
　　通过分析NUMA和MPP服务器的内部架构和工作原理不难发现其差异所在。
　　节点互联机制不同。NUMA的节点互联机制是在同一个物理服务器内部实现，当某个CPU需要进行远地内存访问时，它必须等待，这也是NUMA服务器无法实现CPU增加时性能线性扩展的主要原因。而MPP的节点互联机制是在不同的SMP服务器外部通过I/O实现的，每个节点只访问本地内存和存储，节点之间的信息交互与节点本身的处理是并行进行的。因此，MPP在增加节点时性能基本上可以实现线性扩展。

                               
登录/注册后可看大图

　　内存访问机制不同。在NUMA服务器内部，任何一个CPU可以访问整个系统的内存，但远地访问的性能远远低于本地内存访问，因此在开发应用程序时应该尽量避免远地内存访问。在MPP服务器中，每个节点只访问本地内存，不存在远地内存访问的问题。
　　哪种服务器技术更适合于数据仓库环境?
　　回答这个问题，需要从数据仓库环境本身的负载特征入手。典型的数据仓库环境具有大量复杂的数据处理和综合分析，要求系统具有很高的I/O处理能力，并且存储系统需要提供足够的I/O带宽与之匹配。
　　从NUMA架构来看，它可以在一个物理服务器内集成许多CPU，使系统具有较高的事务处理能力，由于远地内存访问时延远长于本地内存访问，因此需要尽量减少不同CPU模块之间的数据交互。显然，NUMA架构当用于数据仓库环境时，由于大量复杂的数据处理必然导致大量的数据交互，将使CPU的利用率大大降低。
　　相对而言，MPP服务器架构的并行处理能力更优越，更适合于复杂的数据综合分析与处理环境。当然，它需要借助于支持MPP技术的关系数据库系统来屏蔽节点之间负载平衡与调度的复杂性。另外，这种并行处理能力也与节点互联网络有很大的关系。显然，适应于数据仓库环境的MPP服务器，其节点互联网络的I/O性能应该非常突出，才能充分发挥整个系统的性能。
来源：天极网