|
VS2010并行計(jì)算概述
并行計(jì)算(Parallel Computing)是指同時(shí)使用多臺(tái)計(jì)算機(jī)協(xié)同合作解決計(jì)算問題的過程，其主要目的是快速解決大型且復(fù)雜的計(jì)算問題。
圖1：計(jì)算原理
并行計(jì)算是相對(duì)于串行計(jì)算——即在單個(gè)計(jì)算機(jī)(具有單個(gè)中央處理單元)上執(zhí)行的操作，所提出的。具體的說，并行計(jì)算是在多臺(tái)(并行)計(jì)算機(jī)上將一個(gè)應(yīng)用任務(wù)分解成多個(gè)子任務(wù)，分配給不同的處理器，各個(gè)處理器之間相互協(xié)同，同時(shí)執(zhí)行子任務(wù)的過程。并行計(jì)算可分為時(shí)間上的并行和空間上的并行。時(shí)間上的并行就是指流水線技術(shù)，而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。為執(zhí)行并行計(jì)算，計(jì)算資源應(yīng)包括一臺(tái)配有多處理(或并行處理)機(jī)的計(jì)算機(jī)和一個(gè)與網(wǎng)絡(luò)相連的計(jì)算機(jī)專有編號(hào)。
圖2：(a)SIMD類型 (b)MIMD類型
目前，對(duì)于并行計(jì)算的研究主要集中在空間上的并行問題上�？臻g上的并行導(dǎo)致了兩類并行機(jī)的產(chǎn)生，即單指令流多數(shù)據(jù)流(SIMD)和多指令流多數(shù)據(jù)流(MIMD)。類似地，我們常用的串行機(jī)有時(shí)也被稱為單指令流單數(shù)據(jù)流(SISD)。在1972年誕生的第一臺(tái)并行計(jì)算機(jī)ILLIAC IV就屬于SIMD類型機(jī)器。而自上個(gè)世紀(jì)八十年代以來，都是以MIMD并行計(jì)算機(jī)的研制為主。常見的MIMD類的機(jī)器可分：并行向量處理機(jī)(PVP)、對(duì)稱多處理機(jī)(SMP)、大規(guī)模并行處理機(jī)(MPP)、工作站機(jī)群(COW)、分布式共享存儲(chǔ)處理機(jī)(DSM)等五類。并行計(jì)算機(jī)主要有以下四種訪存模型：
l 均勻訪存模型(UMA)
非均勻訪存模型(NUMA)l
全高速緩存訪存模型(COMA)l
l 一致性高速緩存非均勻存儲(chǔ)訪問模型(CC-NUMA)和非遠(yuǎn)程存儲(chǔ)訪問模型(NORMA)。
常見的基本并行算法有：劃分法(partitioning)、分治法(divide-and-conquer)、流水線方法(pipelining)、隨機(jī)法(randomization)、平衡樹法(balanced-tree)、倍增發(fā)(doubling)、迭代法(iteration)等。
在當(dāng)前并行計(jì)算機(jī)上，比較流行的并行編成環(huán)境可以分為三類：消息傳遞、共享存儲(chǔ)和數(shù)據(jù)并行。消息傳遞的典型代表是MPI，它是基于大粒度的進(jìn)程級(jí)并行，具有最好的可移植性，幾乎被當(dāng)前流行的各類并行計(jì)算機(jī)所支持，且具有很好的可擴(kuò)展性；共享存儲(chǔ)的典型代表是OpenMP，它主要應(yīng)用于SMP、DSM類的并行計(jì)算機(jī)上，可擴(kuò)展性不如消息傳遞并行編程，不過這種方法并行編程難度較��；數(shù)據(jù)并行的典型代表是HPF，主要被SMP、DSM和 MPP類型的并行計(jì)算機(jī)支持，它的數(shù)據(jù)存儲(chǔ)模式是共享存儲(chǔ)，對(duì)數(shù)據(jù)分配方式屬于半隱式，可擴(kuò)展性介于前兩種之間。
本文鏈接：http://m.95time.cn/computer/soft/2010/7577.asp 
出處：藍(lán)色理想
責(zé)任編輯：bluehearts
◎進(jìn)入論壇計(jì)算機(jī)技術(shù)版塊參加討論
|
