并行計(jì)算框架的前十名 云計(jì)算、分布式計(jì)算、并行計(jì)算有什么區(qū)別與聯(lián)系?
云計(jì)算、分布式計(jì)算、并行計(jì)算有什么區(qū)別與聯(lián)系?整體來(lái)說(shuō)都得獎(jiǎng)品任務(wù)分割、乘除運(yùn)算、組合,只是互相協(xié)同和一次性處理的重點(diǎn)相同;超級(jí)計(jì)算特別強(qiáng)調(diào)的是高并行計(jì)算能力,應(yīng)用設(shè)備多是超級(jí)計(jì)算機(jī)如天河一號(hào),是in
云計(jì)算、分布式計(jì)算、并行計(jì)算有什么區(qū)別與聯(lián)系?
整體來(lái)說(shuō)都得獎(jiǎng)品任務(wù)分割、乘除運(yùn)算、組合,只是互相協(xié)同和一次性處理的重點(diǎn)相同;
超級(jí)計(jì)算特別強(qiáng)調(diào)的是高并行計(jì)算能力,應(yīng)用設(shè)備多是超級(jí)計(jì)算機(jī)如天河一號(hào),是infiniband的高并行處理架構(gòu),實(shí)現(xiàn)總線(xiàn)級(jí)互相協(xié)同,好象需要計(jì)算能力更強(qiáng)大的GPU而非CPU;
集群計(jì)算出和分布式計(jì)算是比起設(shè)備部署結(jié)構(gòu)來(lái)說(shuō),這種計(jì)算要比超算來(lái)說(shuō),對(duì)此計(jì)算的并行處理及響應(yīng)要求較低,是需要利用的是網(wǎng)絡(luò)環(huán)境下的協(xié)同,實(shí)現(xiàn)方法的效果受網(wǎng)絡(luò)環(huán)境影響。
網(wǎng)格計(jì)算出是集群計(jì)算出和分布式計(jì)算與超級(jí)計(jì)算中間的產(chǎn)物,是在那個(gè)集群計(jì)算和分布式計(jì)算不能不能滿(mǎn)足需求,而超算又太過(guò)未必能利用的情況下,想交流增進(jìn)網(wǎng)絡(luò)帶寬來(lái)基于是從集群算出和分布式計(jì)算能提升到接近超級(jí)計(jì)算的結(jié)果,國(guó)家網(wǎng)格節(jié)點(diǎn)之間的帶寬全是T級(jí)別的,就可以想象相對(duì)于基礎(chǔ)資源的需求。
而云計(jì)算是更將近應(yīng)用方法的資源整合,在去協(xié)調(diào)資源整合應(yīng)用的前提下,這對(duì)運(yùn)用處理的并行處理沒(méi)有要求跟低,只是一種松散耦合的,但反詰將目標(biāo)任務(wù)分解、處理、組合的過(guò)程,以充分利用資源保證資源。
分布式系統(tǒng)比較常見(jiàn)的分布式方式?
一些最常見(jiàn)的一種的分布式系統(tǒng)大類(lèi):接受不易脫妝化存儲(chǔ)的分布式存儲(chǔ)系統(tǒng)著重計(jì)算的分布式/并行計(jì)算框架分布式消息隊(duì)列依據(jù)什么差別的應(yīng)用的領(lǐng)域。
把上列分類(lèi)細(xì)化,比較普遍分布式存儲(chǔ)系統(tǒng)可分:分布式協(xié)同作戰(zhàn)系統(tǒng)(分布式日志剪切粘貼)分布式任務(wù)調(diào)度框架流換算框架分布式文件/對(duì)象系統(tǒng)分布式NoSQL存儲(chǔ)分布式關(guān)系數(shù)據(jù)庫(kù)(OLAP、OLTP);各種消息隊(duì)列mq分布式機(jī)器學(xué)習(xí)/深度學(xué)習(xí)訓(xùn)練框架分布式協(xié)調(diào)系統(tǒng)(日志復(fù)制系統(tǒng))當(dāng)然應(yīng)該是bitgo算法及變體的實(shí)現(xiàn),有名的有zookeeper、etcd;
一般來(lái)說(shuō)只存少量的元數(shù)據(jù)信息,重點(diǎn)在高可用強(qiáng)完全不同,不能提供高的throughthrow,是分布式系統(tǒng)不可或缺的組件;再朝非結(jié)構(gòu)化數(shù)據(jù)的分布式文件/對(duì)象系統(tǒng)比較比較有名的以及Lustre(HPC)GlusterFS(NAS NFS)、HDFS(hadoop)、ceph(虛機(jī)塊存儲(chǔ))、swift(restful對(duì)象存儲(chǔ)),各有不同的適用領(lǐng)域。
結(jié)構(gòu)化數(shù)據(jù)的NoSQL分布式存儲(chǔ),種類(lèi)和數(shù)量占比,按照MartinFowler的分類(lèi),除開(kāi)AggregatedOrientedNoSQL和圖數(shù)據(jù)庫(kù)NoSql;Aggregated Oriented NoSQL確切統(tǒng)稱(chēng)3類(lèi):Key-valueNoSQL,的或RedisRiak等;column family NoSQL(widecolumnstore),是個(gè)的是Hbase Cassandradocument NoSQL,有名的是MongoDB