分布式存儲(chǔ)系統(tǒng)有哪些 國內(nèi)做分布式存儲(chǔ)研發(fā)的公司有哪些?
國內(nèi)做分布式存儲(chǔ)研發(fā)的公司有哪些?阿里云飛天盤古團(tuán)隊(duì)多年來一直專注于此領(lǐng)域。目前,盤古支持阿里云的多種服務(wù),包括但不限于塊存儲(chǔ)(ECS云盤)、對象存儲(chǔ)(OSS)、表服務(wù)(OTS)、大規(guī)模分布式文件系統(tǒng)
國內(nèi)做分布式存儲(chǔ)研發(fā)的公司有哪些?
阿里云飛天盤古團(tuán)隊(duì)多年來一直專注于此領(lǐng)域。目前,盤古支持阿里云的多種服務(wù),包括但不限于塊存儲(chǔ)(ECS云盤)、對象存儲(chǔ)(OSS)、表服務(wù)(OTS)、大規(guī)模分布式文件系統(tǒng)(ODPs)、分析數(shù)據(jù)庫(ads)等,部署規(guī)模、數(shù)據(jù)量、付費(fèi)用戶數(shù)、收入等,增長率和其他指標(biāo)在中國很難匹配。
小米云平臺(tái)包括開源HBase(三個(gè)提交者)和基于C的自主研發(fā)
國內(nèi)大部分分布式存儲(chǔ)公司都使用開源軟件(CEPH?)。這些公司的代表包括華為、騰訊、今日頭條、滴滴等眾多團(tuán)隊(duì),有的使用開源軟件,有的自行研發(fā)。
當(dāng)前主流分布式文件系統(tǒng)有哪一些?
目前除了GPFS,還有PVFS、lustre、panfs、Google FS等。
1. PVFS(parallel virtual file system)項(xiàng)目是克萊姆森大學(xué)創(chuàng)建的一個(gè)開源項(xiàng)目,用于運(yùn)行Linux集群1)單個(gè)管理節(jié)點(diǎn):只有一個(gè)管理節(jié)點(diǎn)來管理元數(shù)據(jù)。當(dāng)集群系統(tǒng)達(dá)到一定規(guī)模時(shí),管理節(jié)點(diǎn)可能過于繁忙,成為系統(tǒng)的瓶頸。2) 數(shù)據(jù)存儲(chǔ)缺乏容錯(cuò)機(jī)制:當(dāng)I/O節(jié)點(diǎn)發(fā)生故障時(shí),數(shù)據(jù)將不可用3)靜態(tài)配置:PVFS只能在啟動(dòng)前配置。一旦系統(tǒng)運(yùn)行,就不能更改原始配置。
2. Lustre文件系統(tǒng)是一個(gè)基于對象存儲(chǔ)的分布式文件系統(tǒng)。該項(xiàng)目于1999年在卡內(nèi)基梅隆大學(xué)啟動(dòng)。Lustre也是一個(gè)開源項(xiàng)目。它只有兩個(gè)元數(shù)據(jù)管理節(jié)點(diǎn),類似于PVFS。當(dāng)系統(tǒng)達(dá)到一定規(guī)模時(shí),管理節(jié)點(diǎn)將成為lustre系統(tǒng)的瓶頸。
3. Panfs(Panasas文件系統(tǒng))是Panasas公司用來管理自己的集群存儲(chǔ)系統(tǒng)的分布式文件系統(tǒng)。
4. googlefs(Google文件系統(tǒng))是Google公司為滿足公司內(nèi)部數(shù)據(jù)處理需要而設(shè)計(jì)的一套分布式文件系統(tǒng)。
5. 與其他文件系統(tǒng)相比,GPFS的主要優(yōu)點(diǎn)是:1)采用分布式鎖管理和大數(shù)據(jù)塊策略,支持更大規(guī)模的集群系統(tǒng)。文件系統(tǒng)的令牌管理器為塊、inode、屬性和目錄項(xiàng)建立細(xì)粒度鎖。獲得鎖的第一個(gè)客戶端將負(fù)責(zé)維護(hù)相應(yīng)共享對象的一致性管理,這減輕了元數(shù)據(jù)服務(wù)器的負(fù)擔(dān)2)隨著多個(gè)元數(shù)據(jù)服務(wù)器和分布式元數(shù)據(jù)的出現(xiàn),元數(shù)據(jù)管理不再是系統(tǒng)的瓶頸。3) 令牌管理以字節(jié)為最小鎖單位,即除非兩個(gè)請求訪問同一文件中的同一字節(jié)數(shù)據(jù),否則數(shù)據(jù)訪問請求不會(huì)發(fā)生沖突