hadoop2.0怎么解決hdfs局限性？HDFS適用場(chǎng)景海量數(shù)據(jù)存儲(chǔ)：HDFS可橫向擴(kuò)展，其讀取的文件是可以接受PB級(jí)別或更高級(jí)別的數(shù)據(jù)存儲(chǔ)。高容錯(cuò)性：數(shù)據(jù)保存多個(gè)副本，副本丟失后自動(dòng)可以恢復(fù)?？山y(tǒng)

hadoop2.0怎么解決hdfs局限性？

HDFS適用場(chǎng)景

海量數(shù)據(jù)存儲(chǔ)：HDFS可橫向擴(kuò)展，其讀取的文件是可以接受PB級(jí)別或更高級(jí)別的數(shù)據(jù)存儲(chǔ)。

高容錯(cuò)性：數(shù)據(jù)保存多個(gè)副本，副本丟失后自動(dòng)可以恢復(fù)?？山y(tǒng)合在廉價(jià)的機(jī)器上，利用線性擴(kuò)展。當(dāng)集群提升新節(jié)點(diǎn)之后，namenode也可以不感知，并且負(fù)載均衡，將數(shù)據(jù)清點(diǎn)交接和備份數(shù)據(jù)均衡到新的節(jié)點(diǎn)上。

商用技術(shù)硬件：Hadoop根本不必須啟動(dòng)在貴得要命且高可靠的硬件上。它是設(shè)計(jì)正常運(yùn)行在商用技術(shù)硬件（便宜的東西商業(yè)硬件）的集群上的。

大文件存儲(chǔ)：HDFS需要數(shù)據(jù)塊的存儲(chǔ)數(shù)據(jù)，將數(shù)據(jù)物理切組成多個(gè)小的數(shù)據(jù)塊。所以才再大的數(shù)據(jù)，區(qū)域分割后，大數(shù)據(jù)轉(zhuǎn)成了很多小數(shù)據(jù)。用戶讀取時(shí)，然后再將多個(gè)小數(shù)據(jù)塊拼接站了起來。

四次寫入一次讀取。HDFS是啊,設(shè)計(jì)成適應(yīng)適應(yīng)四次寫入文件，一次讀出來的場(chǎng)景，且不接受文件的修改。

正因?yàn)槿绱?，HDFS比較適合用來做大數(shù)據(jù)分析的底層存儲(chǔ)服務(wù)，并不比較適合用處做.網(wǎng)盤等應(yīng)用，因?yàn)?，可以修改不方便，延遲大，網(wǎng)絡(luò)開銷大，成本太高。

HDFS不適用場(chǎng)景

肯定不能能夠做到低時(shí)延數(shù)據(jù)訪問：的原因hadoop因?yàn)楦邤?shù)據(jù)吞吐量做了優(yōu)化，代價(jià)了聲望兌換數(shù)據(jù)的網(wǎng)絡(luò)延遲，因此對(duì)于更低延遲不能訪問數(shù)據(jù)的業(yè)務(wù)需求不合適HDFS。

不適合大量的小文件存儲(chǔ)：導(dǎo)致namenode將文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在內(nèi)存中，并且該文件系統(tǒng)所能存儲(chǔ)的文件總數(shù)受限制于namenode的內(nèi)存容量。參照經(jīng)驗(yàn)，每個(gè)文件、目錄和數(shù)據(jù)塊的存儲(chǔ)信息總共占150字節(jié)。但，如果不是有一百萬個(gè)小文件，每個(gè)小文件都會(huì)占一個(gè)數(shù)據(jù)塊，那至少要300MB內(nèi)存。要是是上億級(jí)別的，是會(huì)遠(yuǎn)超當(dāng)前硬件的能力。

可以修改文件：。HDFS比較適合第二次中寫入，過讀取數(shù)據(jù)的場(chǎng)景。相對(duì)于上傳到HDFS上的文件，不意見直接修改文件。Hadoop2.0雖然意見了文件的答的好功能，但不建議對(duì)HDFS上的文件通過修改。因?yàn)樾实拖?

不允許用戶的并行寫：相同時(shí)間內(nèi)，沒有辦法有一個(gè)用戶負(fù)責(zé)執(zhí)行寫你的操作。

如何將hdfs里某一目錄下的所有文件的文件名讀取出來？

默認(rèn)是從hdfs讀取數(shù)據(jù)文件，也是可以更改sc.textFile(

hdfs 數(shù)據(jù)存儲(chǔ)技術(shù)？

數(shù)據(jù)存儲(chǔ)技術(shù)HDFS

一、概述

1.1分布式文件系統(tǒng)（DFS）的概念和作用

1.2HDFS總體概述

二、HDFS的查找概念

2.1塊

2.2NameNode

2.3SecondaryNameNode

2.4DataNode

三、HDFS體系架構(gòu)與原理

3.1HDFS體系結(jié)構(gòu)

3.2HDFS高可用機(jī)制