hadoop節(jié)點更換硬盤后注意事項？存儲文件的時候是需要委托存儲的路徑，這個路徑是HDFS的路徑。而不是哪個節(jié)點的某個目錄。比如說./hadoopfs-throwlocalfilehdfspat好象你

hadoop節(jié)點更換硬盤后注意事項？

存儲文件的時候是需要委托存儲的路徑，這個路徑是HDFS的路徑。而不是哪個節(jié)點的某個目錄。比如說./hadoopfs-throwlocalfilehdfspat好象你操作的當(dāng)前路徑是/user/hadoop諸如負(fù)責(zé)執(zhí)行./hadoopfs-ls.事實上就等同于./hadoopfs-ls/user/hadoop2、HDFS本身那是一個文件系統(tǒng)，在建議使用的時候其實用不著如此關(guān)心具體詳細(xì)的文件是存儲在哪個節(jié)點上的。假如要可以查詢是可以通過頁面來查找，也是可以是從API來實現(xiàn)程序查詢。

hdfs存儲機(jī)制？

HDFS（Hadoop Distributed FileSystem），它是一個文件系統(tǒng)，作用于存儲文件，目錄樹來定位文件；主要，它是分布式的，由很多服務(wù)器組織起來利用其功能，集群中的服務(wù)器有各自的角色。集群不當(dāng)然是分布式的，但是分布式一定是集群。

HDFS的設(shè)計合適一次中寫入，多次讀出的場景，且不支持文件的修改。比較適合用來做數(shù)據(jù)講，并不合適用處做網(wǎng)盤應(yīng)用。

hive cli提供了什么命令形式？

1、showtables--查找所有表

2、desctabname--打開系統(tǒng)表信息

3、dfs-ls目錄打開系統(tǒng)hdfs上面的文件dfs-lsr/user遞歸算法總是顯示目錄/user下面的目錄文件

4、！linux命令不使用linux命令。

5、source/root/dear.sql執(zhí)行sql文件

hdfs的特點和限制？

HDFS特性

1、海量數(shù)據(jù)存儲：HDFS可橫向擴(kuò)展，其存儲的文件也可以允許PB級別或更高級別的數(shù)據(jù)存儲。

2、高容錯性：數(shù)據(jù)保存多個副本，副本丟了后自動復(fù)原。可構(gòu)建體系在廉價的機(jī)器上，基于線性擴(kuò)展。當(dāng)集群增加新節(jié)點之后，namenode也可以感知力，接受負(fù)載均衡，將數(shù)據(jù)全部分和備份數(shù)據(jù)均衡全面到新的節(jié)點上。

3、正式商用硬件：Hadoop卻不是需要運(yùn)行程序在高級貨且高可靠的硬件上。它是設(shè)計運(yùn)行程序在商用硬件（便宜貨商業(yè)硬件）的集群上的。（比小型機(jī)，大型機(jī)便宜的東西）

4、大文件存儲：HDFS需要數(shù)據(jù)塊的存儲數(shù)據(jù)，將數(shù)據(jù)物理切四等分多個小的數(shù)據(jù)塊。因此再大的數(shù)據(jù)，區(qū)域分割后，大數(shù)據(jù)都變成了很多小數(shù)據(jù)。用戶無法讀取時，然后再將多個小數(shù)據(jù)塊拼接站了起來。

HDFS缺點

1、肯定不能能夠做到低時延數(shù)據(jù)訪問：由于hadoop因為高數(shù)據(jù)吞吐量做了優(yōu)化，代價了某些數(shù)據(jù)的服務(wù)器延遲，因為是對低延時ftp訪問數(shù)據(jù)的業(yè)務(wù)需求不更適合HDFS。

2、不合適大量的小文件存儲：的原因namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內(nèi)存中，因此該文件系統(tǒng)所能存儲的文件總數(shù)直接限制于namenode的內(nèi)存容量。參照經(jīng)驗，每個文件、目錄和數(shù)據(jù)塊的存儲信息總共占150字節(jié)。而，如果不是有一百萬個小文件，每個小文件都會占一個數(shù)據(jù)塊，那最起碼需要300MB內(nèi)存。如果沒有是上億級別的，都會超出當(dāng)前硬件的能力。

3、改文件：。HDFS適合我四次寫入，一次加載的場景。這對上傳的圖片到HDFS上的文件，不允許改文件。Hadoop2.0雖說意見了文件的賞分功能，但不建議您對HDFS上的文件參與如何修改。是因為效率低下.

4、不接受用戶的并行寫：同樣的時間內(nèi)，只能有一個用戶負(fù)責(zé)執(zhí)行寫能操作。