hive的存儲(chǔ)格式parquet和ocfile的區(qū)別？哪里是輸入sqoop導(dǎo)入的目錄？如果在/usr/sqoop下輸入命令，請(qǐng)?jiān)?usr/sqoop下輸入hive login，然后顯示要查看的表。哪里

hive的存儲(chǔ)格式parquet和ocfile的區(qū)別？

哪里是輸入sqoop導(dǎo)入的目錄？如果在/usr/sqoop下輸入命令，請(qǐng)?jiān)?usr/sqoop下輸入hive login，然后顯示要查看的表。

哪里是輸入sqoop導(dǎo)入的目錄？如果在/usr/sqoop下輸入命令，請(qǐng)?jiān)?usr/sqoop下輸入hive login，然后顯示要查看的表。蜂巢0.13后的支持。

如何把文本文件，直接轉(zhuǎn)parquet？

文本文件直接到拼花可以跳過(guò)不合格的數(shù)據(jù)，只讀取所需的數(shù)據(jù)，減少IO數(shù)據(jù)量，壓縮編碼可以減少磁盤存儲(chǔ)空間。由于同一列的數(shù)據(jù)類型是相同的，因此可以使用更有效的壓縮編碼（例如runlengthecoding和deltaencoding）來(lái)進(jìn)一步節(jié)省存儲(chǔ)空間。只有對(duì)需要讀取的列進(jìn)行支持向量運(yùn)算，才能獲得更好的掃描性能。拼花是基于googledremel系統(tǒng)的數(shù)據(jù)模型和算法。其核心思想是用“記錄隱藏嵌套數(shù)據(jù)層次”來(lái)表示復(fù)雜的嵌套數(shù)據(jù)類型，同時(shí)輔以高效的壓縮和列編碼技術(shù)來(lái)減少內(nèi)存。在Avro之前，Avro被用來(lái)在新的統(tǒng)計(jì)系統(tǒng)中序列化和存儲(chǔ)日志?？紤]到parquet的優(yōu)點(diǎn)和與Avro的兼容性，將HDFS上的存儲(chǔ)格式改為paruqet，只需少量的工作，利用原來(lái)讀取Avro的API來(lái)讀取parquet，提高了近一個(gè)數(shù)量級(jí)。拼花文件的尾部存儲(chǔ)了文件的元數(shù)據(jù)信息和統(tǒng)計(jì)信息，具有自描述性，易于解析

并且可以進(jìn)行優(yōu)化。我們最近正在做的是使用三個(gè)具有30g內(nèi)存和12核的虛擬機(jī)。對(duì)于6.14億個(gè)數(shù)據(jù)（MySQL為130g，parquet為30g），對(duì)某個(gè)字段計(jì)數(shù)（distinct）進(jìn)行多字段組聚合大約需要30秒，而普通查詢大約需要2秒。所以我認(rèn)為在您的情況下，還有很大的優(yōu)化空間

不可能通過(guò)減少輸出將數(shù)據(jù)輸出到多個(gè)目錄。您可以將reduce的輸出設(shè)置為no output。您可以在reducer類的configure（）方法中創(chuàng)建一個(gè)將數(shù)據(jù)輸出到HDFS的流，然后在reduce（）方法中將數(shù)據(jù)輸出到HDFS流，最后在close（）方法中關(guān)閉輸出流