怎么用sqoop把hive的數(shù)據(jù)導(dǎo)入mysql？運(yùn)行環(huán)境centos 5.6 hadoop hiveSqoop是clouder公司在hadoop技術(shù)支持下開(kāi)發(fā)的工具，用于在關(guān)系數(shù)據(jù)庫(kù)和HDFS、Hiv

怎么用sqoop把hive的數(shù)據(jù)導(dǎo)入mysql？

運(yùn)行環(huán)境centos 5.6 hadoop hive

Sqoop是clouder公司在hadoop技術(shù)支持下開(kāi)發(fā)的工具，用于在關(guān)系數(shù)據(jù)庫(kù)和HDFS、Hive之間導(dǎo)入導(dǎo)出數(shù)據(jù)。

上海尚學(xué)堂hadoop大數(shù)據(jù)培訓(xùn)群原創(chuàng)，hadoop大數(shù)據(jù)技術(shù)相關(guān)文章陸續(xù)呈現(xiàn)，敬請(qǐng)關(guān)注！

使用過(guò)程中可能遇到的問(wèn)題:

Sqoop依賴(lài)于zookeeper，所以ZOOKEEPER_HOME必須配置到環(huán)境變量中。

Sqoop-1.2.0-CDH3B4依賴(lài)于hadoop-core-0.20.2-CDH3B4.jar，所以需要下載hadoop-0.20.2-CDH3B4.tar.gz，解壓后復(fù)制Hadoop-0 . 20 . 2-cdh3b 4/Hadoop-Core-0 . 20 . 2-cdh3b 4 . jar到Sqoop。

1首先安裝sqoop，如果使用clouder發(fā)行版的話(huà)非常簡(jiǎn)單。

# yum安裝sqoop

如果用官方版本的話(huà)。

# cd

# wget

# yum -y安裝sqoop

將安裝Sqoop。

2使用sqoop

首先，將MySQL-connector-Java-5 . 1 . 16-bin . jar文件復(fù)制到文件夾/usr/lib/sqoop/lib中。

3導(dǎo)入和導(dǎo)出數(shù)據(jù)庫(kù)

1)列出mysql數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)庫(kù)命令。

# sq OOP list-databases-connect JDBC :mysql://localhost: 3306/-用戶(hù)名root -密碼123456

2)連接mysql，列出數(shù)據(jù)庫(kù)中的表命令。

# sq OOP list-tables-connect JDBC :mysql://localhost: 3306/test-username root-password 123456

命令中的Test是mysql數(shù)據(jù)庫(kù)中的測(cè)試數(shù)據(jù)庫(kù)名，username password分別是mysql數(shù)據(jù)庫(kù)的用戶(hù)密碼。

3)將關(guān)系數(shù)據(jù)的表結(jié)構(gòu)復(fù)制到hive中

sqoop創(chuàng)建配置單元表-連接JDBC :mysql://localhost: 3306/test-table用戶(hù)名-用戶(hù)名root -密碼123456 - hive-table測(cè)試

其中-tableusername是mysql中數(shù)據(jù)庫(kù)測(cè)試的表-hive-tabletest是hive中新創(chuàng)建的表的名稱(chēng)。

4)將文件從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入hive。

sqoop import-connect JDBC :mysql://localhost: 3306/test-username root-password MySQL-password-table t1-hive-import

5)將hive中的表格數(shù)據(jù)導(dǎo)入mysql。

。/sqoop export-connect JDBC :mysql://localhost: 3306/test-username root-password admin-table uv _ info-export-dir/user/hive/warehouse/uv/dt 2011-08-03

如果您報(bào)告了一個(gè)錯(cuò)誤，

11/08/05 10 : 51 : 22信息運(yùn)行job: job _ 201108051007 _ 0010

11/08/05 10 : 51 : 23信息地圖0%減少0%

11/08/05 10 : 51 : 36信息任務(wù)Id :嘗試_201108051007_0010_m_000000_0，狀態(tài):失敗

位于java.util.AbstractList$()

在uv_info。__loadFromFi

學(xué)習(xí)大數(shù)據(jù)難嗎？

在學(xué)習(xí)之前，首先要考慮的不是難度，而是如何學(xué)好。學(xué)習(xí)大數(shù)據(jù)的一些建議:

1.重點(diǎn)介紹大數(shù)據(jù)系統(tǒng)的架構(gòu)和原理，比如分布式存儲(chǔ)和計(jì)算的思想。

2.大數(shù)據(jù)框架的系統(tǒng)，比如hadoop，spark等等。

多做實(shí)驗(yàn)，多請(qǐng)教有經(jīng)驗(yàn)的人。

只要有信心，有堅(jiān)持，一定能學(xué)好。