如何使用scala開發(fā)spark作業(yè)，并訪問(wèn)hive？1. 為了讓spark連接到hive的原始數(shù)據(jù)倉(cāng)庫(kù)，我們需要在hive中連接hive-網(wǎng)站.xml將該文件復(fù)制到spark的conf目錄，這樣您就

如何使用scala開發(fā)spark作業(yè)，并訪問(wèn)hive？

1. 為了讓spark連接到hive的原始數(shù)據(jù)倉(cāng)庫(kù)，我們需要在hive中連接hive-網(wǎng)站.xml將該文件復(fù)制到spark的conf目錄，這樣您就可以通過(guò)這個(gè)配置文件找到hive的元數(shù)據(jù)和數(shù)據(jù)存儲(chǔ)。

在這里，因?yàn)槲业膕park是自動(dòng)安裝和部署的，所以我需要知道CDH將配置-網(wǎng)站.xml它在哪里？摸索之后。此文件的默認(rèn)路徑在/etc/hive/conf下

類似地，spark的conf在/etc/spark/conf下

此時(shí)，如上所述，相應(yīng)的配置單元被更改-網(wǎng)站.xml復(fù)制到spark/conf目錄

如果hive的元數(shù)據(jù)存儲(chǔ)在mysql中，我們需要準(zhǔn)備mysql相關(guān)的驅(qū)動(dòng)程序，例如mysql-connector-java-5.1.22-bin.jar文件.