大數(shù)據中的Scala好掌握嗎，自學可以嗎？學習大數(shù)據技術需要掌握Scala。但是，在學習Scala之前，您最好在一定程度上了解java和任何函數(shù)式語言（Haskell、SML等），特別是在您可以在編程

大數(shù)據中的Scala好掌握嗎，自學可以嗎？

學習大數(shù)據技術需要掌握Scala。

但是，在學習Scala之前，您最好在一定程度上了解java和任何函數(shù)式語言（Haskell、SML等），特別是在您可以在編程范式之間自由切換之后。

Scala不偏向大數(shù)據方向的科學研究。它被用于許多地方，如火花。

1，JVM基礎，與Java完全兼容。對于堅實的java基礎的學生，學習斯卡拉非常友好！2！在普通工具中，水槽和Hadoop是用java編寫的，Scale和卡夫卡是Scala編寫的。

所以對于想學習大數(shù)據的學生來說，Scala確實是最受推薦的。

作為一種相對較新的語言，Scala有一個混亂的社區(qū)。在scala社區(qū)中有許多不同的嘗試，主要是Java和Haskell，以及actor和reactive編程。如果你還沒有掌握一個成熟的編程范例，我認為你很可能買不起Scala。！當java編程基礎很好的時候，學習Hadoop系統(tǒng)，然后安排學習Scala，然后學習Scale，卡夫卡等等。這個順序更科學合理，更容易讓大家掌握。

推薦書籍：Scala編程，Scala函數(shù)編程https://www.toutiao.com/i6543924910664712718/

為什么Spark要用Scala實現(xiàn)？

SBT更適合構建Scala項目，Maven更適合構建java項目。2對于spark中的API，Java和scala是不同的，但是差別不大。三。如果使用Scala開發(fā)spark原型程序，可以使用spark-s Shell或spark Shell進行交互式實時查詢。使用Scala甚至可以減少一個數(shù)量級的代碼量，但是Scala的閾值很高。建議：使用Scala構建spark作業(yè)，因為spark本身是由SBT構建的。同時，利用Scala開發(fā)spark-job有助于理解spark的實現(xiàn)機制，它與Scala是一個很好的匹配。RDD的許多思想都與Scala類似，如map、filter等高階算子與Scala的概念表完全相同。Java在很短的代碼中有很多行函數(shù)。它類似于FP中的不可變延遲計算，實現(xiàn)了分布式內存對象RDD，同時實現(xiàn)了流水線。Scala擅長借用，比如設計初衷是支持JVM，所以它可以完美地借用Java的生態(tài)功能。像spark一樣，很多東西不應該自己寫，而是可以直接使用和借鑒，比如直接在yarn、mesos、EC2中部署，使用HDFS、S3，借用hive的SQL解析部分；

3。Akka還可以促進高效網絡通信的發(fā)展。

為什么Spark要用Scala實現(xiàn)？

1. 為了讓spark連接到hive的原始數(shù)據倉庫，我們需要在hive中連接hive-網站.xml將該文件復制到spark的conf目錄，這樣您就可以通過這個配置文件找到hive的元數(shù)據和數(shù)據存儲。

在這里，因為我的spark是自動安裝和部署的，所以我需要知道CDH將配置-網站.xml它在哪里？摸索之后。此文件的默認路徑在/etc/hive/conf下

類似地，spark的conf在/etc/spark/conf下

此時，如上所述，相應的配置單元被更改-網站.xml復制到spark/conf目錄

如果hive的元數(shù)據存儲在mysql中，我們需要準備mysql相關的驅動程序，例如mysql-connector-java-5.1.22-bin.jar文件.