如何在idea中閱讀spark源代碼？首先，點(diǎn)擊項(xiàng)目的“項(xiàng)目結(jié)構(gòu)”菜單，彈出一個(gè)對(duì)話框。細(xì)心的用戶一定會(huì)發(fā)現(xiàn)，其中列出的模塊沒有紗線！這就是為什么與yarn模塊相關(guān)的代碼總是報(bào)告錯(cuò)誤！只需在這里添加紗

如何在idea中閱讀spark源代碼？

首先，點(diǎn)擊項(xiàng)目的“項(xiàng)目結(jié)構(gòu)”菜單，彈出一個(gè)對(duì)話框。細(xì)心的用戶一定會(huì)發(fā)現(xiàn)，其中列出的模塊沒有紗線！這就是為什么與yarn模塊相關(guān)的代碼總是報(bào)告錯(cuò)誤！只需在這里添加紗線模塊。逐步選擇添加->導(dǎo)入模塊->選擇pom.xml文件，然后逐步單擊“確定”。此時(shí)，在對(duì)話框2.10模塊中將有更多spark yarn，然后單擊Maven項(xiàng)目中的“重新導(dǎo)入所有Maven項(xiàng)目”。下載完yarn模塊中的所有依賴項(xiàng)后，我們可以看到該模塊中的代碼將不再報(bào)告錯(cuò)誤

想研讀下spark的源碼，怎么搭閱讀和調(diào)試的環(huán)境？

考慮到eclipse對(duì)Scala的支持較差，不建議使用eclipse構(gòu)建源代碼讀取環(huán)境。建議使用此方法。方法1。用SBT直接編譯生成idea項(xiàng)目文件并導(dǎo)入idea。方法2。用idea直接導(dǎo)入git項(xiàng)目，用idea的SBT插件自動(dòng)編譯。用以上兩種方法編譯應(yīng)該是最簡(jiǎn)單的方法。如果網(wǎng)絡(luò)暢通，我就不用等太久。我花了大約一個(gè)小時(shí)來編譯spark1.6并下載到Mac上。如果您真的想使用eclipse，可以在將它作為Scala項(xiàng)目導(dǎo)入eclipse之前，嘗試用SBT編譯它。