Python程序員該如何準(zhǔn)備面試？首先，你需要自己做好充分的準(zhǔn)備。第一塊:準(zhǔn)備學(xué)習(xí)一些基本的網(wǎng)絡(luò)知識(shí)和算法。第二塊:扎實(shí)學(xué)習(xí)python的基礎(chǔ)知識(shí)。第三塊:數(shù)據(jù)庫(kù)Mysql，ORACL如何用通俗形象的

Python程序員該如何準(zhǔn)備面試？

首先，你需要自己做好充分的準(zhǔn)備。

第一塊:準(zhǔn)備學(xué)習(xí)一些基本的網(wǎng)絡(luò)知識(shí)和算法。

第二塊:扎實(shí)學(xué)習(xí)python的基礎(chǔ)知識(shí)。

第三塊:數(shù)據(jù)庫(kù)Mysql，ORACL

如何用通俗形象的語(yǔ)言解釋下：Spark中的RDD到底是什么意思？

Rdd是spark的靈魂。中文翻譯是一個(gè)彈性的分布式數(shù)據(jù)集，一個(gè)rdd代表一個(gè)可以分區(qū)的只讀數(shù)據(jù)集。rdd中可以有很多分區(qū)，每個(gè)分區(qū)都有大量的記錄。

RDD本身是Berkeley博士在寫論文時(shí)抽象出來(lái)的概念，其本質(zhì)與Hadoop MapReduce處理中輸入輸出的key-value和Flink的dataset沒有本質(zhì)區(qū)別。處理的時(shí)候還是用迭代器加載一些數(shù)據(jù)，同時(shí)執(zhí)行操作(每個(gè)分區(qū)的實(shí)現(xiàn)其實(shí)就是一個(gè)迭代器)。

我個(gè)人認(rèn)為，如果要通俗地解釋RDD，第一步可以簡(jiǎn)單地把它想象成一個(gè)數(shù)組/鏈表，用迭代器類的東西遍歷，可以是碎片化的，也可以是零散的；第二步，你可以找一些例子，看一些界面文檔。畢竟用列表直接理解還是有優(yōu)勢(shì)的。之后，當(dāng)你用例子理解了函數(shù)，就可以進(jìn)一步閱讀它的原理了。Rdd運(yùn)算符主要分為兩類，動(dòng)作和變換。也就是變換和一些運(yùn)算。

關(guān)于rdd的特點(diǎn)，摘錄一部分知乎 的朋友:

rdd的五個(gè)特征:

Dependenci:建立rdd的依賴關(guān)系，主要rdd有寬有窄。具有窄依賴性的RDD可以在同一階段計(jì)算。

分區(qū):一個(gè)rdd會(huì)有幾個(gè)分區(qū)，分區(qū)的大小決定了這個(gè)rdd的計(jì)算粒度，每個(gè)rdd分區(qū)的計(jì)算都是在單獨(dú)的任務(wù)中進(jìn)行的。

根據(jù) "移動(dòng)數(shù)據(jù)不如移動(dòng)計(jì)算 "在spark調(diào)度任務(wù)時(shí)，首選locations:優(yōu)先將任務(wù)分配給存儲(chǔ)數(shù)據(jù)塊的位置。

compute:spark中的計(jì)算都是基于分區(qū)的，compute函數(shù)只復(fù)合迭代器，不保存單次計(jì)算的結(jié)果。

Partitioner:只存在于類型(K，V)的rdd中，非類型(K，V)的partitioner的值為None。