mapreduce的五個(gè)階段 三月底離職,到目前面試了十幾家,為什么面試官總是喜歡問很底層的原理問題?這些問題?
三月底離職,到目前面試了十幾家,為什么面試官總是喜歡問很底層的原理問題?這些問題?題主你好,很高興回答你的問題!作為一名職場(chǎng)填坑多年,參加多次應(yīng)聘求職,完成過幾次招聘和崗位職責(zé)說明書的人,我談一下對(duì)問
三月底離職,到目前面試了十幾家,為什么面試官總是喜歡問很底層的原理問題?這些問題?
題主你好,很高興回答你的問題!
作為一名職場(chǎng)填坑多年,參加多次應(yīng)聘求職,完成過幾次招聘和崗位職責(zé)說明書的人,我談一下對(duì)問題的看法。
面試是為了挑選有用的人,而不是挑選“高大上”
公司招聘,實(shí)際上是以實(shí)用為主的,作為面試官需要通過面試過程的信息篩選挑選出最合適的人。如果是一些基礎(chǔ)性的崗位,那么基層的經(jīng)驗(yàn)和原理是考察一個(gè)人崗位熟練程度的最好辦法。至于說高大上的問題,更多的是測(cè)試求職者的附加價(jià)值,也就是意外驚喜,這一塊作為參考條件即可。
面試只是一種方法,結(jié)果判定才是手段
面試官面試的時(shí)候,都會(huì)有自己的“套路”。作為應(yīng)聘者,我們要做的就是見招拆招。一個(gè)簡(jiǎn)單的問題,同樣的回答,不同的人有不同的判定,不要糾結(jié)面試官問什么,重點(diǎn)關(guān)注你回答了什么!
求職應(yīng)聘,最重要的是表現(xiàn)讓對(duì)方滿意,至于說能否體現(xiàn)全部實(shí)力不重要
相中了一份工作進(jìn)行面試,我們的關(guān)注焦點(diǎn)應(yīng)該是如何通過面試。至于說對(duì)方問的什么,如何評(píng)判實(shí)際上不重要。
原理類的問題看似簡(jiǎn)單實(shí)際上很有技術(shù)含量
一些與基礎(chǔ)經(jīng)驗(yàn)有關(guān)系的崗位,問現(xiàn)場(chǎng)的原理性問題能看出應(yīng)聘者對(duì)現(xiàn)場(chǎng)問題的了解和掌握情況!最底層的問題恰好最能體現(xiàn)一個(gè)人的實(shí)踐經(jīng)歷,有沒有在現(xiàn)場(chǎng)做過事,只要問一個(gè)現(xiàn)場(chǎng)小問題的處理就能看的出,這些恰好是可以排查“面霸”的最好工具。
開發(fā)mapreduce各有哪些優(yōu)缺點(diǎn)?
1.不適合事務(wù)/單一請(qǐng)求處理MapReduce絕對(duì)是一個(gè)離線批處理系統(tǒng),對(duì)于批處理數(shù)據(jù)應(yīng)用得很好:MapReduce(不論是Google的還是Hadoop的)是用于處理不適合傳統(tǒng)數(shù)據(jù)庫(kù)的海量數(shù)據(jù)的理想技術(shù)。但它又不適合事務(wù)/單一請(qǐng)求處理。(HBase使用了來(lái)自Hadoop核心的HDFS,在其常用操作中并沒有使用MapReduce。)2.不能隨即讀取3.以蠻力代替索引在索引是更好的存取機(jī)制時(shí),MapReduce將劣勢(shì)盡顯。4.low-level語(yǔ)言和操作“直接開始你想要的--而不是展示一個(gè)算法,解釋如何工作的?!?關(guān)系型數(shù)據(jù)庫(kù)的觀點(diǎn))--Highlevel(DBMS)“展示數(shù)據(jù)存取的算法。”(Codasyl的觀點(diǎn))--Lowlevel(MapReduce)5.性能問題想想N個(gè)map實(shí)例產(chǎn)生M個(gè)輸出文件-每個(gè)最后由不同的reduce實(shí)例處理,這些文件寫到運(yùn)行map實(shí)例機(jī)器的本地硬盤.如果N是1,000,M是500,map階段產(chǎn)生500,000個(gè)本地文件.當(dāng)reduce階段開始,500個(gè)reduce實(shí)例每個(gè)需要讀入1,000文件,并用類似FTP協(xié)議把它要的輸入文件從map實(shí)例運(yùn)行的節(jié)點(diǎn)上pull取過來(lái).假如同時(shí)有數(shù)量級(jí)為100的reduce實(shí)例運(yùn)行,
為什么面試要問hashmap的原理?
面試官問HashMap的原理可能只是在考察你是否有專研學(xué)習(xí)的精神,因?yàn)镠ashMap是用的最多的,如果你連HashMap的原理都不知道,面試官大概就可以定義你對(duì)任何東西都是只會(huì)用,但是不知道其原理?,F(xiàn)在都會(huì)用的人那么多,為什么要選你了?所以這個(gè)問題可能是篩選的一個(gè)條件。
當(dāng)然,主要應(yīng)該還是知道原理才能更好的使用和解決問題,這才是最重要的。
MapReduce和hadoop什么關(guān)系和區(qū)別?
hadoop是依據(jù)mapreduce的原理,用Java語(yǔ)言實(shí)現(xiàn)的分布式處理機(jī)制。 Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,實(shí)現(xiàn)了Google的MapReduce編程模型和框架,能夠把應(yīng)用程序分割成許多的小的工作單元,并把這些單元放到任何集群節(jié)點(diǎn)上執(zhí)行。 MapReduce是Hadoop中的一個(gè)數(shù)據(jù)運(yùn)算核心模塊,MapReduce通過JobClient生成任務(wù)運(yùn)行文件,并在JobTracker進(jìn)行調(diào)度指派TaskTracker完成任務(wù)。
搞大數(shù)據(jù),JAVA工程師需要掌握哪些知識(shí)?
由于目前的大數(shù)據(jù)很多都是指的Hadoop,而且目前企業(yè)使用最多的大數(shù)據(jù)工具也是Hadoop。Java作為學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ),很多組件都是使用Java語(yǔ)言或者JVM可以運(yùn)行的語(yǔ)言。所以在你熟練使用Java具備轉(zhuǎn)大數(shù)據(jù)的基本條件后,接下來(lái)就是知識(shí)、技術(shù)的學(xué)習(xí)。
Hadoop主要包括三部分HDFS,MapReduce,Yarn都需要深入學(xué)習(xí),因?yàn)槊嬖嚨臅r(shí)候可能會(huì)被問到一些原理的問題。
Hadoop生態(tài)區(qū)重要組件 Hive(離線)、Hbase、Spark(實(shí)時(shí),實(shí)時(shí)框架有spark、storm、flink等,可以選擇其中的一種學(xué)習(xí)),這些重要的組件都需要深入系統(tǒng)的學(xué)習(xí),在大數(shù)據(jù)中也是使用最對(duì)的。
Hadoop生態(tài)圈重要工具kafka、flume、sqoop等等,還有像azkaban這樣的調(diào)度工作,在日常的工作中都是必不可少的。
當(dāng)然,在學(xué)會(huì)上面的相關(guān)知識(shí)、技術(shù)后,最重要的還是需要項(xiàng)目實(shí)戰(zhàn)來(lái)學(xué)會(huì)使用。另外最好也能多看看別人優(yōu)秀的源碼來(lái)提升自己。加油!