成人AV在线无码|婷婷五月激情色,|伊人加勒比二三四区|国产一区激情都市|亚洲AV无码电影|日av韩av无码|天堂在线亚洲Av|无码一区二区影院|成人无码毛片AV|超碰在线看中文字幕

hadoop集群數(shù)據(jù)拷貝參數(shù)優(yōu)化 如何在windows下安裝hadoop?

如何在windows下安裝hadoop?先說幫一下忙要打算哪些軟件和信息:VMware-workstation;CentOS-6.0-i386-bin-DVD;eclipse-jee-luna-SR1

如何在windows下安裝hadoop?

先說幫一下忙要打算哪些軟件和信息:

VMware-workstation;

CentOS-6.0-i386-bin-DVD;

eclipse-jee-luna-SR1-win32;

hadoop-0.20.2;

jdk-6u27-linux-i586;

(由于hadoop對(duì)版本的要求較高,大家應(yīng)該千萬不能輕易地更換版本,這里列出去的各種軟件都是穩(wěn)定點(diǎn)首頁版,網(wǎng)上很容易這個(gè)可以download到的)。

整個(gè)教程兩類這樣5個(gè)部分來說:1)在Windows下直接安裝虛擬機(jī)Vmware,并新建一個(gè)虛擬機(jī)裝完centos系統(tǒng);2)centos下設(shè)置里ssh服務(wù)無密碼登錄;3)centos下安裝jdk,并配置環(huán)境變量;4)centos下按裝hadoop,并配置文件;5)windows下按裝jdk和eclipse,并將eclipse與centos下的hadoop連接到。的確這5個(gè)部分每一個(gè)都很有用,尤其是第4)步。下面我們就詳細(xì)說一下每踏該怎么樣。

Step0:請(qǐng)大家先在windows下新建任務(wù)一個(gè)普通用戶,用戶名為hadoop,我們所有的軟件全在這個(gè)下面安裝,用戶名最好是如果這樣hadoop,而且這個(gè)要和后面很多username同一,設(shè)為hadoop比較好記。

1)在Windows下直接安裝虛擬機(jī)Vmware,并新建一個(gè)虛擬機(jī)裝好后centos系統(tǒng);

必須,上網(wǎng)下載VMware-workstation并安裝,這步驟和像是windows下按裝軟件的過程是差不多的,入門小白也會(huì)非常熟練能操作,這里就節(jié)省時(shí)間點(diǎn)兒空間給后面有用的步驟了~

然后,在Vmware的主頁上新建一個(gè)虛擬機(jī)

這一路下一步怎么辦,等到讓你選擇系統(tǒng)鏡像路徑,我們選擇類型centos系統(tǒng)映像,如上圖,直接點(diǎn)擊第二步。然后再,需要你輸入linux的用戶名,這個(gè)也很不重要,好是如何填寫hadoop,畢竟這個(gè)名字在后面要應(yīng)用好多次!

后面還是一路的“然后再”,待到讓你可以設(shè)置虛擬機(jī)的內(nèi)存大小,個(gè)人建議為1024M。如上圖。后面那是要選擇和虛擬機(jī)的網(wǎng)絡(luò)類型關(guān)聯(lián)的設(shè)置了,見意為“可以使用網(wǎng)絡(luò)地址轉(zhuǎn)換NAT”,如下圖。這三步我當(dāng)時(shí)選擇了自動(dòng)啟動(dòng)橋接的功能,找了一個(gè)晚上的錯(cuò)誤。。。時(shí)間就這樣白花花的的沒有了~~

然后還是一路的“下一步”,簡(jiǎn)直是使用它推薦推薦的設(shè)置,我們就這個(gè)可以新建項(xiàng)一個(gè)centos,再等待個(gè)幾分鐘然后再就這個(gè)可以直接進(jìn)入centos界面了。注意到那一抹科技藍(lán),有木有讓你心動(dòng)了呢~~哈哈哈,你確實(shí)走的好了目標(biāo)!

2)centos下設(shè)置中ssh你服務(wù)無密碼登錄;

在桌面右擊,你選openinTerminal,這個(gè)是linux的終端了。期望讀者有一些linux操作系統(tǒng)的基礎(chǔ),這樣子練熟更快一些。不過要不然沒有的話,也沒有關(guān)系,我們是走向新手的教程。

2.1.先在linux命令行中輸入輸入su,提示密碼,輸入輸入你自己可以設(shè)置的密碼,這樣子你后面的操作都具有了linux系統(tǒng)下的更高權(quán)限——root權(quán)限。

2.2.在可以設(shè)置ssh無密碼登錄之前,有一個(gè)最重要的重要的要先出好:直接關(guān)閉SELinux。這是因?yàn)閏entos會(huì)不自動(dòng)強(qiáng)行你如何修改sshservice,我們唯有自動(dòng)關(guān)閉SELinux,重起才能才生效。如何做,萬分感謝:

修改/etc/selinux/config文件

將SELINUXenforcing值改SELINUXdisabled

關(guān)機(jī)重啟機(jī)器表就行

(note:在linux下修改文件,vi下命令后會(huì)進(jìn)入到文件窗口,按i再次進(jìn)入truncate,直接修改完畢之后再按esc很快推出execute,鍵入;:wq!保存并解盟~這里要感激泡哥,改了一會(huì)兒都不行啊,肯定泡哥指點(diǎn)迷津了~~)

2.3.在linux命令行里輸入:ssh-keygen-trsa,然后一路回車。

:~$ssh-keygen-trsa

Generatingpublic/privatersakeypair.

Enterfileinwhichtosavethekey(_rsa)://密鑰保存位置,然后回車保持設(shè)置為;

Enterpassphrase(emptyfornopassphrase)://系統(tǒng)設(shè)置密鑰的密碼,空密碼真接回車即可解決;

Entersamepassp。

然后剛剛進(jìn)入下面,會(huì)看見了兩個(gè)文件id_,id_rsa,

然后負(fù)責(zé)執(zhí)行cpid__keys

接著sshlocalhost驗(yàn)證是否完成,第一次要你鍵入yep,以后就不需要了。

如下圖,導(dǎo)致我又驗(yàn)證了一次,所以還必須輸入輸入y,如果沒有你是第一次不驗(yàn)證是千萬不能的。

眼下,ssh服務(wù)什么無密碼登錄設(shè)置完畢!

3)centos下安裝好jdk,并配置環(huán)境變量;

這一步中這個(gè)可以分成三類兩步:安裝jdk、配置jdk環(huán)境變量。

3.1.不過在此之前:root用戶登入,可以使用命令mkdir/usr/program新建目錄/usr/program,直接下載JDK安裝包,將其剪切粘貼到目錄/usr/program下,用cd命令再次進(jìn)入該目錄,想執(zhí)行命令“”,下命令運(yùn)行完畢即安裝好成功,將在目錄下生成文件夾/jdk1.6.0_13,此即為jdk被完成安裝到目錄:/usr/program/jdk1.6.0_13下。

用戶直接登陸,命令行中執(zhí)行命令“vi/etc/profile”,并一并加入以上內(nèi)容,配置環(huán)境變量(再注意/etc/profile這個(gè)文件很有用,后面Hadoop的配置還會(huì)要用)。

#setjavaenvironment

exportJAVA_HOME/usr/program/jdk1.6.0_27

exportJRE_HOME/usr/program/jdk1.6.0_27/jre

exportCLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

在vi編輯器減少以下內(nèi)容后需要保存退出,并先執(zhí)行200以內(nèi)命令使配置才生效!

#chmodx/etc/profile;減少執(zhí)行權(quán)限

#source/etc/profile;使配置才生效!

配置完畢后,在命令行中再輸入:java-version,是會(huì)會(huì)出現(xiàn)按裝jdk的信息。

這時(shí),jdk的安裝和配置環(huán)境變量就成功了了~

hdfs 中的put命令詳解?

只能說明:從本地文件系統(tǒng)中剪切粘貼單個(gè)或多個(gè)源路徑到目標(biāo)文件系統(tǒng)。也支持從標(biāo)準(zhǔn)輸入中讀取鍵入中寫入目標(biāo)文件系統(tǒng)。

用法:hadoopfs-throwing…

范例:

hadoopfs-throwlocalfile/user/hadoop/hadoopfile

hadoopfs-throwlocalfile1localfile2/user/hadoop/hadoopdir

hadoopfs-t:port/hadoop/hadoopfile

hadoopfs-thrown–:port/hadoop/hadoopfile

從標(biāo)準(zhǔn)鍵入中讀取數(shù)據(jù)輸入。

返回值:最終直接返回0,失敗返回-1。