spark運行原理 運行spark自帶例子怎么查看結(jié)果?
運行spark自帶例子怎么查看結(jié)果?在spark的web監(jiān)控頁面的sparkcontext中可以看到如下代碼:首先創(chuàng)建spark應(yīng)用的web監(jiān)控實例對象,然后用bind方法綁定web服務(wù)器。可以看出,
運行spark自帶例子怎么查看結(jié)果?
在spark的web監(jiān)控頁面的sparkcontext中可以看到如下代碼:首先創(chuàng)建spark應(yīng)用的web監(jiān)控實例對象,然后用bind方法綁定web服務(wù)器??梢钥闯?,我們使用jetty服務(wù)器來監(jiān)控程序的運行,并顯示spark集群的信息。
怎么獲取spark運行時的一些運行參數(shù)?
與Linux和windows相比,JDK安裝更加自動化。用戶可以下載并安裝oraclejdk或openjdk。僅僅安裝JRE是不夠的。用戶應(yīng)該下載整個JDK。安裝過程非常簡單,只要運行二進制可執(zhí)行文件,程序就會自動配置環(huán)境變量。(2) 安裝cygwin-cygwin是在Windows平臺上模擬linux環(huán)境的一個非常有用的工具。只有通過它才能在Windows環(huán)境下安裝Hadoop和spark。具體安裝步驟如下。1) 運行安裝程序并選擇“從Internet安裝”。2) 選擇要下載的最佳源。3) 進入selectpackages界面(見圖2-2),然后進入net,選擇OpenSSL和openssh。因為我們以后仍將使用SSH無鍵登錄。此外,還應(yīng)安裝“編輯器類別”下的“VIM”。這使得修改cygwin上的配置文件變得很容易。最后需要配置環(huán)境變量,依次選擇“my computer”→“properties”→“advanced system settings”→“environment variables”命令,更新環(huán)境變量中的路徑設(shè)置,然后添加cygwin的bin目錄和cygwin的usrbin目錄。