spark環(huán)境搭建及配置 python的第三方包能直接在pyspark環(huán)境下用么？
python的第三方包能直接在pyspark環(huán)境下用么？Spark（和PySpark）的執(zhí)行可以特別詳細，很多INFO日志消息都會打印到屏幕。開發(fā)過程中，這些非常惱人，因為可能丟失Python棧跟蹤或
python的第三方包能直接在pyspark環(huán)境下用么？
Spark（和PySpark）的執(zhí)行可以特別詳細，很多INFO日志消息都會打印到屏幕。開發(fā)過程中，這些非常惱人，因為可能丟失Python棧跟蹤或者print的輸出。
為了減少Spark輸出 – 你可以設(shè)置$SPARK_HOME/conf下的log4j。
首先，拷貝一份$SPARK_HOME/conf/log4j.properties.template文件，去掉“.template”擴展名。