python終端dataset怎么使用 沒有計算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識?
沒有計算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識?學(xué)習(xí)程序開發(fā)是可以多瀏覽一些開源軟件平臺上面的項目,博客,問答等。比較著名的平臺如github開源,stackoverflow等。在github上搜big dat
沒有計算機(jī)基礎(chǔ)應(yīng)該如何學(xué)習(xí)大數(shù)據(jù)知識?
學(xué)習(xí)程序開發(fā)是可以多瀏覽一些開源軟件平臺上面的項目,博客,問答等。比較著名的平臺如github開源,stackoverflow等。
在github上搜big data,變會再次出現(xiàn)相關(guān)的項目,有一個大數(shù)據(jù)入門指南的項目挺還好的,你是可以參照著學(xué)。地址:,如果ftp訪問被取消,可以不點(diǎn)zan,評論。
萬分感謝是內(nèi)容摘自項目中的圖解,和章節(jié)導(dǎo)航。
附:項目的查找知識點(diǎn)不勝感激
前言
大數(shù)據(jù)學(xué)習(xí)路線
大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖
大數(shù)據(jù)常用軟件安裝指南
一、Hadoop
分布式文件存儲系統(tǒng)——HDFS
分布式計算框架——MapReduce
集群資源管理器——YARN
Hadoop單機(jī)偽集群環(huán)境搭建
Hadoop集群環(huán)境搭建
HDFS正確Shell命令
HDFSJavaAPI的使用
實(shí)現(xiàn)Zookeeper堆建Hadoop高可用集群
二、Hive
Hive簡介及核心概念
Linux環(huán)境下Hive的安裝部署
HiveCLI和Beeline命令行的基本使用
Hive廣泛DDL不能操作
Hive分區(qū)表和分桶表
Hive視圖和索引
Hive具體用法DML你的操作
Hive數(shù)據(jù)查詢詳細(xì)解析
三、Spark
SparkCore:
Spark簡介
Spark開發(fā)環(huán)境搭建
彈性式數(shù)據(jù)集RDD
RDD具體方法算子請賜教
Spark運(yùn)行模式與假期作業(yè)并提交
Spark累加器與廣播變量
基于Zookeeper壘建Spark高可用集群
SparkSQL:
DateFrame和DataSet
StructuredAPI的都差不多使用
SparkSQL外部數(shù)據(jù)源
Spark SQL正確聚合函數(shù)
SparkSQLJOIN能操作
SparkStreaming:
SparkStreaming簡介
SparkStreaming基本操作
Spark Streaming全部整合Flume
SparkStreaming整合Kafka
四、Storm
Storm和流去處理簡介
Storm核心概念求高人
Storm單機(jī)環(huán)境搭建
Storm集群環(huán)境搭建
Storm編程模型求答
Storm項目三種打包對比分析
Storm集成主板Redis求高人
Storm集成顯卡HDFS/HBase
Storm集成顯卡Kafka
五、Flink
Flink核心概念綜述
Flink開發(fā)環(huán)境搭建
FlinkDataSource
FlinkDataTransformation
FlinkDataSink
Flink窗口模型
Flink狀態(tài)管理與檢查點(diǎn)機(jī)制
FlinkStandalone集群部署
六、HBase
Hbase簡介
HBase系統(tǒng)架構(gòu)及數(shù)據(jù)結(jié)構(gòu)
HBase基本上環(huán)境搭建(Standalone/pseudo-centralizedmode)
HBase集群環(huán)境搭建
HBase常用Shell命令
HBaseJavaAPI
HBase過濾器詳細(xì)解析
HBase協(xié)處理器請賜教
HBase容災(zāi)與備份
HBase的SQL中間層——Phoenix
Spring/Spring Boot整合起來Mybatis Phoenix
七、Kafka
Kafka簡介
基于條件Zookeeper壘建Kafka高可用集群
Kafka生產(chǎn)者求高人
Kafka消費(fèi)者詳細(xì)解析
進(jìn)入到理解Kafka副本機(jī)制
八、Zookeeper
Zookeeper簡介及核心概念
Zookeeper單機(jī)環(huán)境和集群環(huán)境搭建
Zookeeper具體方法Shell命令
ZookeeperJava客戶端——ApacheCurator
ZookeeperACL權(quán)限控制
九、Flume
Flume簡介及基本是在用
Linux環(huán)境下Flume的安裝部署
Flume整合Kafka
十、Sqoop
Sqoop簡介與安裝
Sqoop的基本使用
十一、Azkaban
Azkaban簡介
Azkaban3.x編譯及部署
AzkabanFlow1.0的使用
AzkabanFlow2.0的使用
十二、Scala
Scala簡介及開發(fā)環(huán)境配置
基本是數(shù)據(jù)類型和運(yùn)算符
流程控制語句
數(shù)組——Array
集合類型綜述
常用集合類型之——List Set
廣泛真包含于類型之——MapTuple
類和對象
繼承和特質(zhì)
函數(shù)閉包柯里化
模式不兼容
類型參數(shù)
隱式轉(zhuǎn)換和隱式參數(shù)
十三、二級內(nèi)容
大數(shù)據(jù)應(yīng)用具體方法打包
后記
資料分享與開發(fā)工具推薦推薦
如何在jupyter中導(dǎo)入excel?
1、在jupyter的首頁點(diǎn)擊“Upload”選項,你選Excel文件,接著然后點(diǎn)擊上傳再試一下導(dǎo)入到。
此方法導(dǎo)入是有大小限制的,這個可以就將Excel文件圖片文件夾到Jupyternotebook目錄下以免大小限制。
2、加載Excel數(shù)據(jù)的方法:
新建項python3,輸入真確代碼即可讀取。