大數(shù)據(jù)的框架主要學(xué)習(xí)和使用什么呢？什么是大數(shù)據(jù)？大數(shù)據(jù)，IT行業(yè)術(shù)語(yǔ)，指的是可以 傳統(tǒng)的軟件工具在一定的時(shí)間范圍內(nèi)是無(wú)法捕捉、管理和處理的。它是一種海量、高增長(zhǎng)、多元化的信息資產(chǎn)，需要一種新的處理模式

大數(shù)據(jù)的框架主要學(xué)習(xí)和使用什么呢？

什么是大數(shù)據(jù)？大數(shù)據(jù)，IT行業(yè)術(shù)語(yǔ)，指的是可以 傳統(tǒng)的軟件工具在一定的時(shí)間范圍內(nèi)是無(wú)法捕捉、管理和處理的。它是一種海量、高增長(zhǎng)、多元化的信息資產(chǎn)，需要一種新的處理模式來(lái)?yè)碛懈鼜?qiáng)的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。

Victor Mayer-schoenberg和Kenneth Cook《大數(shù)據(jù)時(shí)代》大數(shù)據(jù)是指所有數(shù)據(jù)都用于分析和處理，而沒(méi)有隨機(jī)分析(抽樣調(diào)查)的捷徑。大數(shù)據(jù)的5V特征(IBM提出):體量(海量)、速度(高速)、多樣性(多樣性)、價(jià)值(低價(jià)值密度)、真實(shí)性。

大數(shù)據(jù)開(kāi)發(fā)的學(xué)習(xí)路線:

第一階段:Hadoop生態(tài)架構(gòu)技術(shù)

1.語(yǔ)言基礎(chǔ)

Java:在Java虛擬機(jī)中理解和練習(xí)內(nèi)存管理、多線程、線程池、設(shè)計(jì)模式、并行化就夠了，不需要很深的掌握。

Linux:系統(tǒng)安裝，基本命令，網(wǎng)絡(luò)配置，Vim編輯器，進(jìn)程管理，Shell腳本，虛擬機(jī)的菜單熟悉度等等。

Python:基本語(yǔ)法、數(shù)據(jù)結(jié)構(gòu)、函數(shù)、條件判斷、循環(huán)等基礎(chǔ)知識(shí)。

2.環(huán)境準(zhǔn)備

本文介紹了如何建立一個(gè)完全分布式的windows計(jì)算機(jī)，有1個(gè)主機(jī)和2個(gè)從機(jī)。

VMware虛擬機(jī)，Linux系統(tǒng)(Centos6.5)，Hadoop安裝包，Hadoop全分布式集群環(huán)境都在這里準(zhǔn)備好了。

3、MapReduce

MapReduce分布式離線計(jì)算框架是Hadoop的核心編程模型。

4、HDFS1.0/2.0

HDFS可以提供高吞吐量的數(shù)據(jù)訪問(wèn)，適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

5、紗線(Hadoop2.0)

Yarn是一個(gè)資源調(diào)度平臺(tái)，主要負(fù)責(zé)給任務(wù)分配資源。

6、蜂巢

Hive是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，所有數(shù)據(jù)都存儲(chǔ)在HDFS上。Hive主要用來(lái)寫Hql。

7、火花

Spark是專門為大規(guī)模數(shù)據(jù)處理設(shè)計(jì)的快速通用計(jì)算引擎。

8、火花放電

Spark Streaming是一個(gè)實(shí)時(shí)處理框架，數(shù)據(jù)是批量處理的。

9、火花屋

Spark作為Hive的計(jì)算引擎，將Hive的查詢作為Spark的任務(wù)提交給Spark集群進(jìn)行計(jì)算，可以提高Hive查詢的性能。

10、風(fēng)暴

Storm是一個(gè)實(shí)時(shí)計(jì)算框架。Storm實(shí)時(shí)處理每一條添加的數(shù)據(jù)，一條一條，可以保證數(shù)據(jù)處理的及時(shí)性。

動(dòng)物園管理員

佐基Per是許多大數(shù)據(jù)框架的基礎(chǔ)，也是集群的管理者。

12、Hbase

Hbase是一個(gè)Nosql數(shù)據(jù)庫(kù)，它是高度可靠的、面向列的、可伸縮的和分布式的。

13、卡夫卡

Kafka是一個(gè)消息中間件，作為中間緩沖層。

14、水槽

Flume常見(jiàn)的是從應(yīng)用程序生成的日志文件中收集數(shù)據(jù)，一般有兩個(gè)過(guò)程。

一種是Flume采集的數(shù)據(jù)存儲(chǔ)在Kafka中，便于Storm或SparkStreaming實(shí)時(shí)處理。

另一個(gè)過(guò)程是將Flume收集的數(shù)據(jù)存儲(chǔ)在HDFS上進(jìn)行離線處理，以便以后使用hadoop或spark。

第二階段:數(shù)據(jù)挖掘算法

1.中文分詞

開(kāi)源敘詞表的離線和在線應(yīng)用

2.自然語(yǔ)言處理

文本相關(guān)算法

3.推薦算法

基于CB，CF，歸一化方法，Mahout應(yīng)用。

4.分類算法

NB、SVM

5.回歸算法

LR、決策樹(shù)

6.聚類算法

分層聚類，k均值

7.神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)、張量流

以上是學(xué)習(xí)Hadoop開(kāi)發(fā)的詳細(xì)路線。如果需要了解具體框架的開(kāi)發(fā)技術(shù)，可以咨詢Gamigu的大數(shù)據(jù)老師了解更多。

學(xué)習(xí)大數(shù)據(jù)開(kāi)發(fā)需要掌握哪些技術(shù)？

(1)Java語(yǔ)言基礎(chǔ)

Java開(kāi)發(fā)入門，熟悉Eclipse開(kāi)發(fā)工具，Java語(yǔ)言基礎(chǔ)，Java進(jìn)程控制，Java字符串，Java數(shù)組和類和對(duì)象，數(shù)字處理類和核心技術(shù)，I/O和反射，多線程，Swing程序和集合類。

(2)HTML、CSS和Java

PC端網(wǎng)站布局，html5cs3基礎(chǔ)，WebApp頁(yè)面布局，原生Java交互功能開(kāi)發(fā)，Ajax異步交互，jQuery應(yīng)用。

(3)JavaWeb和數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)，JavaWeb開(kāi)發(fā)核心，JavaWeb開(kāi)發(fā)內(nèi)幕

LinuxampHadoop生態(tài)系統(tǒng)

Linux系統(tǒng)，Hadoop離線計(jì)算大綱，分布式數(shù)據(jù)庫(kù)Hbase，數(shù)據(jù)倉(cāng)庫(kù)Hive，數(shù)據(jù)遷移工具Sqoop，F(xiàn)lume分布式日志框架。

分布式計(jì)算框架和SparkampStrom生態(tài)系統(tǒng)

(1)分布式計(jì)算框架

Python編程語(yǔ)言、Scala編程語(yǔ)言、Spark大數(shù)據(jù)處理、Spark—流式大數(shù)據(jù)處理、Spark—Mlib機(jī)器學(xué)習(xí)、Spark—GraphX圖計(jì)算、實(shí)戰(zhàn)1:基于Spark的推薦系統(tǒng)(某一線公司的真實(shí)項(xiàng)目)、實(shí)戰(zhàn)2:新浪。com()。

(2)2)暴風(fēng)科技架構(gòu)體系的原理和基礎(chǔ)，消息隊(duì)列kaf。Ka、R

簡(jiǎn)述hadoop2.0的四個(gè)核心組件及其功能？

Hadoop基本概念

Hadoop生態(tài)系統(tǒng)是一個(gè)龐大的、功能齊全的生態(tài)系統(tǒng)，但它仍然被一個(gè)叫做Hadoop的分布式系統(tǒng)基礎(chǔ)設(shè)施所包圍。它的核心組件由四部分組成，即:通用、HDFS、MapReduce和YARN。

Common是Hadoop架構(gòu)的常用組件；

HDFS是Hadoop的分布式文件存儲(chǔ)系統(tǒng)。

MapReduce是Hadoop提供的編程模型，可用于大規(guī)模數(shù)據(jù)集的并行操作。

YARN是Hadoop架構(gòu)升級(jí)后廣泛使用的資源管理器。