大數(shù)據(jù)包含以下四個(gè)特征:

1.巨量:數(shù)據(jù)量巨大，以TB -

從用途上來(lái)說(shuō)大數(shù)據(jù)技術(shù)可以分為？

有很多算法和模型可以解決這些過(guò)程中的技術(shù)問(wèn)題，并且為了方便終端用戶，大部分都進(jìn)一步封裝，形成了一個(gè)相對(duì)簡(jiǎn)單易用的操作平臺(tái)。目前大數(shù)據(jù)技術(shù)平臺(tái)有很多，可以按照以下進(jìn)行分類:

(1)從大數(shù)據(jù)處理的過(guò)程來(lái)看，包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘和分析，以及為高效分析和挖掘而設(shè)計(jì)的計(jì)算平臺(tái)。它們完成數(shù)據(jù)收集、ETL、存儲(chǔ)、結(jié)構(gòu)化處理、挖掘、分析、預(yù)測(cè)和應(yīng)用的功能。

(2)根據(jù)大數(shù)據(jù)處理的數(shù)據(jù)類型，可分為關(guān)系型數(shù)據(jù)、非關(guān)系型數(shù)據(jù)(圖形數(shù)據(jù)、文本數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等)的技術(shù)平臺(tái)。)，半結(jié)構(gòu)化數(shù)據(jù)和混合數(shù)據(jù)處理。

(3)從大數(shù)據(jù)處理的來(lái)看，可以分為批量處理、實(shí)時(shí)處理和綜合處理。其中，批量數(shù)據(jù)是對(duì)批量數(shù)據(jù)的一次性處理，而實(shí)時(shí)處理(流處理)對(duì)處理延遲有嚴(yán)格的要求。綜合處理是指同時(shí)存在批處理和實(shí)時(shí)處理兩種。

(4)從平臺(tái)到數(shù)據(jù)部門看可以分為基于內(nèi)存的和基于磁盤的。前者在內(nèi)存中交換分布式系統(tǒng)中的數(shù)據(jù)，后者通過(guò)磁盤文件交換數(shù)據(jù)。

此外，技術(shù)平臺(tái)可分為分布式和集中式、云環(huán)境和非云環(huán)境。阿里云大數(shù)據(jù)平臺(tái)建立在阿里云 s云計(jì)算基礎(chǔ)設(shè)施，為用戶提供大數(shù)據(jù)存儲(chǔ)、計(jì)算能力、大數(shù)據(jù)分析挖掘、輸出展示等服務(wù)。用戶可以輕松實(shí)現(xiàn)BI商業(yè)智能和人工智能服務(wù)，具備一站式數(shù)據(jù)應(yīng)用能力。

不同的大數(shù)據(jù)技術(shù)平臺(tái)為這些流程提供支持。有些平臺(tái)可能支持多個(gè)流程，但側(cè)重點(diǎn)不同，支持的深度也不同。所以在實(shí)際應(yīng)用中需要熟悉各種平臺(tái)的功能，進(jìn)行對(duì)比分析，才能選擇適合自己需求的技術(shù)平臺(tái)。

選擇一個(gè)合適的大數(shù)據(jù)技術(shù)平臺(tái)非常重要，可以讓大數(shù)據(jù)應(yīng)用開發(fā)更容易，讓開發(fā)者更專注于業(yè)務(wù)層面的數(shù)據(jù)分析和處理。一些常見的基礎(chǔ)問(wèn)題，比如如何存儲(chǔ)數(shù)據(jù)，如何檢索數(shù)據(jù)，數(shù)據(jù)統(tǒng)計(jì)等等，都可以由平臺(tái)來(lái)完成。選擇合適的大數(shù)據(jù)技術(shù)平臺(tái)應(yīng)考慮以下因素:

(1)平臺(tái)的功能和性能:由于不同的平臺(tái)側(cè)重于不同的功能，所以平臺(tái)的性能有很多方面需要考察。比如對(duì)于存儲(chǔ)平臺(tái)來(lái)說(shuō)，數(shù)據(jù)存儲(chǔ)效率、讀寫效率、并發(fā)訪問(wèn)能力、對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的支持、提供的數(shù)據(jù)訪問(wèn)接口更為重要。對(duì)于大數(shù)據(jù)挖掘平臺(tái)來(lái)說(shuō)，支持的挖掘算法、算法的封裝程度、數(shù)據(jù)挖掘結(jié)果的展現(xiàn)能力、挖掘算法的時(shí)空復(fù)雜度是更重要的指標(biāo)。

(2)平臺(tái)的集成性:好的平臺(tái)應(yīng)該具有較高的集成度，為用戶提供良好的操作界面，完整的幫助和用戶手冊(cè)，系統(tǒng)易于配置和移植。同時(shí)，隨著目前軟件開源的趨勢(shì)，開源平臺(tái)有助于其版本的快速升級(jí)和盡早發(fā)現(xiàn)bug。此外，開源架構(gòu)更容易擴(kuò)展和植入更多新算法，這對(duì)終端用戶也更重要。

(3)是否符合技術(shù)的發(fā)展趨勢(shì):大數(shù)據(jù)技術(shù)是當(dāng)前發(fā)展和研究的熱點(diǎn)，最終會(huì)逐漸成熟?？梢灶A(yù)見，并不是所有的技術(shù)平臺(tái)都能在這個(gè)過(guò)程中存活下來(lái)。只有符合技術(shù)發(fā)展趨勢(shì)的技術(shù)平臺(tái)，才會(huì)被用戶和技術(shù)開發(fā)者所接受。因此，一些不支持分布式和集群計(jì)算的平臺(tái)只能專注于對(duì)少量數(shù)據(jù)的挖掘算法的驗(yàn)證。與云計(jì)算、物聯(lián)網(wǎng)和人工智能密切相關(guān)的技術(shù)平臺(tái)將成為技術(shù)發(fā)展的主流和趨勢(shì)。

加快了技術(shù)的迭代更新速度。當(dāng)我們花大量的時(shí)間去熟悉某個(gè)技術(shù)平臺(tái)的時(shí)候，可能會(huì)出現(xiàn)一個(gè)新的更好的技術(shù)平臺(tái)，導(dǎo)致我們?nèi)ド孀愀鞣N各樣的技術(shù)平臺(tái)。所以，最好的策略是滿倉(cāng)。系統(tǒng)掌握大數(shù)據(jù)技術(shù)的原理和實(shí)現(xiàn)方案，學(xué)習(xí)新的技術(shù)平臺(tái)就容易了。