如何獲取大數(shù)據(jù)？大數(shù)據(jù)的數(shù)據(jù)來(lái)源主要有三個(gè)，即物聯(lián)網(wǎng)系統(tǒng)、傳統(tǒng)信息處理系統(tǒng)和互聯(lián)網(wǎng)應(yīng)用(Web和App)，因此需要從這三個(gè)渠道獲取大數(shù)據(jù)。物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的數(shù)據(jù)在大數(shù)據(jù)中占有重要比重，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)多

如何獲取大數(shù)據(jù)？

大數(shù)據(jù)的數(shù)據(jù)來(lái)源主要有三個(gè)，即物聯(lián)網(wǎng)系統(tǒng)、傳統(tǒng)信息處理系統(tǒng)和互聯(lián)網(wǎng)應(yīng)用(Web和App)，因此需要從這三個(gè)渠道獲取大數(shù)據(jù)。

物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的數(shù)據(jù)在大數(shù)據(jù)中占有重要比重，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)，包括視頻、音頻、傳感數(shù)據(jù)等。物聯(lián)網(wǎng)的應(yīng)用領(lǐng)域很多，比如工業(yè)物聯(lián)網(wǎng)、農(nóng)業(yè)物聯(lián)網(wǎng)、汽車(chē)互聯(lián)網(wǎng)、智慧城市等。，會(huì)產(chǎn)生大量的數(shù)據(jù)。通常，這些數(shù)據(jù)的收集是嚴(yán)格要求的，不能對(duì)個(gè)人開(kāi)放。如果個(gè)人想要獲取這部分?jǐn)?shù)據(jù)，比較可行的方案是與數(shù)據(jù)采集者合作，比如做數(shù)據(jù)分析等服務(wù)。

傳統(tǒng)的信息系統(tǒng)涵蓋的領(lǐng)域非常廣泛，包括政務(wù)系統(tǒng)、企業(yè)ERP、教育信息系統(tǒng)、醫(yī)療信息系統(tǒng)等。傳統(tǒng)信息系統(tǒng)覆蓋的數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)，往往具有較高的準(zhǔn)確性和相關(guān)性，這部分?jǐn)?shù)據(jù)的價(jià)值密度相對(duì)較高。

而傳統(tǒng)信息系統(tǒng)所覆蓋的數(shù)據(jù)往往涉及個(gè)人隱私、商業(yè)秘密等內(nèi)容，因此這部分內(nèi)容通常受到嚴(yán)密保護(hù)。隨著大數(shù)據(jù)技術(shù)的發(fā)展，業(yè)界對(duì)于政務(wù)系統(tǒng)數(shù)據(jù)開(kāi)放的呼聲越來(lái)越高。脫敏數(shù)據(jù)往往不會(huì)侵犯?jìng)€(gè)人隱私，所以未來(lái)一些政務(wù)系統(tǒng)的大數(shù)據(jù)會(huì)陸續(xù)開(kāi)放。

互聯(lián)網(wǎng)應(yīng)用也是產(chǎn)生大數(shù)據(jù)的重要基礎(chǔ)之一，包括各種Web應(yīng)用和大量App產(chǎn)品。這部分?jǐn)?shù)據(jù)多為半結(jié)構(gòu)化，數(shù)據(jù)內(nèi)容也難辨真假。但由于這部分?jǐn)?shù)據(jù)的價(jià)值密度相對(duì)較高，現(xiàn)在很多互聯(lián)網(wǎng)公司 "肖像 "用戶(hù)根據(jù)這些數(shù)據(jù)，從而做出多維分類(lèi)。

1.基于web服務(wù)器的日志收集。誰(shuí)在訪(fǎng)問(wèn)網(wǎng)站，用戶(hù)訪(fǎng)問(wèn)網(wǎng)站的路徑，用戶(hù)在每個(gè)頁(yè)面停留的時(shí)間，用戶(hù)離開(kāi)網(wǎng)站的位置，用戶(hù)是否成功完成自己想做的事情等等。

2.客戶(hù)端收集用戶(hù)行為數(shù)據(jù)。通過(guò)對(duì)用戶(hù)各個(gè)模塊的點(diǎn)擊率、點(diǎn)擊量、訪(fǎng)問(wèn)量，以及用戶(hù)的停留時(shí)間、訪(fǎng)問(wèn)量的數(shù)據(jù)抓取。