分時系統(tǒng)與批處理系統(tǒng)的區(qū)別 大數(shù)據(jù)實時處理Spark Streaming和Storm到底有什么區(qū)別?
大數(shù)據(jù)實時處理Spark Streaming和Storm到底有什么區(qū)別?最重要的區(qū)別:Spark streaming是微批量加工,storm是帶鋼加工。例如:現(xiàn)在我們需要實現(xiàn)一個簡單的信息流(新聞視頻
大數(shù)據(jù)實時處理Spark Streaming和Storm到底有什么區(qū)別?
最重要的區(qū)別:Spark streaming是微批量加工,storm是帶鋼加工。
例如:現(xiàn)在我們需要實現(xiàn)一個簡單的信息流(新聞視頻)實時推薦系統(tǒng),它可以用來:根據(jù)用戶點擊的新聞和視頻,每10秒?yún)R總一次用戶瀏覽新聞和視頻的日志事件,并根據(jù)協(xié)同過濾或相似度計算得到的離線推薦結(jié)果,計算出該期間瀏覽內(nèi)容的相關(guān)內(nèi)容,保存在HBase中,供用戶下次刷新列表。因為實時性要求不是很高,我不需要實時反饋用戶的瀏覽行為毫秒。
2. Storm可以用來實時收集用戶的推薦結(jié)果。當(dāng)用戶刷新列表時,刷新請求被發(fā)送到Kafka。Storm實時處理這些請求,并在毫秒內(nèi)完成對用戶請求的結(jié)果集排序。組裝結(jié)果可以存儲在用戶的redis私有隊列中。當(dāng)用戶刷新請求時,結(jié)果在redis中獲得。
批處理、分時、實時操作系統(tǒng)有什么區(qū)別?
批處理——以前主機上使用的系統(tǒng)需要提前寫一批程序(打孔磁帶),然后分時計算結(jié)果——現(xiàn)在流行的PC機和服務(wù)器都采用這種操作方式,即將CPU的操作劃分為若干個時間片,在不同的時間段內(nèi)處理不同的操作請求實時分別——一般用在單片機上,如電在電梯的上下控制中,對按鍵等動作要求進(jìn)行實時處理