數(shù)據(jù)處理（ETL）和java開發(fā)職位選哪個(gè)？因此，如果您喜歡數(shù)據(jù)處理，請選擇數(shù)據(jù)處理。如果你想用Java編程，沒關(guān)系。關(guān)鍵是找出哪一個(gè)適合你，選擇最適合你的。ETL工具，Kettle和DataStag

數(shù)據(jù)處理（ETL）和java開發(fā)職位選哪個(gè)？

因此，如果您喜歡數(shù)據(jù)處理，請選擇數(shù)據(jù)處理。如果你想用Java編程，沒關(guān)系。關(guān)鍵是找出哪一個(gè)適合你，選擇最適合你的。

ETL工具，Kettle和DataStage各自有什么優(yōu)缺點(diǎn)，目前哪個(gè)更流行一些？

沒有流程管理。當(dāng)表被鎖定時(shí)，不容易找出原因，無法終止進(jìn)程，無法控制最大進(jìn)程數(shù)。

2. 數(shù)據(jù)抽取不能自動(dòng)分包，也沒有像ABAP這樣高效的查詢語句，比如select from。。所有入口都在。。大數(shù)據(jù)處理速度很慢，大量數(shù)據(jù)的日常處理無法完成。

3. 無法自動(dòng)處理指定字段的增量。

4. 無法調(diào)試，調(diào)試將不提取數(shù)據(jù)。

5. 在計(jì)劃處理鏈中指定命令非常麻煩。沒有接口操作。處理鏈中有錯(cuò)誤。無法繼續(xù)運(yùn)行或跳過處理。

6. 無法記錄每個(gè)處理詳細(xì)信息并記錄處理時(shí)間。

7. 無法共享字段。字段不關(guān)聯(lián)本位幣單位，沒有基礎(chǔ)資料字段的概念。

8. 沒有包處理的概念，沒有日志處理。

9. 沒有版本控制，聯(lián)機(jī)不是傳輸。

10. 另外，沒有外部發(fā)布WS、OData接口函數(shù)

更不用說報(bào)表函數(shù)，權(quán)限控制功能不強(qiáng)，底層數(shù)據(jù)庫也不是多維信息立方體結(jié)構(gòu)，字段也不區(qū)分指標(biāo)和特征。。。。。

有沒有擴(kuò)展性較好的ETL產(chǎn)品？

讓我介紹一下我知道的常見ETL工具：dataX、Datastage、Informatica、kettle和datapipeline。

阿里巴巴開源軟件：dataX

dataX是一款針對異構(gòu)數(shù)據(jù)源的離線同步工具。致力于實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫（mysql、Oracle等）、HDFS、hive、ODPs、HBase、FTP等異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步

Kettle開源軟件：Kettle（中文名）

Kettle是國外開源ETL工具，純Java編寫，可以在windows上運(yùn)行，Linux和UNIX，具有良好的可擴(kuò)展性和高效穩(wěn)定的數(shù)據(jù)抽取。主從結(jié)構(gòu)，無高可用性。它不支持?jǐn)?shù)據(jù)的實(shí)時(shí)同步，也不支持?jǐn)帱c(diǎn)續(xù)航。

IBM商務(wù)軟件：Datastage

最專業(yè)的商務(wù)ETL工具，價(jià)格比較貴，但處理速度也能在大數(shù)據(jù)量下保持較快的處理速度和穩(wěn)定性。實(shí)時(shí)監(jiān)控也很不錯(cuò)，可以看到數(shù)據(jù)提取的情況，運(yùn)行到哪一步，很直觀。強(qiáng)大的售后技術(shù)支持。

商務(wù)軟件：Informatica

專業(yè)ETL工具，價(jià)格比Datastage便宜一點(diǎn)，需要安裝服務(wù)器和客戶端，處理速度與Datastage相同。分布式部署，支持實(shí)時(shí)性，但效率不高。技術(shù)支持主要在美國，所以在中國使用較少。

國產(chǎn)：datapipeline

國產(chǎn)充電工具，與dataX相比，datapipeline具有可視化的過程監(jiān)控，提供多樣化的圖標(biāo)、輔助操作和維護(hù)，以及故障問題的實(shí)時(shí)報(bào)警。DataX需要依賴工具日志來定位故障問題。支持實(shí)時(shí)，dataX是定時(shí)的。支持?jǐn)帱c(diǎn)延續(xù)，但dataX不支持。體系結(jié)構(gòu)也是分布式的，支持水平擴(kuò)展。

更好的擴(kuò)展性之一是水壺。兩位工程師的發(fā)展方向不同，主要集中在不同的方向：ETL工程師。主要的技術(shù)發(fā)展方向是數(shù)據(jù)庫或海量數(shù)據(jù)處理。今后，他們可以發(fā)展到數(shù)據(jù)庫開發(fā)工程師、數(shù)據(jù)庫架構(gòu)師、數(shù)據(jù)分析師等

Java工程師，主要側(cè)重于軟件開發(fā)方向，即編程，也可以逐步發(fā)展成為高級程序員、系統(tǒng)架構(gòu)師等

但發(fā)展不是絕對的。這主要取決于個(gè)人的機(jī)會(huì)和發(fā)展環(huán)境。我們不能說哪個(gè)好，哪個(gè)不好。