kettle怎么導(dǎo)出數(shù)據(jù) 關(guān)于oracle抽取數(shù)據(jù)的問題?
關(guān)于oracle抽取數(shù)據(jù)的問題?最近遇到這樣一個(gè)問題。源oracle有一個(gè)包含7億數(shù)據(jù)的視圖。這個(gè)表是第三方的,我們只有讀權(quán)限。除主鍵外,源視圖沒有索引?,F(xiàn)在我們必須將其中的所有數(shù)據(jù)同步到我們的數(shù)據(jù)庫
關(guān)于oracle抽取數(shù)據(jù)的問題?
最近遇到這樣一個(gè)問題。源oracle有一個(gè)包含7億數(shù)據(jù)的視圖。這個(gè)表是第三方的,我們只有讀權(quán)限。除主鍵外,源視圖沒有索引?,F(xiàn)在我們必須將其中的所有數(shù)據(jù)同步到我們的數(shù)據(jù)庫中。我用分頁的,從一頁中提取5000個(gè)片段。剛開始很快,一頁數(shù)據(jù)幾百毫秒,越慢?,F(xiàn)在找出一頁數(shù)據(jù)差不多要一個(gè)小時(shí)。以這種速度,你可以 不要在一年內(nèi)全部提取,你可以 不要添加索引或任何東西。有什么方法可以提高提取效率嗎?
水壺工具非常方便
工具太多:你的需求是一次性的還是多次的?1.如果是一次性的,用oracle s自己的數(shù)據(jù)以極快的速度,然后同步到目的地,再導(dǎo)入。2.如果是多次,你對時(shí)效性有什么要求?如果要求高,可以用CDC s實(shí)時(shí)提取。詳細(xì)的方案可以參考我的文章,里面有具體的步驟和效果。如果實(shí)時(shí)性要求不高,該方案可以使用傳統(tǒng)的etl工具,如kettle等。,而我的文章也包含了詳細(xì)的介紹望。