前提條件

已完成所需遷移的數(shù)據(jù)源創(chuàng)建。整庫遷移支持MySQL、Microsoft SQL Server、Oracle、OceanBase等來源端的數(shù)據(jù)遷移。具體支持的數(shù)據(jù)源，請參見整庫遷移支持的數(shù)據(jù)源。

功能介紹

離線整庫遷移是一個提升用戶效率、降低用戶使用成本快捷工具。相對于離線單條管道，離線整庫遷移可以批量配置離線管道，一次性完成數(shù)據(jù)庫內(nèi)多張數(shù)據(jù)表的同步文件的配置。

操作步驟

1. 在Dataphin首頁，在頂部菜單欄選擇研發(fā) > 數(shù)據(jù)集成。

2. 在頂部菜單欄，選擇目標項目。

3. 在左側(cè)導(dǎo)航欄，選擇整庫遷移 > 離線整庫遷移。

4. 在離線整庫遷移頁面，配置相關(guān)參數(shù)。參數(shù)及其配置說明如下表。

   1. 配置基本信息。

      整庫遷移文件夾名稱：允許最長字符256個，不支持豎線（|）、正斜線（/）、反斜線（\）、半角冒號（:）、半角問號（?）、尖括號（<>）、星號（*）和半角引號（"）。

   2. 配置數(shù)據(jù)源信息。

      • 同步來源

        參數(shù)	描述
        數(shù)據(jù)源類型	選擇同步來源的數(shù)據(jù)源類型。支持的數(shù)據(jù)源與數(shù)據(jù)源創(chuàng)建說明，請參見整庫遷移支持的數(shù)據(jù)源。 Oracle數(shù)據(jù)源 Schema：支持跨Schema選表，請選擇表所在的Schema，如不指定則默認為數(shù)據(jù)源中配置的Schema。 文件編碼：若選擇Oracle數(shù)據(jù)源，需選擇Oracle的編碼方式。支持UTF-8、GBK、ISO-8859-1。 Microsoft SQL Server數(shù)據(jù)源 Schema：支持跨Schema選表，請選擇表所在的Schema，如不指定則默認為數(shù)據(jù)源中配置的schema。 PostgreSQL數(shù)據(jù)源 Schema：支持跨Schema選表，請選擇表所在的Schema，如不指定則默認為數(shù)據(jù)源中配置的schema。
        時區(qū)	請根據(jù)數(shù)據(jù)庫配置的時區(qū)選擇相應(yīng)的時區(qū)。數(shù)據(jù)集成在中國地區(qū)默認時區(qū)為GMT+8，該時區(qū)不支持夏令時，如果數(shù)據(jù)庫配置時區(qū)支持夏令時，如Asia/Shanghai時區(qū)，則當(dāng)同步的時間數(shù)據(jù)處于夏令時的時間段，則建議選擇Asia/Shanghai等時區(qū)，否則同步的數(shù)據(jù)與數(shù)據(jù)庫中的數(shù)據(jù)相差1小時。 支持的時區(qū)包括：GMT+1、GMT+2、GMT+3、GMT+5:30、GMT+8、GMT+9、GMT+10、GMT-5、GMT-6、GMT-8、Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New York、America/Sao Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。
        數(shù)據(jù)源	選擇來源數(shù)據(jù)源。若無所需數(shù)據(jù)源，您也可以單擊新建數(shù)據(jù)源進行創(chuàng)建。
        批量讀取條數(shù)	來源數(shù)據(jù)源為Oracle、Microsoft SQL Server、OceanBase、IBM DB2、PostgreSQL時，支持配置批量讀取條件，即一次性讀取數(shù)據(jù)的條數(shù)，默認為1024條。

      • 同步目標

        參數(shù)	描述
        數(shù)據(jù)源類型	選擇目標數(shù)據(jù)源類型。支持的數(shù)據(jù)源與數(shù)據(jù)源創(chuàng)建說明，請參見整庫遷移支持的數(shù)據(jù)源。 說明 同步至AnalyticDB for PostgreSQL數(shù)據(jù)源，系統(tǒng)每日會為目標表創(chuàng)建一個日期分區(qū)。 若有其他分區(qū)需要，可以在生成管道后，單擊單條管道修改分區(qū)相關(guān)的準備語句。
        數(shù)據(jù)源	選擇目標數(shù)據(jù)源。若無所需數(shù)據(jù)源，您也可以單擊新建數(shù)據(jù)源進行創(chuàng)建。支持的數(shù)據(jù)源與數(shù)據(jù)源創(chuàng)建說明，請參見整庫遷移支持的數(shù)據(jù)源。 AnalyticDB for PostgreSQL目標數(shù)據(jù)源類型。 需要配置以下配置項。 重要 沖突解決策略僅在AnalyticDB for PostgreSQL內(nèi)核版本高于4.3時的Copy模式下有效，內(nèi)核低于4.3或不明版本時請謹慎選擇，避免造成任務(wù)失敗。 沖突解決策略：copy加載策略支持設(shè)置沖突解決策略，包括沖突時報錯和沖突時覆蓋。 Schema：支持跨Schema選表，請選擇表所在的Schema，如不指定則默認為數(shù)據(jù)源中配置的schema。
        加載策略	Oracle、MaxCompute目標數(shù)據(jù)源支持覆蓋數(shù)據(jù)和追加數(shù)據(jù)。 覆蓋數(shù)據(jù)：如果同步的數(shù)據(jù)存在，已存在數(shù)據(jù)將進行覆蓋同步。 追加數(shù)據(jù)：如果同步的數(shù)據(jù)存在，不進行覆蓋，新增數(shù)據(jù)進行追加同步。 AnalyticDB for PostgreSQL支持insert和copy。 insert：數(shù)據(jù)逐條同步。適用于數(shù)據(jù)量較小的情況，可以提高同步數(shù)據(jù)的準確性和完整性。 copy：數(shù)據(jù)通過文件形式同步。適用于數(shù)據(jù)量較大的情況，可以提高同步速度。
        批量寫入數(shù)據(jù)量	AnalyticDB for PostgreSQL和StarRocks目標數(shù)據(jù)源支持配置批量寫入數(shù)據(jù)量，即一次性寫入的數(shù)據(jù)量大小，可同時設(shè)置批量寫入條數(shù)，寫入時按兩個配置中先達到上限的量寫入。
        批量寫入條數(shù)	AnalyticDB for PostgreSQL和StarRocks目標數(shù)據(jù)源支持配置批量寫入條數(shù)，一次性寫入數(shù)據(jù)的條數(shù)，默認1024條。

   3. 配置數(shù)據(jù)同步。

      • 同步來源為MySQL、Oracle、Microsoft SQL Server、OceanBase、IBM DB2、MaxCompute、AnalyticDB for PostgreSQL。

        勾選來源表后，將生成對應(yīng)的目標表，名稱默認與來源表名一致。若有名稱轉(zhuǎn)換配置，則為轉(zhuǎn)換后的名稱。

        

        區(qū)塊	說明
        ①操作區(qū)	已勾選、未勾選：可以根據(jù)已勾選和未勾選篩選來源表。 搜索來源表：支持通過表名稱搜索當(dāng)前來源表，大小寫敏感。 高級搜索：頁面最多展示10000張表，高級搜索功能支持在數(shù)據(jù)庫所有表中批量查找與搜索表名。單擊高級搜索，在高級搜索對話框中，配置高級搜索參數(shù)。 配置搜索方式。 支持精確輸入表名和模糊搜索方式搜索來源。 精確輸入表名：需要在搜索內(nèi)容中批量輸入表名。表名分隔符為配置的分隔符，默認為\n，可以自行定義。 模糊搜索：需要在搜索內(nèi)容中填寫表名關(guān)鍵字。系統(tǒng)將根據(jù)表名關(guān)鍵字進行模糊搜索。 輸入搜索內(nèi)容。 搜索方式不同，輸入的搜索內(nèi)容不同。 精確輸入表名：可以批量輸入表名查找表，輸入內(nèi)容請使用配置的分隔符分隔表名。 模糊搜索：可以輸入表名稱的關(guān)鍵字進行搜索。 搜索結(jié)果。 配置搜索方式和搜索內(nèi)容后單擊搜索將為您展示搜索結(jié)果。在搜索結(jié)果表內(nèi)選擇需要操作的表，并選擇操作類型，包括批量選中或批量取消選中。單擊確定，來源表將根據(jù)操作類型選中或取消選中。 自動刪除數(shù)據(jù)源中同名表：選中后Dataphin會先自動刪除數(shù)據(jù)源中已經(jīng)存在的，且與整庫生成同名的表，再重新自動創(chuàng)建表。 重要 如為項目數(shù)據(jù)源，則會同時刪除生產(chǎn)與開發(fā)環(huán)境中的同名表，請謹慎操作。 名稱轉(zhuǎn)化配置：非必選，名稱轉(zhuǎn)換配置可將您來源表的表名、字段名進行替換或過濾數(shù)據(jù)后進行同步。 單擊名稱轉(zhuǎn)換配置。 在名稱轉(zhuǎn)換配置頁面，配置轉(zhuǎn)換規(guī)則。 表名轉(zhuǎn)換規(guī)則：單擊新建規(guī)則，在規(guī)則項中填寫來源表待替換字符串和目標表替換字符串。如：需將表名datawork替換為dataphin，則待替換字符串為work，替換字符串為phin。 表名前綴：在表名前綴輸入框中填寫目標庫表的表名前綴。同步時將自動生成目標庫表的前綴，如：表名前綴填寫pre_，表名為dataphin，則生成的目標庫表名為pre_dataphin。 表名后綴：在表后前綴輸入框中填寫目標庫表的表名后綴。同步時將自動生成目標庫表的后綴，如：表名后綴填寫_prod，表名為dataphin，則生成的目標庫表名為pre_dataphin_prod。 字段名稱規(guī)則：單擊新增規(guī)則，在規(guī)則項中填寫來源字段替換字符串和目標字段替換字符串。如：需要將字段名datawork替換為dataphin，則待替換字符為work，替換的字符為phin。 配置完成后單擊確定，對應(yīng)目標庫表將展示轉(zhuǎn)換后的目標庫表名。 說明 替換字符及表名前后綴中的英文字符將自動轉(zhuǎn)換為小寫。 校驗表名：校驗?zāi)繕藬?shù)據(jù)庫中是否存在當(dāng)前的目標表名。
        ②來源表	在來源表列表中選擇需同步的來源表。
        ③對應(yīng)目標庫表	選擇來源表后，生成對應(yīng)目標庫表，名稱默認與源表名一致。若有名稱轉(zhuǎn)換配置，則為轉(zhuǎn)換后的名稱。 說明 目標表名僅支持英文字母、數(shù)字及下劃線。如來源表名含有其他字符，請配置表名轉(zhuǎn)換規(guī)則。
        ④管道統(tǒng)計	當(dāng)前已選擇的管道數(shù)。

      • 同步來源為FTP。

        1. 請先單擊下載Excel模板并按照模板指引填寫模板后上傳模板文件。請嚴格按照模板文件的格式填寫，否則會導(dǎo)致文件解析失敗。

           說明

           可上傳單個.xlsx文件或單個壓縮包（可以包含一個或多個.xlsx文件），壓縮格式僅支持zip類型。文件需小于50M。

        2. 文檔上傳完成后，單擊解析文件。

           

           參數(shù)	描述
           ①操作區(qū)	搜索來源文件：支持通過文件名稱搜索當(dāng)前來源文件。 僅查看解析失敗任務(wù)：列表將僅展示解析失敗的任務(wù)。 自動刪除數(shù)據(jù)源中同名表：選中后會先自動刪除數(shù)據(jù)源中已存在的與整庫生成的目標表同名的表，再重新自動創(chuàng)建。 重要 如為項目數(shù)據(jù)源，則會同時刪除生產(chǎn)與開發(fā)環(huán)境中的同名表，請謹慎操作。 校驗表名：校驗?zāi)繕藬?shù)據(jù)庫中是否存在當(dāng)前的目標表名。
           ②來源文件與對應(yīng)目標表	來源文件：在來源文件列表中選擇需同步的來源文件。 對應(yīng)目標表：解析文件后，將根據(jù)模板文件生成對應(yīng)目標庫表。
           ③管道統(tǒng)計	當(dāng)前已選擇的管道數(shù)。

   4. 任務(wù)名配置

      生成方式，即離線整庫遷移任務(wù)名的生成方式，可選擇系統(tǒng)默認或自定義規(guī)則。

      參數(shù)		描述
      生成方式	系統(tǒng)默認	按照系統(tǒng)默認的命名方式生成任務(wù)名。
      	自定義規(guī)則	重要 在配置自定義任務(wù)名規(guī)則前，請先完成同步來源數(shù)據(jù)源和同步目標數(shù)據(jù)源的選擇，否則無法配置自定義任務(wù)名規(guī)則。 默認規(guī)則：已選擇同步來源和同步目標的數(shù)據(jù)源，且任務(wù)名配置的生成方式選擇自定義規(guī)則后，系統(tǒng)會在任務(wù)名命名規(guī)則文本框中生成一個默認規(guī)則。任務(wù)名默認規(guī)則為${來源數(shù)據(jù)源類型}2${目標數(shù)據(jù)源類型}_${source_table_name}。 例如當(dāng)前整庫遷移任務(wù)來源數(shù)據(jù)源類型為MySQL，目標數(shù)據(jù)源類型為Oracle，來源表中第一個表名為source_table_name1，則默認任務(wù)名命名規(guī)則為MySQL2Oracle_${source_table_name}，任務(wù)名預(yù)覽為MySQL2Oracle_source_table_name1。 說明 此處的默認規(guī)則不等同于系統(tǒng)默認的生成方式。 自定義規(guī)則：在左側(cè)任務(wù)名命名規(guī)則文本框內(nèi)輸入命名規(guī)則，可刪除已有的默認規(guī)則，或在默認規(guī)則的基礎(chǔ)上做修改。 名稱不支持豎線（|）、正斜線（/）、反斜線（\）、半角冒號（:）、半角問號（?）、尖括號（<>）、星號（*）和半角引號（"），長度不超過256個字符，支持單擊右側(cè)可添加元數(shù)據(jù)列表中的有效元數(shù)據(jù)名進行復(fù)制。 說明 命名規(guī)則中添加元數(shù)據(jù)后，任務(wù)名預(yù)覽中元數(shù)據(jù)的取值都取自于來源表列表中第一張表的信息。

   5. 設(shè)置同步方式和數(shù)據(jù)過濾。

      參數(shù)	描述
      同步方式	選擇同步方式。同步方式設(shè)置包括每日同步、單次同步、每日同步+單次同步。 每日同步：系統(tǒng)將生成每日調(diào)度的集成管道周期任務(wù)，通常用于同步每日的增量或全量數(shù)據(jù)。 單次同步：系統(tǒng)將生成集成管道手動任務(wù)，通常用于同步歷史全量數(shù)據(jù)。 每日同步+單次同步：系統(tǒng)將同時生成每日調(diào)度的周期任務(wù)和手動任務(wù)，通常用于單次全量后每日增量或全量的數(shù)據(jù)同步場景。 說明 來源庫為FTP時，不支持每日同步+單次同步。
      目標表創(chuàng)建為	選擇創(chuàng)建的目標表類型。包括分區(qū)表和非分區(qū)表。不同的同步方式目標表創(chuàng)建規(guī)則如下： 每日同步：選擇分區(qū)表，目標表將創(chuàng)建為分區(qū)表，默認寫入ds=${bizdate}的分區(qū)；選擇非分區(qū)表，目標表將創(chuàng)建為非分區(qū)表。 單次同步：選擇分區(qū)表，目標表將創(chuàng)建為分區(qū)表，需要配置單次同步寫入分區(qū)參數(shù)，支持常量或分區(qū)參數(shù)。例如，常量20230330、分區(qū)參數(shù)ds=${bizdate}；選擇非分區(qū)表，目標表將創(chuàng)建為非分區(qū)表。 每日同步+單次同步：默認為分區(qū)表，不支持選擇。需要配置單次同步寫入分區(qū)參數(shù)，支持常量或分區(qū)參數(shù)。例如，常量20230330、分區(qū)參數(shù)ds=${bizdate}。 說明 目前僅支持將單次同步的數(shù)據(jù)寫入對應(yīng)目標表的一個指定分區(qū)內(nèi)。如需將全量歷史數(shù)據(jù)寫入對應(yīng)的不同分區(qū)，可在單次同步后使用SQL任務(wù)處理寫入目標表相應(yīng)分區(qū)，或者選擇每日同步增量數(shù)據(jù)，然后進行補數(shù)據(jù)操作補全歷史分區(qū)。
      數(shù)據(jù)過濾	來源庫非MaxCompute 每日同步過濾條件：同步方式包含每日同步時，可以配置每日同步時的過濾條件。如配置了ds=${bizdate}，任務(wù)運行時會抽取來源庫中 ds=${bizdate}的所有數(shù)據(jù)寫入指定的目標表分區(qū)。 單次同步過濾條件：同步方式包含單次同步時，可以配置單次同步過濾條件。如配置了ds=<${bizdate}，任務(wù)運行時會抽取來源庫中ds=<${bizdate}的所有數(shù)據(jù)寫入指定的目標表（分區(qū)）。 來源庫為MaxCompute 每日同步分區(qū)：來源庫為MaxCompute時，必須在此指定分區(qū)表每日讀取的分區(qū)。支持讀取單分區(qū)，可填寫ds=${bizdate}；或多分區(qū)，如填寫/*query*/ds>=20230101 and ds<=20230107。 單次同步分區(qū)：來源庫為MaxCompute且同步方式包含單次同步時，必須在此指定分區(qū)表單次讀取的分區(qū)。支持讀取單分區(qū)，可填寫ds=${bizdate}；或多分區(qū)，可填寫/*query*/ds>=20230101 and ds<=20230107。 分區(qū)不存在時：可選擇以下策略處理當(dāng)指定分區(qū)不存在時的場景： 置任務(wù)失敗：終止該任務(wù)并置失敗。 置任務(wù)成功：任務(wù)正常運行成功，無寫入的數(shù)據(jù)。 使用最新非空分區(qū)：來源庫為MaxCompute時，支持使用該表當(dāng)前的最新非空分區(qū)（max_pt）作為需同步的分區(qū)，如該表不存在任何有數(shù)據(jù)的分區(qū)，則任務(wù)報錯并置失敗。 說明 來源庫為FTP時，不支持數(shù)據(jù)過濾配置。
      參數(shù)配置	來源庫為FTP時，支持在來源文件路徑中使用參數(shù)。

   6. 調(diào)度運行配置

      參數(shù)	描述
      調(diào)度配置	選擇調(diào)度配置。調(diào)度配置包括同時調(diào)度和分批調(diào)度。 同時調(diào)度：指每日零點同時執(zhí)行源庫所選擇表的同步任務(wù)。 分批調(diào)度：指將源庫所選擇的表按批次的方式逐批執(zhí)行同步任務(wù)。支持0～23小時周期和最大142條同步數(shù)量。例如，如需同步100張表，設(shè)置了每隔2小時同步10張表則需要20個小時才能完成一個同步周期任務(wù)的啟動。一個同步間隔周期不能超過24小時。
      運行超時	同步任務(wù)運行時，若單次運行總時長超過設(shè)置閾值仍未完成，會自動終止并置為失敗。支持選擇系統(tǒng)配置或自定義。 系統(tǒng)配置：使用系統(tǒng)默認配置的超時時間。更多信息，請參見運行配置。 自定義：自定義超時時間。支持輸入0-168之間的數(shù)字（不包括0），保留2位小數(shù)。
      失敗自動重跑	該任務(wù)實例、補數(shù)據(jù)實例運行失敗，會按照配置決定是否自動重跑。重跑次數(shù)支持輸入[0,10]之間的整數(shù)，重跑間隔支持輸入[1,60]之間的整數(shù)。
      上游依賴	單擊添加依賴，可添加物理節(jié)點或邏輯表節(jié)點作為該節(jié)點的上游依賴。如不配置，則默認配置租戶的虛擬根節(jié)點作為上游依賴，您也可手動添加一個虛擬節(jié)點作為該節(jié)點的依賴對象。適用于需統(tǒng)一補數(shù)據(jù)等場景。

   7. 資源配置

      參數(shù)

      描述

      生產(chǎn)任務(wù)調(diào)度資源組

      整庫遷移集成任務(wù)調(diào)度運行時需要消耗調(diào)度資源。整庫遷移集成任務(wù)為獨享資源任務(wù)，您可指定每個整庫遷移集成任務(wù)生成的實例可使用的調(diào)度資源組，實例調(diào)度時會從占用指定資源組的資源配額，如果指定的資源組可用資源不足，則會進入等待調(diào)度資源狀態(tài)。不同資源組之間的資源相互隔離互不影響，以保證調(diào)度穩(wěn)定性。 設(shè)置調(diào)度資源組僅支持選擇應(yīng)用場景為任務(wù)日常調(diào)度且與當(dāng)前任務(wù)所屬項目有關(guān)聯(lián)關(guān)系的資源組。具體操作，請參見新建自定義資源組。 說明 如果選擇了項目默認資源組，將根據(jù)項目默認資源組的配置修改自動更新。 生產(chǎn)環(huán)境任務(wù)資源組支持單獨指定資源組；開發(fā)環(huán)境任務(wù)資源組只支持使用開發(fā)項目默認資源組。更多信息，請參見創(chuàng)建通用項目。

5. 完成參數(shù)的配置后，單擊生成管道，完成離線整庫遷移管道的創(chuàng)建。

   在運行結(jié)果區(qū)域，可查看管道任務(wù)的運行結(jié)果，包括來源表、目標表、同步方式、任務(wù)狀態(tài)及備注信息。

6. 管道生成后，在離線集成目錄下將生成本次離線整庫遷移任務(wù)的文件夾，文件夾中包含對應(yīng)的離線管道任務(wù)，您可以對生成的離線管道任務(wù)進行配置并發(fā)布。詳情請參見離線集成任務(wù)屬性配置概述。

   若部分表創(chuàng)建失敗或后續(xù)有需要新增的表，可針對創(chuàng)建失敗或新增的表進行手動創(chuàng)建離線管道任務(wù)或離線腳本任務(wù)，再將其移動至離線整庫遷移的文件夾中。操作如下：

   1. 單擊目標離線整庫遷移文件夾后的按鈕。選擇新建離線管道或離線腳本。

   2. 在創(chuàng)建離線管道或創(chuàng)建離線腳本對話框中完成相關(guān)配置項后，單擊確定。相關(guān)配置項及其說明請參見通過單條管道創(chuàng)建集成任務(wù)、通過腳本模式創(chuàng)建集成任務(wù)。

      說明

      • 創(chuàng)建完成后的離線管道任務(wù)和離線腳本任務(wù)將位于當(dāng)前離線整庫遷移的文件夾中。

      • 不支持將文件夾移入或移出離線整庫遷移的文件夾中。

      • 離線集成目錄中需要移動的離線管道任務(wù)和離線腳本任務(wù)，可通過單擊其名稱后的按鈕，選擇移動，在移動文件的對話框中選擇目錄來完成移動。支持移動至離線整庫遷移文件夾中。

      • 若刪除整庫遷移的文件夾，將同時刪除該文件夾下包含的所有任務(wù)，包括離線管道任務(wù)和離線腳本任務(wù)。

后續(xù)步驟

• 完成離線整庫遷移任務(wù)的創(chuàng)建和發(fā)布后，您可以在運維中心查看并運維集成任務(wù)，保證任務(wù)的正常運行。更多信息，請參見運維中心概述。