背景信息
ODC 支持批量導入數據庫對象的結構和數據。
通過 ODC 導入任務可以分別導入數據庫對象的結構和數據、僅導入數據或者僅導入結構。
導入結構和數據:同時導入數據庫對象的定義語句及其數據。
僅導入數據:僅導入表/視圖對象的數據。
僅導入結構:僅導入數據庫對象的定義語句。
導入文件格式
ODC 導入工具支持導入 ZIP 壓縮文件(批量導入和單表導入)、SQL 文件(批量導入)和 CSV 文件(單表導入)。
其中,ZIP 壓縮文件是以 .zip 結尾的壓縮包。創建導入任務時在面板中的 導入內容 項中選擇了 ZIP 壓縮文件 后還需在 數據格式 項中選擇壓縮包中的數據格式是 CSV 格式 或 SQL 格式。
批量導入時支持導入 SQL 文件,SQL 文件是以 .sql 結尾包含可直接在數據庫中執行的SELECT
、INSERT
、UPDATE
、DELETE
、CREATE
和DROP
語句的文件。
單表導入時支持導入 CSV 文件,CSV 文件是 .csv 或 .txt 結尾的支持自定義分割符的數據文件。
注意事項
Web 版 ODC 對導入上傳的文件大小有限制,最大支持導入 2GB(壓縮后)的文件,超出部分無法上傳。如需導入大量數據,請使用導數工具 OBLOADER。
最大支持 5 個導入任務并行運行,后續任務在隊列中等待運行。
導入任務涉及的文件默認保留 14 天。
OceanBase V4.0.0 及之前版本的數據源中配置 sys 租戶賬號和密碼可以提升導入速度。ODC 通過分區位置可以計算最佳的導數并行策略,除導出表、視圖之外的其它對象,OceanBase V4.0.0 及之前版本需要通過 sys 租戶查詢和確定分區位置。
OceanBase V4.0.0 之后版本的數據源中無需配置 sys 租戶賬號和密碼,ODC 支持通過業務租戶的視圖查詢和確定分區位置。
新建導入任務
示例:將本地磁盤中表 employee 和 salary 的結構和數據批量導入到數據庫 odc_test 中。
信息項 | 示例值 |
所屬數據源 | mysql4.2.0 |
數據庫名稱 | odc_test |
表名稱 | employee, salary |
在 工單 頁簽中單擊 導入 > 新建導入。
在彈出的任務面板中,選擇導入文件格式。
說明ODC 目前支持批量導入CSV 文件、SQL 文件和ZIP 壓縮文件。
導入文件格式為 CSV 文件時,支持跳過首行字段列頭字段。
導入文件格式為 ZIP 壓縮文件時,支持導入單表或者多表和跳過已存在的結構。
上傳導入文件。
單擊文件池進入文件資源管理器以選擇需要導入的文件,或者直接將文件拖入文件池中以完成文件上傳。上傳的文件格式需要與所選擇的導入文件格式相同,ZIP 壓縮文件支持上傳 .zip 結尾的文件、SQL 文件支持上傳 .sql 文件以及 CSV 文件支持上傳 .csv 文件。
選擇文件編碼。
ODC 目前支持 ASCII、ISO-8859-1、GB2312、GBK、GB18030、Unicode(UTF-8)、Unicode(UTF-16)、Unicode(UTF-32)和 BIG5 等編碼格式。
進入導入設置面板。
單擊 下一步:導入設置 對導入的文件和 sys 租戶賬號進行設置。
選擇導入內容。
說明當 導入格式 為 ZIP 壓縮文件時需指定該項。
ODC 目前支持僅導入數據、僅導入結構和導入數據和結構三種方式。其中導入結構指是否要導入對象的定義語句。
選擇所屬庫。
選擇導入對象所在的數據庫。該項下同時顯示目標任務所在數據庫的數據源名稱。
設置導入數據。
當導入格式為 ZIP 壓縮文件且導入內容不為僅導入結構時需設置導入數據。該項包含以下設置項:
導入前清空數據:勾選該項后,導入數據時將首先清空目標對象中原有的數據。
批量提交數量:單擊導入數據設置標簽后的高級按鈕,在彈出的列表中可指定該項。通過指定批量提交數量,可在導入文件中導入指定數量數據時添加一句
COMMIT
命令。不導入的數據類型(可選):可以通過該項指定導入數據時要跳過的數據類型。MySQL 和 Oracle 下可跳過的類型不同,支持多選。
設置導入結構。
當導入內容為僅導入數據時,該項不可被指定。在該項下選擇當對象結構已存在時的操作。選擇跳過操作則在導入時跳過導入文件中的結構定義語句直接導入數據,該項會保留對象中的原數據。選擇替換操作時則執行導入文件中的結構定義語句以重新創建并替換原對象,該項會清空對象中的原數據。
設置任務錯誤處理和執行方式。
ODC 提供停止任務和忽略錯誤繼續任務兩種錯誤處理方式。需要在任務錯誤處理標簽下選擇需要的處理方式。
支持選擇立即執行/定時執行。
保留當前配置。
指定所有信息后,勾選面板左下角的保留當前配置以保留當前部分數據文件和結構文件配置。
生成導入任務。
指定所有信息后,單擊面板右下角的 提交 按鈕以生成導入任務。
查看導入任務。
任務生成后會自動彈出任務中心面板,在任務中心可以查看任務信息。
查看導入任務
任務列表
任務列表中會顯示最近 48 小時內的任務。
最大支持 3 個導入任務并行運行,后續任務在隊列中等待運行。
導入任務生成后會自動彈出工單面板,在導入列表中可以查看任務審批狀態、任務信息和任務日志。
導入任務列表中包含如下信息:
信息項 | 說明 |
編號 | 導入任務編號。 |
類型 | 顯示新建任務時指定的任務類型。 |
工單描述 | 顯示發起任務時填寫的描述內容。 |
當前處理人 | 審批人。單擊搜索圖標,可搜索和篩選處理人。 |
創建人 | 創建導入任務的用戶。 單擊搜索圖標,可搜索和篩選創建人。 |
創建時間 | 顯示該任務生成的具體日期和時間。 |
狀態 | 顯示任務的當前狀態(不同狀態下提供的管理操作不同)。 |
操作 | 單擊查看按鈕進入任務詳情頁面以查看目標任務的任務詳情和任務日志。 |
任務信息
如上圖所示,在導入任務列表中單擊查看按鈕。
彈出目標任務的任務詳情面板,單擊任務信息標簽查看任務基本信息、導入文件信息和導入對象信息。
信息項
說明
任務基本信息
顯示執行狀態、任務編號、所屬數據庫、任務類型、風險等級、執行方式、創建人和創建時間等信息。
導入文件信息
顯示創建導入任務時選擇的導入文件格式、導入文件、文件編碼、數據格式和任務錯誤處理等信息。
導入對象信息
顯示該任務中您選擇的對象在導入數據時的完成情況,包括對象名稱、對象類型、實際處理數量和數據處理狀態等信息。
任務流程
在目標任務的任務詳情面板中,單擊任務流程標簽查看發起任務、審批和執行狀態等信息。
任務日志
在目標任務的任務詳情面板,單擊任務日志標簽查看任務的全部日志和告警日志。
信息項 | 說明 |
全部日志 | 全部日志顯示任務的 INFO、ERROR 和 WARN 日志等全量信息。 |
告警日志 | 告警日志單獨顯示任務的 ERROR 和 WARN 日志。當任務失敗時,可通過告警日志查看錯誤信息。 |
同時,工具欄提供了以下功能鍵:
功能 | 說明 |
查找 | 單擊該按鈕查找日志信息。 |
下載 | 單擊該按鈕下載日志信息。 |
復制 | 單擊該按鈕復制日志信息。 |