導(dǎo)出結(jié)構(gòu)和數(shù)據(jù)
背景信息
ODC 支持批量導(dǎo)出數(shù)據(jù)庫對象的結(jié)構(gòu)和數(shù)據(jù)。
通過 ODC 導(dǎo)出任務(wù)可以分別導(dǎo)出數(shù)據(jù)庫對象的結(jié)構(gòu)和數(shù)據(jù)、僅導(dǎo)出數(shù)據(jù)或者僅導(dǎo)出結(jié)構(gòu)。
導(dǎo)出結(jié)構(gòu)和數(shù)據(jù):同時(shí)導(dǎo)出數(shù)據(jù)庫對象的定義語句及其數(shù)據(jù)。
僅導(dǎo)出數(shù)據(jù):僅導(dǎo)出表/視圖對象的數(shù)據(jù)。
僅導(dǎo)出結(jié)構(gòu):僅導(dǎo)出數(shù)據(jù)庫對象的定義語句。
導(dǎo)出文件格式
ODC 導(dǎo)出工具會(huì)將數(shù)據(jù)導(dǎo)出到以 .zip 結(jié)尾的壓縮文件包中,壓縮包中包含元數(shù)據(jù)文件 MANIFEST.bin 和 Schema 下導(dǎo)入導(dǎo)出對象的結(jié)構(gòu)定義文件和數(shù)據(jù)文件。
創(chuàng)建導(dǎo)出任務(wù)時(shí),如果您指定 數(shù)據(jù)格式 為 SQL 格式,那文件包中的結(jié)構(gòu)定義文件是以對象名-schema.sql
命名的 SQL 文本,數(shù)據(jù)文件是以對象名.sql
命名的 SQL 文本,其中對象名與數(shù)據(jù)庫實(shí)際對象名保持一致。
如果您指定 數(shù)據(jù)格式 為 CSV 格式,那文件包中的結(jié)構(gòu)定義文件是以對象名-schema.sql
命名的 SQL 文本,數(shù)據(jù)文件是以對象名.csv
命名的 CSV 文本,其中對象名與數(shù)據(jù)庫實(shí)際對象名保持一致。
注意事項(xiàng)
Web 版 ODC 對導(dǎo)出的數(shù)據(jù)大小有限制,最大支持導(dǎo)出 2GB 的數(shù)據(jù)(壓縮前),超出部分無法導(dǎo)出。如需導(dǎo)出大量數(shù)據(jù),請使用導(dǎo)數(shù)工具 OBDUMPER。
最大支持 5 個(gè)導(dǎo)出任務(wù)并行運(yùn)行,后續(xù)任務(wù)在隊(duì)列中等待運(yùn)行。
導(dǎo)出任務(wù)涉及的文件默認(rèn)保留 14 天。
OceanBase V4.0.0 及之前版本的數(shù)據(jù)源中配置 sys 租戶賬號和密碼可以提升導(dǎo)出速度。ODC 通過分區(qū)位置可以計(jì)算最佳的導(dǎo)數(shù)并行策略,除導(dǎo)出表、視圖之外的其它對象,OceanBase V4.0.0 及之前版本需要通過 sys 租戶查詢和確定分區(qū)位置。
OceanBase V4.0.0 之后版本的數(shù)據(jù)源中無需配置 sys 租戶賬號和密碼,ODC 支持通過業(yè)務(wù)租戶的視圖查詢和確定分區(qū)位置。
新建導(dǎo)出任務(wù)
示例:將數(shù)據(jù)庫 odc_test 中表 employee 和 salary 的結(jié)構(gòu)和數(shù)據(jù)批量導(dǎo)出到本地磁盤。
信息項(xiàng) | 示例值 |
所屬數(shù)據(jù)源 | mysql410 |
數(shù)據(jù)庫名稱 | odc_test |
表名稱 | employee, salary |
在 工單 頁簽中單擊 導(dǎo)出 > 新建導(dǎo)出。
在彈出的 導(dǎo)出 面板中,選擇導(dǎo)出內(nèi)容。
選擇所屬庫。
選擇導(dǎo)出對象所在的數(shù)據(jù)庫。該項(xiàng)下同時(shí)顯示目標(biāo)任務(wù)所在數(shù)據(jù)庫的數(shù)據(jù)源名稱。
重要OceanBase MySQL 模式下,內(nèi)置數(shù)據(jù)庫不支持導(dǎo)出功能。
選擇導(dǎo)出范圍。
支持選擇 部分導(dǎo)出 和 整庫導(dǎo)出。
部分導(dǎo)出:在 導(dǎo)出對象 的 選擇對象 窗口中勾選需要導(dǎo)出的對象。支持使用搜索框直接進(jìn)行搜索對象。
整庫導(dǎo)出:導(dǎo)出當(dāng)前庫中的所有對象。
說明ODC V4.2.2 及之后的版本支持導(dǎo)出類型對象。
進(jìn)入導(dǎo)出設(shè)置面板。
單擊 下一步:導(dǎo)出設(shè)置 對導(dǎo)出的文件和 sys 租戶賬號進(jìn)行設(shè)置。
設(shè)置數(shù)據(jù)文件。
說明當(dāng) 導(dǎo)出內(nèi)容 為僅導(dǎo)出結(jié)構(gòu)時(shí)無需設(shè)置數(shù)據(jù)文件。
設(shè)置項(xiàng)
說明
數(shù)據(jù)格式
ODC 目前支持將數(shù)據(jù)導(dǎo)出為 CSV 格式 和 SQL 格式。當(dāng) 導(dǎo)出內(nèi)容 為 僅導(dǎo)出結(jié)構(gòu) 時(shí),只支持導(dǎo)出數(shù)據(jù)為 SQL 格式。
文件編碼
ODC 目前支持 ASCII、ISO-8859-1、GB2312、GBK、GB18030、Unicode(UTF-8)、Unicode(UTF-16)、Unicode(UTF-32)和 BIG5 等編碼格式。
單個(gè)文件上限
當(dāng) 導(dǎo)出內(nèi)容 為僅導(dǎo)出結(jié)構(gòu)時(shí)無需進(jìn)行單個(gè)文件上限設(shè)置。
支持選擇導(dǎo)出的單表數(shù)據(jù)文件上限。文件大小超過上限后,文件將自動(dòng)切分;若選擇不限制,則不切分文件。
CSV 設(shè)置
選擇導(dǎo)出 CSV 格式且 導(dǎo)出內(nèi)容 為導(dǎo)出結(jié)構(gòu)和數(shù)據(jù)時(shí),可指定以下信息:
包含列頭:該項(xiàng)默認(rèn)勾選,選擇導(dǎo)出數(shù)據(jù)為 CSV 格式時(shí)是否包含列頭。
空字符串轉(zhuǎn)為空值:該項(xiàng)默認(rèn)勾選,選擇導(dǎo)出數(shù)據(jù)為 CSV 格式時(shí)是否將表中的空字符串轉(zhuǎn)換為空值 \N。
字段分隔符:設(shè)置字段間的分隔符。支持選擇,(逗號)、;(分號)和 :(冒號)作為字段分割符。同時(shí)支持自定義一個(gè)字符長度的字符作為分隔符。
文本識(shí)別符:設(shè)置文本內(nèi)容的識(shí)別符。支持選擇 '(單引號)和 "(雙引號)作為文本識(shí)別符。
換行符號:設(shè)置換行符。支持選擇 \n、\r 和 \r\n 作為換行符。
批量提交數(shù)量(SQL 格式)
選擇導(dǎo)出 SQL 格式數(shù)據(jù)時(shí),通過指定批量提交數(shù)量,可在導(dǎo)出文件中導(dǎo)出指定數(shù)量數(shù)據(jù)時(shí)添加一句
COMMIT
命令。使用全局快照
勾選該項(xiàng)后 ODC 將導(dǎo)出全局中指定表的最新快照點(diǎn)中的數(shù)據(jù),勾選該項(xiàng)可以保證全局?jǐn)?shù)據(jù)的一致性。
設(shè)置結(jié)構(gòu)文件。
當(dāng) 導(dǎo)出內(nèi)容 為僅導(dǎo)出結(jié)構(gòu)時(shí),支持選擇是否 導(dǎo)出結(jié)果合并為一個(gè) SQL 文件。勾選該項(xiàng)后,會(huì)合并 DDL 并導(dǎo)出為一個(gè) SQL 文件。
在該項(xiàng)下選擇是否在 Create 語句前添加 Drop 語句。勾選該項(xiàng)后,在導(dǎo)出對象結(jié)構(gòu)文件時(shí),在對象的
CREATE
語句前均會(huì)添加對應(yīng)的DROP
語句。
設(shè)置任務(wù)執(zhí)行方式。
在該項(xiàng)下選擇 立即執(zhí)行/定時(shí)執(zhí)行。
保留當(dāng)前配置。
指定所有信息后,勾選面板左下角的 保留當(dāng)前配置 以保留當(dāng)前部分?jǐn)?shù)據(jù)文件和結(jié)構(gòu)文件配置。
生成導(dǎo)出任務(wù)。
指定所有信息后,單擊面板右下角的 導(dǎo)出 按鈕以生成導(dǎo)出任務(wù)。
查看導(dǎo)出任務(wù)
任務(wù)列表
任務(wù)列表中會(huì)顯示最近 48 小時(shí)內(nèi)的任務(wù)。
最大支持 3 個(gè)導(dǎo)出任務(wù)并行運(yùn)行,后續(xù)任務(wù)在隊(duì)列中等待運(yùn)行。
導(dǎo)出任務(wù)生成后會(huì)自動(dòng)彈出 工單 面板,在 導(dǎo)出 列表中可以查看任務(wù)審批狀態(tài)、任務(wù)信息并下載導(dǎo)出的數(shù)據(jù)結(jié)構(gòu)文件。
導(dǎo)出任務(wù)列表中包含如下信息:
信息項(xiàng) | 說明 |
編號 | 導(dǎo)出任務(wù)編號。 |
類型 | 顯示新建任務(wù)時(shí)指定的任務(wù)類型。 |
工單描述 | 顯示發(fā)起任務(wù)時(shí)填寫的描述內(nèi)容。 |
當(dāng)前處理人 | 審批人。單擊搜索圖標(biāo),可搜索和篩選處理人。 |
創(chuàng)建人 | 創(chuàng)建導(dǎo)出任務(wù)的用戶。 單擊搜索圖標(biāo),可搜索和篩選創(chuàng)建人。 |
創(chuàng)建時(shí)間 | 顯示該任務(wù)生成的具體日期和時(shí)間。 |
狀態(tài) | 顯示任務(wù)的當(dāng)前狀態(tài)(不同狀態(tài)下提供的管理操作不同)。 |
操作 | 單擊 查看 按鈕進(jìn)入任務(wù)詳情頁面以查看目標(biāo)任務(wù)的 任務(wù)詳情 和 任務(wù)日志。 |
任務(wù)信息
如上圖所示,在 導(dǎo)出 任務(wù)列表中單擊 查看 按鈕。
彈出目標(biāo)任務(wù)的任務(wù)詳情面板,單擊 任務(wù)信息 查看任務(wù)基本信息、導(dǎo)出文件信息和導(dǎo)出對象信息。
信息項(xiàng)
說明
任務(wù)基本信息
顯示執(zhí)行狀態(tài)、任務(wù)編號、所屬數(shù)據(jù)庫、任務(wù)類型、風(fēng)險(xiǎn)等級、執(zhí)行方式、創(chuàng)建人 和 創(chuàng)建時(shí)間 等信息。
導(dǎo)出文件信息
顯示創(chuàng)建導(dǎo)出任務(wù)時(shí)選擇的 導(dǎo)出內(nèi)容、數(shù)據(jù)格式、文件編碼、導(dǎo)出數(shù)據(jù)設(shè)置 和 導(dǎo)出結(jié)構(gòu)設(shè)置 等信息。
導(dǎo)出對象信息
顯示該任務(wù)中用戶選擇的對象在導(dǎo)出數(shù)據(jù)時(shí)的完成情況,包括對象名稱、對象類型、結(jié)構(gòu)處理狀態(tài)、實(shí)際處理數(shù) 和 數(shù)據(jù)處理狀態(tài) 等信息。
任務(wù)流程
在目標(biāo)任務(wù)的任務(wù)詳情面板中,單擊 任務(wù)流程 標(biāo)簽查看 發(fā)起任務(wù)、審批 和 執(zhí)行 狀態(tài)等信息。
任務(wù)日志
在目標(biāo)任務(wù)的任務(wù)詳情面板,單擊任務(wù)日志標(biāo)簽查看任務(wù)的全部日志和告警日志。
信息項(xiàng) | 說明 |
全部日志 | 顯示任務(wù)的 INFO、ERROR 和 WARN 日志等全量信息。 |
告警日志 | 告警日志單獨(dú)顯示任務(wù)的 ERROR 和 WARN 日志。 當(dāng)任務(wù)失敗時(shí),可查看告警日志以獲得錯(cuò)誤信息。 |
同時(shí),工具欄提供了以下功能鍵:
功能 | 說明 |
查找 | 單擊該按鈕查找日志信息。 |
下載 | 單擊該按鈕下載日志信息。 |
復(fù)制 | 單擊該按鈕復(fù)制日志信息。 |
導(dǎo)出文件
在目標(biāo)任務(wù)的任務(wù)詳情面板右下角,單擊 下載 按鈕導(dǎo)出文件至本地。