數(shù)據(jù)集成
云數(shù)據(jù)庫 SelectDB 版的數(shù)據(jù)集成是用于將外部數(shù)據(jù)導(dǎo)入實(shí)例數(shù)據(jù)庫的可視化工具。本文介紹如何使用云數(shù)據(jù)庫 SelectDB 版的數(shù)據(jù)集成。
前提條件
已創(chuàng)建云數(shù)據(jù)庫 SelectDB 版實(shí)例。具體操作，請參見創(chuàng)建實(shí)例。
實(shí)例版本大于等于3.0.7。
操作步驟
在頁面左上角，選擇實(shí)例所在地域。
在實(shí)例列表頁面，單擊目標(biāo)實(shí)例ID，進(jìn)入到實(shí)例詳情頁面。
單擊頁面右上角的數(shù)據(jù)開發(fā)與管理。
說明首次使用數(shù)據(jù)開發(fā)與管理，系統(tǒng)會提示將您本地公網(wǎng)IP添加到實(shí)例白名單分組webui_whitelist中，請仔細(xì)閱讀，單擊確定。
單擊下拉列表中的數(shù)據(jù)集成。
說明首次使用數(shù)據(jù)集成時(shí)，如果您還沒有登錄過WebUI系統(tǒng)，頁面則會重定向到WebUI登錄頁面。
您可以使用admin賬號登錄WebUI系統(tǒng)。
如果您不知道或者忘記了admin賬號的密碼，可以進(jìn)行密碼重置操作。具體操作，請參見重置賬號密碼。
在集成頁面，您可以進(jìn)行以下操作。
如果您尚未創(chuàng)建任何集成數(shù)據(jù)的任務(wù)，在上一步完成后，將進(jìn)入Stage集成頁面。在該頁面，您只能選擇集成任務(wù)類型，進(jìn)行創(chuàng)建集成任務(wù)。
創(chuàng)建集成任務(wù)。
樣例數(shù)據(jù)
樣例數(shù)據(jù)是數(shù)據(jù)分析數(shù)據(jù)庫性能的基準(zhǔn)測試數(shù)據(jù)，您可以通過以下步驟，進(jìn)行新建樣例數(shù)據(jù)。
選擇樣例數(shù)據(jù)類型。
單擊頁面右上角的新建，進(jìn)入Stage 集成頁面，根據(jù)需求，選擇樣例數(shù)據(jù)類型。
樣例數(shù)據(jù)名稱
樣例數(shù)據(jù)說明
ClickBench
ClickBench數(shù)據(jù)集。
TPC-H
TPC-H數(shù)據(jù)集。
Github Demo
Github Event數(shù)據(jù)集。
SSB-FLAT
SSB-FLAT數(shù)據(jù)集。
在新建集成頁面，填寫以下參數(shù)，單擊確認(rèn)并導(dǎo)入按鈕。
參數(shù)名稱
參數(shù)說明
示例
集成名稱
數(shù)據(jù)集成任務(wù)名稱。
test
注釋
數(shù)據(jù)集成任務(wù)注釋。
test comment
集群
指定使用哪個(gè)集群執(zhí)行數(shù)據(jù)集成任務(wù)。
new_cluster
樣例數(shù)據(jù)大小
選擇樣例數(shù)據(jù)大小。
1GB等
對象存儲（OSS）
選擇集成類型。
單擊頁面右上角的新建，進(jìn)入Stage 集成頁面，單擊對象存儲。
配置參數(shù)。
在新建集成頁面，填寫以下參數(shù)后，單擊確定。
參數(shù)名稱
參數(shù)說明
示例
集成名稱
數(shù)據(jù)集成任務(wù)名稱。
test
注釋
數(shù)據(jù)集成任務(wù)注釋。
test comment
Bucket
OSS Bucket名稱。
test_bucket_name
默認(rèn)文件路徑
文件在OSS中的默認(rèn)路徑
無
訪問授權(quán)
訪問OSS的授權(quán)方式。
Access Key
Access Key
阿里云賬號Access Key。
akdemo
Secret Key
阿里云賬號Secret Key。
skdemo
高級配置
設(shè)置集成文件與導(dǎo)入文件時(shí)的默認(rèn)屬性。
無
文件設(shè)置
設(shè)置集成文件的屬性。
無
文件類型
OSS上文件類型。
參數(shù)值：JSON、ORC、CSV、Parquet和系統(tǒng)推薦。
JSON
壓縮方式
OSS上文件壓縮方式。
gz
列分隔符
OSS上文件中數(shù)據(jù)列分隔符。
\t
行分隔符
OSS上文件中數(shù)據(jù)行分隔符。
\n
文件大小
集成OSS上文件的大小約束。
不限
導(dǎo)入設(shè)置
設(shè)置文件集成導(dǎo)入時(shí)的默認(rèn)操作。
無
遇到錯(cuò)誤
繼續(xù)導(dǎo)入：遇到錯(cuò)誤繼續(xù)導(dǎo)入。
終止導(dǎo)入：遇到錯(cuò)誤終止導(dǎo)入。
自定義：自定義遇到錯(cuò)誤繼續(xù)導(dǎo)入的策略。
終止導(dǎo)入
嚴(yán)格模式
開啟：過濾掉在列轉(zhuǎn)換中錯(cuò)誤的數(shù)據(jù)。這里的錯(cuò)誤數(shù)據(jù)是指：
原始數(shù)據(jù)并不為 null，而在進(jìn)行列類型轉(zhuǎn)換后結(jié)果為 null 的這一類數(shù)據(jù)，但不包括用函數(shù)計(jì)算得出的 null 值。
對于導(dǎo)入的某列類型包含范圍限制的，如果原始數(shù)據(jù)能正常通過類型轉(zhuǎn)換，但無法通過范圍限制的，嚴(yán)格模式對其也不產(chǎn)生影響。例如：如果類型是 decimal(1,0)，原始數(shù)據(jù)為 10，則屬于可以通過類型轉(zhuǎn)換但不在列聲明的范圍內(nèi)。針對這種數(shù)據(jù)，嚴(yán)格模式對其不產(chǎn)生影響。
關(guān)閉：不會過濾掉在列轉(zhuǎn)換中錯(cuò)誤的數(shù)據(jù)。
開啟
查詢集成任務(wù)：在單擊集成頁面右上角搜索圖標(biāo)，在搜索框中填寫目標(biāo)集成任務(wù)名稱，進(jìn)行聯(lián)動查詢。
刪除集成任務(wù)：在集成頁面的集成任務(wù)列表中，找到目標(biāo)集成任務(wù)，單擊操作列的刪除圖標(biāo)。
說明刪除集成任務(wù)不會對已經(jīng)導(dǎo)入的數(shù)據(jù)產(chǎn)生影響，但可能會對您正在導(dǎo)入的數(shù)據(jù)產(chǎn)生影響。
刪除的集成任務(wù)無法恢復(fù)。