使用限制

• 開(kāi)發(fā)者賬號(hào)支持使用輕量ETL。

• 擁有目標(biāo)數(shù)據(jù)庫(kù)的讀寫權(quán)限。請(qǐng)參見(jiàn)數(shù)據(jù)源功能項(xiàng)列表，查看支持使用數(shù)據(jù)準(zhǔn)備功能的數(shù)據(jù)源。

• 使用ETL需要擁有相應(yīng)數(shù)據(jù)集或數(shù)據(jù)源的權(quán)限：

  • 輸入節(jié)點(diǎn)：

    • 數(shù)據(jù)集：必須有數(shù)據(jù)集使用權(quán)限。

    • 數(shù)據(jù)源表：必須有數(shù)據(jù)源使用權(quán)限。

  • 輸出節(jié)點(diǎn)：

    • 數(shù)據(jù)集：必須有數(shù)據(jù)集新建（編輯）權(quán)限。

    • 數(shù)據(jù)源表：必須有數(shù)據(jù)源使用權(quán)限。

• 僅專業(yè)版群空間支持使用輕量ETL。

  • 專業(yè)版正式客戶ETL任務(wù)數(shù)：可以發(fā)布10個(gè)任務(wù)。

  • ETL試用用戶可以發(fā)布3個(gè)任務(wù)，包括試用專業(yè)版的用戶和高級(jí)版試用ETL模塊的客戶。

• 節(jié)點(diǎn)字段支持全量展示，最多可勾選200個(gè)字段。

• ETL輸入節(jié)點(diǎn)最大輸入數(shù)據(jù)1000萬(wàn)行。

功能入口

1. 登錄Quick BI控制臺(tái)。

2. 在Quick BI產(chǎn)品首頁(yè)，通過(guò)以下入口，新建數(shù)據(jù)準(zhǔn)備。

   入口一：工作臺(tái)->選擇工作空間->單擊數(shù)據(jù)準(zhǔn)備->單擊新建數(shù)據(jù)準(zhǔn)備。

   

   入口二：工作臺(tái)->選擇工作空間->單擊數(shù)據(jù)準(zhǔn)備右邊的圖標(biāo)，快速創(chuàng)建數(shù)據(jù)準(zhǔn)備。

   

   入口三：工作臺(tái)->選擇工作空間->單擊數(shù)據(jù)集->選擇目標(biāo)數(shù)據(jù)集并單擊數(shù)據(jù)集右邊的圖標(biāo)->單擊新建數(shù)據(jù)準(zhǔn)備。

   

   入口四：工作臺(tái)->選擇工作空間->單擊數(shù)據(jù)源->選擇目標(biāo)數(shù)據(jù)源->選擇目標(biāo)數(shù)據(jù)表標(biāo)并單擊圖標(biāo)新建數(shù)據(jù)準(zhǔn)備。

   

3. 進(jìn)入數(shù)據(jù)編輯頁(yè)面。

輸入數(shù)據(jù)

支持從目標(biāo)數(shù)據(jù)源中獲取數(shù)據(jù)表或者使用有權(quán)限的數(shù)據(jù)集，作為輸入數(shù)據(jù)。

在數(shù)據(jù)準(zhǔn)備編輯頁(yè)面，從左側(cè)的節(jié)點(diǎn)操作區(qū)，拖拽數(shù)據(jù)輸入至畫布區(qū)，進(jìn)行數(shù)據(jù)流構(gòu)建。

配置節(jié)點(diǎn)

本例中，以添加兩個(gè)數(shù)據(jù)輸入節(jié)點(diǎn)為例介紹。

• 數(shù)據(jù)輸入1的配置示例如下。

• 數(shù)據(jù)輸入2的配置示例如下。

連接節(jié)點(diǎn)

將輸入的數(shù)據(jù)進(jìn)行清洗加工 ，故需要將輸入節(jié)點(diǎn)、數(shù)據(jù)加工節(jié)點(diǎn)等連接起來(lái)，形成任務(wù)流。

本例中，將分布在兩個(gè)數(shù)據(jù)庫(kù)的訂單合并，并進(jìn)行清洗加工、聚合等操作。

1. 合并輸入數(shù)據(jù)節(jié)點(diǎn)。

   合并節(jié)點(diǎn)用于將數(shù)據(jù)輸入1節(jié)點(diǎn)和數(shù)據(jù)輸入2節(jié)點(diǎn)中，名稱相同的字段進(jìn)行合并。

   1. 從左側(cè)的節(jié)點(diǎn)操作區(qū)，拖拽合并至畫布區(qū)。

   2. 連接需要合并的節(jié)點(diǎn)。

   3. 配置合并節(jié)點(diǎn)并查看合并結(jié)果。

      此時(shí)合并節(jié)點(diǎn)中的字段為數(shù)據(jù)輸入1和數(shù)據(jù)輸入2中，名稱相同的字段。

2. 清洗加工合并后的數(shù)據(jù)。

   1. 從左側(cè)的節(jié)點(diǎn)操作區(qū)，拖拽清洗加工至畫布區(qū)。

   2. 連接需要清洗加工的節(jié)點(diǎn)。

   3. 在清洗加工節(jié)點(diǎn)配置區(qū)域，按照下圖指引，配置字段篩選。

   4. 按照下圖指引，新增字段，支持新增計(jì)算字段、分組賦值和窗口函數(shù)。

3. 聚合清洗加工后的數(shù)據(jù)。

   1. 從左側(cè)的節(jié)點(diǎn)操作區(qū)，拖拽聚合至畫布區(qū)。

   2. 連接需要聚合節(jié)點(diǎn)。

   3. 在聚合節(jié)點(diǎn)配置區(qū)域，按照下圖指引，配置分組字段和匯總字段。

輸出數(shù)據(jù)

輸出數(shù)據(jù)時(shí)，支持輸出至已有的目標(biāo)數(shù)據(jù)庫(kù)表或新建的數(shù)據(jù)庫(kù)表中，也支持輸出至數(shù)據(jù)集中。

• 分區(qū)表：每次寫入會(huì)刪除表中原有數(shù)據(jù)，并插入新數(shù)據(jù)。

• 非分區(qū)表：

  • 覆蓋數(shù)據(jù)：每次寫入會(huì)覆蓋之前的數(shù)據(jù)。

  • 追加數(shù)據(jù)：主鍵/約束不沖突時(shí)，插入數(shù)據(jù)；主鍵/約束沖突時(shí)，則會(huì)報(bào)錯(cuò)。

1. 從左側(cè)的節(jié)點(diǎn)操作區(qū)，拖拽數(shù)據(jù)輸出至畫布區(qū)。

2. 連接需要導(dǎo)出數(shù)據(jù)的節(jié)點(diǎn)。

3. 在數(shù)據(jù)輸出節(jié)點(diǎn)配置區(qū)域，按照下圖指引，配置輸出的數(shù)據(jù)。

   1. 輸出類型為數(shù)據(jù)源表。

   2. 輸出類型為數(shù)據(jù)集。

輸出數(shù)據(jù)配置完成后，您需要運(yùn)行才可以在數(shù)據(jù)庫(kù)表或者數(shù)據(jù)集中寫入數(shù)據(jù)。您可以手動(dòng)觸發(fā)運(yùn)行，也可以定期自動(dòng)運(yùn)行，周期性的更新數(shù)據(jù)庫(kù)表。詳情請(qǐng)參見(jiàn)任務(wù)運(yùn)行配置。

保存并發(fā)布文件

配置完成后，您可以單擊保存或保存并發(fā)布，保存當(dāng)前數(shù)據(jù)準(zhǔn)備。

①保存

保存功能僅保存當(dāng)前操作。

如果僅保存數(shù)據(jù)準(zhǔn)備，則該數(shù)據(jù)準(zhǔn)備的更新點(diǎn)對(duì)用戶不可見(jiàn)：

• 當(dāng)新增數(shù)據(jù)準(zhǔn)備時(shí)，保存后該數(shù)據(jù)準(zhǔn)備的狀態(tài)為未發(fā)布，通過(guò)保存并發(fā)布發(fā)布數(shù)據(jù)準(zhǔn)備。

• 當(dāng)更新已發(fā)布數(shù)據(jù)準(zhǔn)備時(shí)，通過(guò)重新發(fā)布將該更新點(diǎn)發(fā)布出去。

②保存并發(fā)布

保存并發(fā)布功能可以保存當(dāng)前操作并發(fā)布該數(shù)據(jù)準(zhǔn)備。該功能僅對(duì)未發(fā)布數(shù)據(jù)準(zhǔn)備可見(jiàn)。