背景信息

前提條件

• 已開通DataWorks并創(chuàng)建工作空間。操作詳情請(qǐng)參見開通DataWorks服務(wù)。

• 已購買資源組并完成資源組的空間綁定、網(wǎng)絡(luò)等配置。詳情請(qǐng)參見資源組管理。

• 已創(chuàng)建EMR Serverless StarRocks實(shí)例，操作詳情請(qǐng)參見快速使用存算一體版實(shí)例。

  說明

  創(chuàng)建完成StarRocks實(shí)例后，您可以通過在EMR控制臺(tái)查看實(shí)例信息，并通過EMR StarRocks Manager連接實(shí)例查看數(shù)據(jù)庫、表等信息。

• 已將DataWorks資源組的白名單IP地址添加至EMR Serverless StarRocks實(shí)例的白名單中。

  添加EMR Serverless StarRocks實(shí)例白名單的操作入口如下。

  

創(chuàng)建數(shù)據(jù)源

在DataWorks上使用EMR Serverless StarRocks時(shí)，您需要先創(chuàng)建StarRocks類型的數(shù)據(jù)源，對(duì)接已創(chuàng)建的EMR Serverless StarRocks數(shù)據(jù)庫，以便后續(xù)在DataWorks的各個(gè)子模塊中使用EMR Serverless StarRocks。

數(shù)據(jù)源介紹詳情請(qǐng)參見StarRocks數(shù)據(jù)源，數(shù)據(jù)源的創(chuàng)建入口及配置要點(diǎn)如下。

1. 進(jìn)入數(shù)據(jù)源頁面。

   1. 登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的更多 > 管理中心，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入管理中心。

   2. 進(jìn)入工作空間管理中心頁面后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)源 > 數(shù)據(jù)源列表，進(jìn)入數(shù)據(jù)源頁面。

2. 單擊新增數(shù)據(jù)源，數(shù)據(jù)源配置要點(diǎn)如下，其他參數(shù)可保持默認(rèn)值。

   根據(jù)StarRocks實(shí)例與DataWorks資源組的網(wǎng)絡(luò)連通情況，選擇對(duì)應(yīng)的方式創(chuàng)建數(shù)據(jù)源。具體網(wǎng)絡(luò)連通方案，請(qǐng)參見網(wǎng)絡(luò)連通方案。

   內(nèi)網(wǎng)連通

   關(guān)鍵參數(shù)	說明
   配置模式	選擇阿里云實(shí)例模式。
   所屬云賬號(hào)	如果EMR Serverless StarRocks實(shí)例與DataWorks屬于同一賬號(hào)，則選擇當(dāng)前阿里云主賬號(hào)。 如果EMR Serverless StarRocks實(shí)例屬于其他阿里云賬號(hào)，則選擇其他阿里云主賬號(hào)，選擇其他阿里云主賬號(hào)后，還需配置對(duì)方阿里云主賬號(hào)UID和對(duì)方RAM角色，對(duì)方RAM角色配置的更多信息，請(qǐng)參見跨賬號(hào)授權(quán)配置。
   地域	選擇EMR Serverless StarRocks實(shí)例所在的地域。
   實(shí)例	選擇具體Serverless版的StarRocks實(shí)例。
   數(shù)據(jù)庫名稱	待連接使用的數(shù)據(jù)庫名稱。您可以通過EMR StarRocks Manager連接實(shí)例后，在元數(shù)據(jù)管理中查看。
   用戶名/密碼	實(shí)例的用戶名和密碼。 創(chuàng)建StarRocks實(shí)例默認(rèn)創(chuàng)建一個(gè)admin用戶，密碼為創(chuàng)建實(shí)例時(shí)自定義的密碼。
   連接配置	您需要測(cè)試數(shù)據(jù)源與購買的資源組的連通性，連通狀態(tài)為可連通表明數(shù)據(jù)源與資源組間網(wǎng)絡(luò)是連通的。

   公網(wǎng)連通

   關(guān)鍵參數(shù)	說明
   配置模式	選擇連接串模式。
   主機(jī)地址/IP	EMR Serverless StarRocks實(shí)例中FE的公網(wǎng)地址。
   端口	EMR Serverless StarRocks實(shí)例中FE的查詢端口（默認(rèn)為9030）。
   Load URL	StarRocks FE的地址用于Streamload，可以為多個(gè)FE地址，形如FE公網(wǎng)地址:FE的HTTP端口，使用逗號(hào)分割。
   數(shù)據(jù)庫名稱	待連接使用的數(shù)據(jù)庫名稱。您可以通過EMR StarRocks Manager連接實(shí)例后，在元數(shù)據(jù)管理中查看。
   用戶名/密碼	實(shí)例的用戶名和密碼。 創(chuàng)建StarRocks實(shí)例默認(rèn)創(chuàng)建一個(gè)admin用戶，密碼為創(chuàng)建實(shí)例時(shí)自定義的密碼。
   連接配置	您需要測(cè)試數(shù)據(jù)源與購買的資源組的連通性，連通狀態(tài)為可連通表明數(shù)據(jù)源與資源組間網(wǎng)絡(luò)是連通的。

數(shù)據(jù)集成

DataWorks支持同步多種數(shù)據(jù)源的數(shù)據(jù)至EMR Serverless StarRocks表中，如MySQL、Hive、Kafka、OSS、HDFS等。以下以離線同步一個(gè)MySQL數(shù)據(jù)至EMR Serverless StarRocks表中為例，為您介紹操作要點(diǎn)。

1. 進(jìn)入數(shù)據(jù)開發(fā)頁面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)開發(fā)與治理 > 數(shù)據(jù)開發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。

2. 創(chuàng)建離線同步節(jié)點(diǎn)，設(shè)置數(shù)據(jù)來源為MySQL，數(shù)據(jù)去向?yàn)镾tarRocks數(shù)據(jù)源。

   

3. 選擇資源組后，并分別測(cè)試與來源數(shù)據(jù)源、去向數(shù)據(jù)源的連通性。

4. 設(shè)置調(diào)度周期，提交發(fā)布節(jié)點(diǎn)后周期執(zhí)行任務(wù)。

   完成調(diào)試后，您可以單擊側(cè)邊欄的調(diào)度配置，配置調(diào)度周期、重跑策略等調(diào)度參數(shù)，設(shè)置任務(wù)使用的資源組，完成后單擊提交、發(fā)布按鈕。

數(shù)據(jù)開發(fā)與調(diào)度運(yùn)維

對(duì)于需要周期調(diào)度的EMR Serverless StarRocks任務(wù)，您可以在DataStudio模塊中創(chuàng)建StarRocks節(jié)點(diǎn)，選擇已經(jīng)連接到的StarRocks數(shù)據(jù)源，即可編寫EMR Serverless StarRocks SQL任務(wù)，并設(shè)置調(diào)度周期來周期執(zhí)行。操作步驟要點(diǎn)如下：

1. 進(jìn)入數(shù)據(jù)開發(fā)頁面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)開發(fā)與治理 > 數(shù)據(jù)開發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。

2. 在DataStudio中創(chuàng)建StarRocks節(jié)點(diǎn)，選擇已經(jīng)連接到的StarRocks的數(shù)據(jù)源，即可編寫EMR Serverless StarRocks SQL任務(wù)。

   

3. 在DataStudio調(diào)試EMR Serverless StarRocks SQL任務(wù)時(shí)，您需要選中待調(diào)試的SQL命令并單擊運(yùn)行按鈕，選中資源組后進(jìn)行調(diào)試。

4. 設(shè)置調(diào)度周期，提交發(fā)布節(jié)點(diǎn)后周期執(zhí)行任務(wù)。

   完成調(diào)試后，您可以單擊側(cè)邊欄的調(diào)度配置，配置調(diào)度周期、重跑策略等調(diào)度參數(shù)，設(shè)置任務(wù)使用的資源組，完成后單擊提交、發(fā)布按鈕。

數(shù)據(jù)分析

您可以使用DataWorks的數(shù)據(jù)分析子模塊，對(duì)EMR Serverless StarRocks表數(shù)據(jù)進(jìn)行快速分析，操作要點(diǎn)如下。

1. 進(jìn)入SQL查詢頁面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)分析 > SQL查詢，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入SQL查詢。

2. 單擊左邊側(cè)邊欄的圖標(biāo)，單擊更多 > 系統(tǒng)管理，進(jìn)入系統(tǒng)管理頁面，設(shè)置StarRocks類的查詢資源組為任務(wù)使用的資源組。

   

3. 回到SQL查詢頁面，在右上角切換引擎類型為StarRocks，并選擇數(shù)據(jù)源，即可編輯查詢語句并運(yùn)行，進(jìn)行EMR Serverless StarRocks數(shù)據(jù)分析。

   

數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)支持生成StarRocks數(shù)據(jù)源類型的API。

1. 進(jìn)入數(shù)據(jù)服務(wù)頁面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)開發(fā)與治理 > 數(shù)據(jù)服務(wù)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)服務(wù)。

2. 生成一個(gè)API，并配置API參數(shù)。

   數(shù)據(jù)服務(wù)支持向?qū)Ｊ胶湍_本模式兩種編輯場(chǎng)景，腳本模式支持根據(jù)查詢SQL語句自動(dòng)生成API的請(qǐng)求參數(shù)和返回參數(shù)。以下以向?qū)Ｊ綖槔秊槟纠僮饕c(diǎn)。

   

   選擇數(shù)據(jù)源類型為StarRocks，選擇創(chuàng)建的StarRocks數(shù)據(jù)源后，選擇對(duì)應(yīng)的表，根據(jù)界面選擇API的請(qǐng)求參數(shù)、返回參數(shù)等API配置。

3. 單擊右邊側(cè)邊欄的服務(wù)資源組，配置資源組為獨(dú)享數(shù)據(jù)服務(wù)資源組。

   

4. 測(cè)試API成功后，提交并發(fā)布API。

數(shù)據(jù)地圖

數(shù)據(jù)地圖模塊支持對(duì)StarRocks數(shù)據(jù)的元數(shù)據(jù)采集、搜索和表詳情頁。