創(chuàng)建Hologres數(shù)據(jù)源
若您要使用DataWorks進(jìn)行Hologres任務(wù)的開發(fā)、管理,需先將您的Hologres實(shí)例創(chuàng)建為DataWorks的Hologres數(shù)據(jù)源。創(chuàng)建完成后,可在DataWorks的各功能模塊使用該數(shù)據(jù)源連接Hologres實(shí)例,進(jìn)行相應(yīng)的數(shù)據(jù)同步、數(shù)據(jù)開發(fā)、數(shù)據(jù)分析等操作。
前提條件
已購(gòu)買Hologres實(shí)例并創(chuàng)建數(shù)據(jù)庫(kù)。操作詳情請(qǐng)參見購(gòu)買Hologres、創(chuàng)建數(shù)據(jù)庫(kù)。
說明建議購(gòu)買Hologres實(shí)例時(shí),地域與創(chuàng)建Hologres數(shù)據(jù)源的DataWorks工作空間地域一致,如果地域不一致就只能創(chuàng)建為跨地域的數(shù)據(jù)源,此類數(shù)據(jù)源無(wú)法在DataWorks的數(shù)據(jù)開發(fā)(DataStudio)模塊綁定,即無(wú)法在DataWorks的數(shù)據(jù)開發(fā)、運(yùn)維中心頁(yè)面中執(zhí)行對(duì)應(yīng)計(jì)算任務(wù),僅可進(jìn)行數(shù)據(jù)同步任務(wù)。
已購(gòu)買所需的資源組并完成資源組配置。
數(shù)據(jù)源創(chuàng)建完成后,可用于數(shù)據(jù)同步、Hologres計(jì)算任務(wù)開發(fā)與調(diào)度、生成API提供數(shù)據(jù)服務(wù)等場(chǎng)景。新版通用型資源組(推薦)僅一個(gè)資源組即可滿足上述所有場(chǎng)景的應(yīng)用;舊版獨(dú)享資源組需根據(jù)使用場(chǎng)景(用于數(shù)據(jù)集成、調(diào)度或數(shù)據(jù)服務(wù))選擇相應(yīng)類型資源組購(gòu)買。請(qǐng)?zhí)崆皽?zhǔn)備好相應(yīng)資源組并完成資源組配置,確保創(chuàng)建數(shù)據(jù)源時(shí)可與資源組網(wǎng)絡(luò)連通。資源組相關(guān)操作請(qǐng)參見資源組管理。
說明Hologres實(shí)例僅支持使用新版資源組及舊版獨(dú)享資源組。
已創(chuàng)建或加入目標(biāo)工作空間。
您需在目標(biāo)工作空間中,將Hologres實(shí)例創(chuàng)建為該工作空間的數(shù)據(jù)源,用于后續(xù)在該工作空間進(jìn)行開發(fā)操作。同時(shí),需將購(gòu)買的DataWorks資源組綁定至該工作空間,確保數(shù)據(jù)源與資源組網(wǎng)絡(luò)連通。創(chuàng)建工作空間,詳情請(qǐng)參見創(chuàng)建并管理工作空間。
說明同一個(gè)Hologres實(shí)例可在多個(gè)DataWorks工作空間中被創(chuàng)建為數(shù)據(jù)源。
使用限制
僅當(dāng)Hologres實(shí)例和DataWorks工作空間同地域、同阿里云主賬號(hào),且基于此實(shí)例創(chuàng)建的數(shù)據(jù)源未開啟SSL認(rèn)證,該數(shù)據(jù)源才可用于數(shù)據(jù)開發(fā)和調(diào)度。
重要若訪問Hologres實(shí)例時(shí)需要加密傳輸,則您可在創(chuàng)建數(shù)據(jù)源時(shí)開啟SSL認(rèn)證,但開啟認(rèn)證后,該數(shù)據(jù)源將無(wú)法用于數(shù)據(jù)開發(fā)和調(diào)度。
跨賬號(hào)創(chuàng)建的數(shù)據(jù)源(即將其他阿里云賬號(hào)的Hologres實(shí)例創(chuàng)建為當(dāng)前賬號(hào)下的數(shù)據(jù)源),僅支持通過RAM角色的方式訪問對(duì)應(yīng)Hologres實(shí)例,并且該數(shù)據(jù)源不能用于數(shù)據(jù)開發(fā)和調(diào)度。
僅支持使用新版資源組及舊版獨(dú)享資源組運(yùn)行Hologres相關(guān)任務(wù)。詳情請(qǐng)參見新增和使用Serverless資源組、使用舊版資源組。
操作前準(zhǔn)備:權(quán)限說明與配置
DataWorks側(cè)權(quán)限配置。
創(chuàng)建數(shù)據(jù)源之前,請(qǐng)確保操作的阿里云賬號(hào)有DataWorks數(shù)據(jù)源的新建權(quán)限。滿足下列條件之一即可:
操作賬號(hào)是阿里云主賬號(hào)。
操作賬號(hào)是RAM賬號(hào)或RAM角色,且擁有
AliyunDataWorksFullAccess
權(quán)限。詳情請(qǐng)參見為RAM用戶授權(quán)、為RAM角色授權(quán)。操作賬號(hào)是RAM賬號(hào)或RAM角色,且擁有DataWorks工作空間的項(xiàng)目所有者、運(yùn)維或空間管理員角色,詳情請(qǐng)參見添加空間成員并管理成員角色權(quán)限。
說明若操作賬號(hào)(即當(dāng)前登錄賬號(hào))為RAM賬號(hào),則創(chuàng)建數(shù)據(jù)源時(shí),平臺(tái)會(huì)根據(jù)您選擇的默認(rèn)訪問身份,判斷該賬號(hào)是否還需具備其他權(quán)限,具體如下:
若數(shù)據(jù)源的默認(rèn)訪問身份設(shè)置為執(zhí)行者,則無(wú)需再添加額外的權(quán)限。
若數(shù)據(jù)源的默認(rèn)訪問身份設(shè)置為阿里云主賬號(hào)、阿里云RAM角色(非操作角色)、阿里云RAM子賬號(hào)(非操作賬號(hào)),則當(dāng)前操作賬號(hào)需具備
AdministratorAccess
權(quán)限。
Hologres側(cè)權(quán)限配置。
在數(shù)據(jù)源創(chuàng)建完成后,需要使用數(shù)據(jù)源配置的訪問身份來訪問對(duì)應(yīng)的Hologres實(shí)例,因此,您需確保訪問身份對(duì)應(yīng)的阿里云賬號(hào)有Hologres實(shí)例的操作權(quán)限。Hologres權(quán)限說明詳情級(jí)授權(quán)指導(dǎo)請(qǐng)參見Hologres權(quán)限模型概述。
跨阿里云賬號(hào)創(chuàng)建Hologres數(shù)據(jù)源時(shí),僅支持通過RAM角色訪問的方式訪問對(duì)應(yīng)的Hologres實(shí)例,且需要對(duì)對(duì)應(yīng)的RAM角色配置以下權(quán)限策略。
跨賬號(hào)創(chuàng)建數(shù)據(jù)源場(chǎng)景示例:
本文示例使用主賬號(hào)A登錄DataWorks,通過主賬號(hào)B的Hologres實(shí)例創(chuàng)建Hologres數(shù)據(jù)源,實(shí)現(xiàn)數(shù)據(jù)源的跨賬號(hào)創(chuàng)建。
主賬號(hào)A:開通了DataWorks,需訪問主賬號(hào)B下的Hologres。
主賬號(hào)B:已開通Hologres實(shí)例并創(chuàng)建了Hologres數(shù)據(jù)庫(kù)。
賬號(hào)B的RAM角色要求及權(quán)限配置
賬號(hào)B需創(chuàng)建一個(gè)RAM角色并授權(quán)該角色可訪問指定Hologres實(shí)例。同時(shí),RAM角色需添加賬號(hào)A為信任的云賬號(hào),即允許賬號(hào)A使用此RAM角色。詳情請(qǐng)參見RAM角色授權(quán)模式。
修改RAM角色的權(quán)限策略,授權(quán)給賬號(hào)A,后續(xù)賬號(hào)A可使用此RAM角色來訪問Hologres。詳情請(qǐng)參見修改RAM角色的信任策略。
策略內(nèi)容如下。
{ "Version": "1", "Statement": [ { "Action": [ "sts:AssumeRole", "hologram:GetInstance", "hologram:ListInstances", "hologram:ListWarehouses" ], "Effect": "Allow", "Principal": { "Service": [ "賬號(hào)A的阿里云賬號(hào)ID@engine.dataworks.aliyuncs.com" ] } } ] }
創(chuàng)建數(shù)據(jù)源
進(jìn)入數(shù)據(jù)源頁(yè)面。
登錄DataWorks控制臺(tái),切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入管理中心。
進(jìn)入工作空間管理中心頁(yè)面后,單擊左側(cè)導(dǎo)航欄的
,進(jìn)入數(shù)據(jù)源頁(yè)面。
單擊新增數(shù)據(jù)源,選擇Hologres。在數(shù)據(jù)源配置頁(yè)面中配置數(shù)據(jù)源參數(shù)。
配置基礎(chǔ)信息。
您可根據(jù)界面提示配置數(shù)據(jù)源的名稱等基礎(chǔ)信息,核心配置參數(shù)如下表所示。
說明標(biāo)準(zhǔn)模式工作空間,需分別創(chuàng)建開發(fā)環(huán)境數(shù)據(jù)源和生產(chǎn)環(huán)境數(shù)據(jù)源。工作空間模式,詳情請(qǐng)參見必讀:簡(jiǎn)單模式和標(biāo)準(zhǔn)模式的區(qū)別。
參數(shù)
說明
數(shù)據(jù)源名稱
定義數(shù)據(jù)源在DataWorks的名稱,名稱必須唯一。
認(rèn)證方式
新建數(shù)據(jù)源時(shí)無(wú)需配置,默認(rèn)支持通過阿里云賬號(hào)及阿里云RAM角色身份進(jìn)行認(rèn)證。
說明歷史創(chuàng)建的存量數(shù)據(jù)源支持使用AccessID及AccessKey的認(rèn)證方式,這類數(shù)據(jù)源建議后續(xù)修改認(rèn)證方式為阿里云賬號(hào)及阿里云RAM角色。
所屬云賬號(hào)
指定當(dāng)前創(chuàng)建的數(shù)據(jù)源對(duì)應(yīng)的Hologres實(shí)例屬于當(dāng)前阿里云主賬號(hào)還是其他阿里云主賬號(hào)。
當(dāng)前阿里云主賬號(hào):添加當(dāng)前阿里云主賬號(hào)下的Hologres實(shí)例作為當(dāng)前工作空間的數(shù)據(jù)源。
其他阿里云主賬號(hào):添加其他阿里云主賬號(hào)下的Hologres實(shí)例作為當(dāng)前工作空間的數(shù)據(jù)源。
說明此方式即可實(shí)現(xiàn)跨賬號(hào)創(chuàng)建數(shù)據(jù)源,數(shù)據(jù)源創(chuàng)建完成后僅支持通過RAM角色訪問的方式執(zhí)行。
地域
Hologres實(shí)例所在地域。
說明若選擇的地域與當(dāng)前工作空間地域不一致,則創(chuàng)建數(shù)據(jù)源后,此類數(shù)據(jù)源無(wú)法在DataWorks的數(shù)據(jù)開發(fā)(DataStudio)模塊綁定,即不支持在數(shù)據(jù)開發(fā)(DataStudio)、運(yùn)維中心使用,僅可用于數(shù)據(jù)集成模塊進(jìn)行數(shù)據(jù)同步。
Hologres實(shí)例及訪問身份配置
所屬云賬戶不同時(shí),Hologres實(shí)例及訪問身份的配置參數(shù)不同。
所屬賬號(hào):當(dāng)前阿里云主賬號(hào)
Hologres實(shí)例、數(shù)據(jù)庫(kù)名稱:在下拉框中選擇待添加為數(shù)據(jù)源的Hologres實(shí)例,并填寫已創(chuàng)建的Hologres數(shù)據(jù)庫(kù)名稱。您可以登錄Hologres控制臺(tái),在實(shí)例列表頁(yè)面進(jìn)入實(shí)例詳情頁(yè),查看對(duì)應(yīng)信息。
默認(rèn)訪問身份:用于指定后續(xù)使用什么賬號(hào)訪問Hologres。
開發(fā)環(huán)境:默認(rèn)使用當(dāng)前的執(zhí)行者(即當(dāng)前的登錄賬號(hào))訪問Hologres。
例如在數(shù)據(jù)開發(fā)頁(yè)面中創(chuàng)建并調(diào)試Hologres引擎任務(wù)時(shí),即使用當(dāng)前登錄數(shù)據(jù)開發(fā)頁(yè)面的阿里云賬號(hào)訪問對(duì)應(yīng)的Hologres。
生產(chǎn)環(huán)境:您可以在下拉框中選擇使用主賬號(hào)或RAM賬號(hào)/RAM角色訪問Hologres。
說明RAM角色相關(guān)操作請(qǐng)參見(進(jìn)階)RAM角色登錄并使用DataWorks。
下拉框中可選的訪問身份類型與當(dāng)前操作創(chuàng)建Hologres數(shù)據(jù)源的賬號(hào)有關(guān),詳情可見界面提示。
例如在運(yùn)維中心周期性調(diào)度Hologres任務(wù)時(shí),即使用此處配置的訪問身份訪問對(duì)應(yīng)的Hologres。
所屬賬號(hào):其他阿里云主賬號(hào)
說明此場(chǎng)景為創(chuàng)建跨賬號(hào)的Hologres實(shí)例為數(shù)據(jù)源,數(shù)據(jù)源創(chuàng)建完成后,僅支持通過RAM角色的方式訪問對(duì)應(yīng)Hologres。并且該類數(shù)據(jù)源不能用于數(shù)據(jù)開發(fā)和調(diào)度。
對(duì)方阿里云主賬號(hào)UID、對(duì)方RAM角色:填寫跨賬號(hào)的阿里云賬號(hào)UID和RAM角色。后續(xù)即使用此阿里云賬號(hào)下的RAM角色訪問對(duì)應(yīng)Hologres。
對(duì)方Hologres實(shí)例、對(duì)方數(shù)據(jù)庫(kù)名稱:填寫已創(chuàng)建的Hologres實(shí)例ID、Hologres數(shù)據(jù)庫(kù)名稱。您可以登錄Hologres控制臺(tái),在實(shí)例列表頁(yè)面進(jìn)入實(shí)例詳情頁(yè),查看對(duì)應(yīng)信息。
認(rèn)證選項(xiàng)與SSL加密模式
選擇訪問Hologres實(shí)例時(shí),是否需要加密傳輸。
若認(rèn)證選項(xiàng)選擇SSL認(rèn)證,則需先確保對(duì)應(yīng)Hologres實(shí)例已開啟傳輸加密,否則后續(xù)連接訪問Hologres實(shí)例會(huì)報(bào)錯(cuò)。
重要開啟SSL認(rèn)證的數(shù)據(jù)源無(wú)法用于數(shù)據(jù)開發(fā)和調(diào)度。
測(cè)試資源組連通性。
根據(jù)使用場(chǎng)景不同,資源組分為數(shù)據(jù)集成(用于數(shù)據(jù)同步)、數(shù)據(jù)調(diào)度(用于任務(wù)調(diào)度)、數(shù)據(jù)服務(wù)(用于數(shù)據(jù)服務(wù)任務(wù))這些類型。各類資源組的詳細(xì)介紹請(qǐng)參見DataWorks資源組概述。
您需根據(jù)數(shù)據(jù)源后續(xù)的用途,在對(duì)應(yīng)資源組類型頁(yè)簽下,測(cè)試所需資源組的連通性。若資源組與數(shù)據(jù)源無(wú)法連通,則相應(yīng)數(shù)據(jù)源任務(wù)將無(wú)法正常執(zhí)行。
后續(xù)操作
為保障您的開發(fā)過程更加順暢,建議先閱讀DataWorks On Hologres使用說明,了解在DataWorks使用Hologres的開發(fā)流程、相關(guān)費(fèi)用、環(huán)境準(zhǔn)備、權(quán)限控制等內(nèi)容。
數(shù)據(jù)源創(chuàng)建完成后,您可根據(jù)需要執(zhí)行如下操作:
DataWorks的數(shù)據(jù)開發(fā)與運(yùn)維中心模塊,為您提供Hologres任務(wù)的開發(fā)與調(diào)度能力,若您需要基于該Hologres數(shù)據(jù)源進(jìn)行Hologres任務(wù)開發(fā),或周期性調(diào)度Hologres相關(guān)任務(wù),需先進(jìn)入數(shù)據(jù)開發(fā)(DataStudio)頁(yè)面,將創(chuàng)建的數(shù)據(jù)源綁定至數(shù)據(jù)開發(fā)(DataStudio)。
說明僅當(dāng)Hologres實(shí)例和DataWorks工作空間同地域、同賬號(hào)時(shí),基于該項(xiàng)目創(chuàng)建的數(shù)據(jù)源才可綁定至數(shù)據(jù)開發(fā)(DataStudio)。
DataWorks的數(shù)據(jù)集成模塊為您提供讀取和寫入數(shù)據(jù)至Hologres的能力,您可將其他數(shù)據(jù)源的數(shù)據(jù)同步至當(dāng)前Hologres數(shù)據(jù)源,或?qū)?dāng)前Hologres數(shù)據(jù)源的數(shù)據(jù)同步至其他數(shù)據(jù)源。同時(shí),可根據(jù)需要選擇離線同步、實(shí)時(shí)同步、同步解決方案等場(chǎng)景執(zhí)行相關(guān)數(shù)據(jù)同步操作。
增刪改查數(shù)據(jù)源:進(jìn)入數(shù)據(jù)源管理頁(yè)面執(zhí)行編輯、刪除等管理操作。