使用公共資源組
開(kāi)通DataWorks時(shí)，DataWorks自動(dòng)為您提供公共資源組（包括公共調(diào)度資源組、公共數(shù)據(jù)服務(wù)資源組），可用于數(shù)據(jù)開(kāi)發(fā)、運(yùn)行測(cè)試等操作。公共資源組被多個(gè)租戶共享，高峰期租戶間可能會(huì)存在搶占資源的情況。本文為您介紹公共資源組的概要信息。
適用場(chǎng)景
公共資源組建議在任務(wù)量相對(duì)較少、對(duì)任務(wù)時(shí)效性要求不高的場(chǎng)景下使用。
使用限制
公共資源組由多個(gè)租戶共享，在高峰期無(wú)法保證穩(wěn)定的資源分配。
公共調(diào)度資源組最多支持40個(gè)調(diào)度任務(wù)同時(shí)運(yùn)行，但在任務(wù)執(zhí)行高峰期（通常為00：00~09：00）會(huì)存在資源搶占情況，公共調(diào)度資源組的并發(fā)任務(wù)數(shù)可能會(huì)小于該數(shù)值。
公共數(shù)據(jù)服務(wù)資源組無(wú)法滿足高頻率、高并發(fā)的調(diào)用。
如果您希望保障任務(wù)運(yùn)行資源獨(dú)立且充足，建議開(kāi)通使用獨(dú)享資源組，具體如下表。
資源組類型 | 描述 | 參考鏈接 |
獨(dú)享調(diào)度資源組 | 在任務(wù)高并發(fā)執(zhí)行且無(wú)法錯(cuò)峰運(yùn)行的情況下，需要專有的計(jì)算資源來(lái)保障任務(wù)定時(shí)被調(diào)度運(yùn)行時(shí)，建議使用DataWorks的獨(dú)享調(diào)度資源組。 | |
獨(dú)享數(shù)據(jù)集成資源組 | 在數(shù)據(jù)集成任務(wù)高并發(fā)執(zhí)行且無(wú)法錯(cuò)峰運(yùn)行的情況下，企業(yè)需要專有的計(jì)算資源組來(lái)保障數(shù)據(jù)快速、穩(wěn)定地傳輸時(shí)，建議使用DataWorks的獨(dú)享數(shù)據(jù)集成資源組。 | |
獨(dú)享數(shù)據(jù)服務(wù)資源組 | 在調(diào)用數(shù)據(jù)服務(wù)API需要高QPS和SLA保障的情況下，企業(yè)需要保障調(diào)用成功。同時(shí)，滿足高并發(fā)、高頻率的接口調(diào)用并及時(shí)返回結(jié)果數(shù)據(jù)時(shí)，建議使用DataWorks的獨(dú)享數(shù)據(jù)服務(wù)資源。 |
計(jì)費(fèi)與相關(guān)操作
（1）計(jì)費(fèi)說(shuō)明
購(gòu)買(mǎi)DataWorks后，DataWorks會(huì)為您提供公共資源組，無(wú)需您單獨(dú)購(gòu)買(mǎi)。
根據(jù)公共資源組實(shí)例費(fèi)用、同步進(jìn)程費(fèi)用等計(jì)費(fèi)項(xiàng)收費(fèi)。公共資源組開(kāi)通時(shí)支持按量付費(fèi)的計(jì)費(fèi)模式，計(jì)費(fèi)詳情可參見(jiàn)：
（2）扣費(fèi)與欠費(fèi)說(shuō)明
DataWorks針對(duì)不同類型公共資源組的扣費(fèi)及欠費(fèi)處理情況存在差異，詳情請(qǐng)參見(jiàn)扣費(fèi)與欠費(fèi)說(shuō)明。
使用公共資源組
了解上述公共資源組的適用場(chǎng)景及計(jì)費(fèi)詳情后，您可以在數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)等任務(wù)中選擇合適類型的資源組使用。
公共資源組是一個(gè)公共資源池，不保證任務(wù)可以及時(shí)得到資源并被調(diào)度執(zhí)行。如果您需要任務(wù)得到高保證的運(yùn)行，請(qǐng)使用獨(dú)享資源組，詳情請(qǐng)參見(jiàn)新增和使用獨(dú)享數(shù)據(jù)集成資源組、新增和使用獨(dú)享調(diào)度資源組。
打通網(wǎng)絡(luò)時(shí)，如果您需要公共資源組機(jī)器的相應(yīng)信息，請(qǐng)參見(jiàn)附錄：ECS自建數(shù)據(jù)庫(kù)的安全組配置和添加白名單。
在保證其它任務(wù)沒(méi)有使用公共資源組的前提下，一個(gè)數(shù)據(jù)集成任務(wù)的公共資源組最多支持5個(gè)并發(fā)。在實(shí)際執(zhí)行任務(wù)時(shí)，資源可能會(huì)被其它任務(wù)搶占，所以最大并發(fā)數(shù)未必達(dá)到5個(gè)并發(fā)，并發(fā)數(shù)以實(shí)際運(yùn)行情況為準(zhǔn)。
公共資源組不支持調(diào)整內(nèi)存大小，您可以調(diào)整并發(fā)數(shù)。
內(nèi)存的計(jì)算方式為：
并發(fā)數(shù)*512MB。
網(wǎng)絡(luò)連通方案
DataWorks資源組本質(zhì)上為一組阿里云ECS實(shí)例，在運(yùn)行數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)等任務(wù)時(shí)，需保障資源組與數(shù)據(jù)源之間的網(wǎng)絡(luò)是連通的，且不會(huì)因?yàn)榘酌麊蔚忍厥獍踩L問(wèn)設(shè)置阻斷資源組與數(shù)據(jù)源之間的網(wǎng)絡(luò)連通性。
網(wǎng)絡(luò)連通
公共資源組支持與阿里云內(nèi)部數(shù)據(jù)源之間的訪問(wèn)連通，數(shù)據(jù)源所處的網(wǎng)絡(luò)環(huán)境及其連通性支持情況如下。
公共調(diào)度資源組
若要訪問(wèn)公網(wǎng)地址，需要在工作空間配置界面配置沙箱白名單，配置沙箱白名單后仍無(wú)法訪問(wèn)，請(qǐng)使用獨(dú)享調(diào)度資源組。
僅支持訪問(wèn)無(wú)白名單訪問(wèn)控制的地址。訪問(wèn)有白名單訪問(wèn)控制的地址，或訪問(wèn)VPC地址，需要使用獨(dú)享調(diào)度資源組。
說(shuō)明建議所有訪問(wèn)外部地址的場(chǎng)景，均使用獨(dú)享調(diào)度資源組。使用獨(dú)享調(diào)度資源組，詳情請(qǐng)參見(jiàn)獨(dú)享調(diào)度資源組。
公共數(shù)據(jù)服務(wù)資源組
數(shù)據(jù)源所處的網(wǎng)絡(luò)環(huán)境與資源組的連通性支持情況如下。
數(shù)據(jù)源網(wǎng)絡(luò)環(huán)境
是否支持訪問(wèn)
數(shù)據(jù)源處于公網(wǎng)環(huán)境
支持
數(shù)據(jù)源處于經(jīng)典網(wǎng)絡(luò)
支持
數(shù)據(jù)源處于VPC網(wǎng)絡(luò)
不支持
白名單設(shè)置
公共調(diào)度資源組為您提供任務(wù)安全沙箱功能，限制未知IP訪問(wèn)資源組。如果您的業(yè)務(wù)場(chǎng)景涉及訪問(wèn)資源組，需要將訪問(wèn)資源組的IP添加至安全沙箱白名單中。詳細(xì)操作請(qǐng)參見(jiàn)安全設(shè)置。