資源組說明
資源組分類
資源組是用于執行具體任務的服務,如接收調度引擎的指令執行SQL任務、數據同步任務,也包括按數據API的定義提供數據服務。按使用場景,資源組分為兩類:
系統資源組:由企業數據智能平臺提供,供所有用戶使用,對于QPS和并發有限制,適用于POC或測試場景。
自定義資源組:需要用戶掛載自有K8s,部署內置應用后注冊成資源組。可根據用戶需要自由組合,適用于高級用戶。
資源組功能
每種類型的資源組,按功能可分為幾類:
通用任務執行器:用于連接用戶的數據庫,獲取庫表元數據,執行SQL,也包括連接用戶計算引擎(Flink、Spark等),提交作業。
數據同步Worker:用于執行數據同步任務,包括離線同時、實時同步。
空間同步Worker:用于空間數據同步。
數據服務資源組:按數據API的定義,連接指定數據源,對外提供數據API。
自定義執行器:支持用戶按執行器規范,擴展自己的執行器。
系統資源組
系統資源可以在企業數據智能平臺 > 系統設置 > 資源組管理中查看,系統內置為“是”的表示系統資源組。用戶無須購買即可使用,但規格有限,只適用于測試或POC場景。使用限制如下:
系統資源組-通用任務執行器,支持的并發數為5,只支持普通SQL類任務,不支持MR、自定義腳本類任務。
系統資源組-數據同步Worker,支持并發數為1,單個離線同步任務支持的最大資源為1c1g,不支持實時同步。
自定義資源組
用戶可將自有K8s注冊到彈性計算中,按內置應用模板,部署后注冊成資源組。自定義資源組操作指南參見創建自定義資源組。
自定義資源組性能基線參考典型場景:小型數據團隊,資源配置4c8g,參考費用1000元/月。
數據同步資源占用2c4g,支持4個任務并發,數據同步速率參考值3M/秒,日均任務數量參考值50個。
說明實際任務執行數量取決于網絡速率、數據庫讀寫速度、數據量大小、任務調度周期等。
通用任務執行資源占比1c2g,支持10個SQL任務并發,日均任務量參考值10w次。
說明實際任務數量取決于數據庫SQL執行速度,任務調度周期等。
數據服務資源占比1c2g,支持100 QPS,日均調用次數可達800萬次。
說明日均調用次數取決于請求體大小、數據源端查詢速度。
資源組網絡拓撲
系統資源組部署在企業數據智能平臺VPC,需要使用公網地址連接用戶云資源(部分云資源支持VPC打通),即云資源注冊時需要填寫公網地址,云資源白名單需要添加企業數據智能平臺的公網出口IP。
獨享資源組部署在企業數據智能平臺VPC,通過彈性網卡(ENI)連接用戶云資源,該彈性網卡在用戶VPC中,地址為VPC的任一地址。通過公網地址連接用戶云資源,云資源白名單需要添加該ENI的IP。(一般建議添加VPC網段作為白名單。)
自定義資源部署在用戶VPC,可通過內網地址連接用戶云資源,云資源白名單需要添加服務所在節點的內網IP。(一般建議添加VPC網段作為白名單。)
資源組類型 | 支持云資源內網地址 | 用戶數據是否出VPC | 使用限制 |
系統資源組 | 否(部分資源支持VPC網絡打通) | 否 | 有 |
自定義資源組 | 是 | 是 | 無 |