本文匯總使用實時計算Flink版過程中涉及的基本概念,方便您查詢和了解相關概念。
層次結構
您可以了解實時計算Flink版產品基本概念的層次結構,為后期作業(yè)開發(fā)、作業(yè)部署、作業(yè)運維和安全管理等操作提供思路。實時計算Flink版產品基本概念的層次結構如下圖所示。
概念說明
基本概念 | 說明 | 相關文檔 |
工作空間(Workspace) | 工作空間是實時計算Flink版管理項目空間的基本單元,每個工作空間的計算資源隔離,開發(fā)控制臺相互獨立。 | |
項目空間(Namespace) | 項目空間是實時計算Flink版管理作業(yè)的基本單元,您的所有配置、作業(yè)、權限均在單個項目空間下進行。您可以創(chuàng)建多個項目空間,為每個項目空間分配單獨的資源和權限,實現多租戶通過項目空間進行資源和權限的完全隔離。 | |
資源(Resource) | 實時計算Flink版的基本計量單位為Compute Unit(CU),即計算資源,1 CU=1核CPU+4 GiB內存+20 GB本地存儲(放置日志、系統(tǒng)檢查點等信息)。 CU對應實時計算底層系統(tǒng)的CPU計算能力。1個實時計算作業(yè)的CU使用量取決于此Job輸入數據流的QPS、計算復雜程度,以及具體的輸入數據分布情況。您可以根據業(yè)務規(guī)模以及實時計算的計算能力,估算所需購買的資源數量。 | |
草稿(Draft) | 您在實時計算Flink版SQL開發(fā)界面中創(chuàng)建的SQL作業(yè)稱為草稿。該概念只適用于通過實時計算控制臺方式進行作業(yè)開發(fā),不適用于SDK方式。 | |
部署(Deployment) | 為了避免修改草稿中的內容會影響到線上正在運行的作業(yè),提出了部署(Deployment)概念,目的是將開發(fā)和生產隔離,SQL開發(fā)中的作業(yè)草稿、上傳的JAR和Python包都可以成為部署。通過部署使草稿變?yōu)榫€上作業(yè),具有確定的流批屬性。該概念只適用于通過實時計算控制臺和SDK方式進行的作業(yè)開發(fā)。 | |
作業(yè)實例(Job) | 線上運行的一個作業(yè)實例,由部署生成,具有確定的流批屬性。 | 無 |
連接器(Connector) | 實時計算Flink版內置了豐富的連接器用于多種上下游的數據讀寫與同步,并支持上傳和使用自定義連接器。 | |
函數(Function) | 實時計算Flink版提供函數功能,包括內置函數和自定義函數。 | |
元數據(Catalog) | 數據處理最關鍵的方面之一是管理元數據,實時計算Flink版的元數據提供了元數據信息,例如數據庫、表、字段、分區(qū)以及數據庫或其他外部系統(tǒng)中存儲的信息。 | |
角色(Role) | 角色是實時計算Flink版安全功能中的概念,可以理解為擁有相同權限的用戶的集合。多個用戶可以同時存在于一個角色下,一個用戶也可以隸屬于多個角色。給角色授權后,該角色下的所有用戶擁有相同的權限。 | |
成員(User) | 成員是實時計算Flink版安全功能中的概念,支持將阿里云賬號和RAM用戶添加為成員。非實時計算Flink項目所有者的成員必須被加入實時計算Flink項目中,且被授予相應的權限,才能操作實時計算Flink項目中的數據、作業(yè)、資源及函數。 | |
資源隊列 | 通過將作業(yè)部署到指定隊列,進行資源隔離和管理。 |