PAI新增了Flink全托管資源,您可以購買Flink全托管資源,并關聯到工作空間,用于PAI大規模分布式模型訓練。本文為您介紹如何開通購買Flink全托管資源以及如何使用該資源進行模型訓練。
Flink全托管資源
阿里云實時計算Flink版是阿里云基于Apache Flink構建的一站式實時大數據分析平臺,提供端到端亞秒級實時數據分析能力,有關Flink全托管資源的詳細信息請參見Flink全托管資源概述。
前提條件
在開始執行操作之前,請確認您已經完成以下準備工作:
購買Flink全托管資源需要使用阿里云賬號。如果您還沒有阿里云賬號,請先完成注冊,詳情請參見阿里云賬號注冊。
操作賬號和權限要求
購買Flink全托管資源
登錄PAI控制臺
在左側導航欄單擊 ,在資源配額頁面中單擊Flink全托管資源。
可選:在Flink全托管資源頁面中,單擊去開通。
說明如果您首次使用Flink全托管資源,則需要執行該操作步驟,并參考開通實時計算Flink版購買Flink全托管資源。
如果您想購買更多Flink全托管資源,可以執行后續操作步驟。
在Flink全托管頁面中,單擊資源管理。
在實時計算控制臺頁面,單擊立即購買,關于如何購買Flink全托管資源,詳情請參見開通實時計算Flink版。
購買成功后,在Flink全托管資源頁面中,您可以看到購買成功的Flink全托管資源以及其他關鍵信息。
關聯Flink全托管資源到工作空間
如果您需要在PAI中使用Flink全托管資源進行計算,您可以通過以下兩種方式將已購買的Flink全托管資源關聯到工作空間。
創建工作空間時,新增關聯資源組。關于如何關聯資源組,詳情請參見創建工作空間。
在已經創建完成的工作空間中添加Flink計算資源,具體操作如下所示。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表。在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間。
在工作空間詳情頁面右側,單擊資源管理,并按照界面操作指引關聯Flink全托管資源。具體操作,請參見管理工作空間計算資源。
在Designer中使用Flink全托管資源進行模型訓練
進入關聯了Flink全托管資源的工作空間,并在Designer頁面創建空白工作流,詳情請參見新建自定義工作流。
在畫布中拖入支持在Flink全托管資源上運行的組件,包括:
Alink框架的所有組件(不包括Beta組件),組件上有紫色標識。
自定義算法組件(PyAlink腳本)。
在畫布右側工作流屬性頁簽,從Alink/FlinkML算法默認執行資源列表中選擇Flink。
重要如果Alink組件成組執行,您需要同時將Alink組執行資源類型切換到Flink,否則,執行的資源類型為Alink組的默認資源類型。關于如何設置Alink組資源類型,詳情請參見高級功能:Alink組件成組執行。
運行組件,支持以下幾種方式:
單獨運行依賴Flink全托管資源的組件,以運行PyAlink腳本組件為例,詳情請參見PyAlink腳本。
依賴Flink全托管資源的組件和依賴其他資源類型的組件串聯使用。以基于Alink框架的FM推薦為例,FM訓練和FM預測組件依賴Flink全托管資源,二分類評估組件依賴MaxCompute計算資源。
批量運行依賴Flink全托管資源的組件,詳情請參見高級功能:Alink組件成組執行。
組件運行完成后,右鍵單擊工作流中的組件,在快捷菜單中,單擊查看日志。
您也可以在日志框中單擊vvp日志鏈接,查看更詳細的計算信息。