本文為您介紹如何提交Flink作業。
前提條件
已在E-MapReduce on ACK控制臺創建Flink集群,詳情請參見快速入門。
方式一:通過ACK控制臺提交作業
在EMR on ACK頁面,單擊目標集群所在行所屬ACK集群列的鏈接。
在容器組頁面,單擊右上角的使用YAML創建資源。
在創建頁面,從示例模板列表中,選擇自定義,模板內容請復制以下內容,然后單擊創建。
apiVersion: flink.apache.org/v1beta1 kind: FlinkDeployment metadata: name: basic-emr-example spec: flinkVersion: v1_13 flinkConfiguration: taskmanager.numberOfTaskSlots: "2" state.savepoints.dir: file:///flink-data/flink-savepoints state.checkpoints.dir: file:///flink-data/flink-checkpoints serviceAccount: flink podTemplate: spec: serviceAccount: flink containers: - name: flink-main-container volumeMounts: - mountPath: /flink-data name: flink-volume volumes: - name: flink-volume emptyDir: {} jobManager: replicas: 1 resource: memory: "2048m" cpu: 1 taskManager: resource: memory: "2048m" cpu: 1 job: jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar parallelism: 2 upgradeMode: stateless
說明本文以Flink 1.13版本為例,其他版本時請修改flinkVersion的配置,具體版本以控制臺為準。
方式二:通過kubectl工具提交作業
通過kubectl連接Kubernetes集群,詳情請參見獲取集群KubeConfig并通過kubectl工具連接集群。
您也可以通過API等方式連接Kubernetes集群,詳情請參見使用Kubernetes API。
新建basic-emr-example.yaml文件,文件內容如下。
apiVersion: flink.apache.org/v1beta1 kind: FlinkDeployment metadata: name: basic-emr-example spec: flinkVersion: v1_13 flinkConfiguration: taskmanager.numberOfTaskSlots: "2" state.savepoints.dir: file:///flink-data/flink-savepoints state.checkpoints.dir: file:///flink-data/flink-checkpoints serviceAccount: flink podTemplate: spec: serviceAccount: flink containers: - name: flink-main-container volumeMounts: - mountPath: /flink-data name: flink-volume volumes: - name: flink-volume emptyDir: {} jobManager: replicas: 1 resource: memory: "2048m" cpu: 1 taskManager: resource: memory: "2048m" cpu: 1 job: jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar parallelism: 2 upgradeMode: stateless
說明文件名您可以自定義,本文以basic-emr-example.yaml為例介紹。
本文以Flink 1.13版本為例,其他版本時請修改flinkVersion的配置。
執行以下命令,提交作業。
kubectl apply -f basic-emr-example.yaml -namespace <集群對應的namespace>
說明本文示例代碼中的
<集群對應的namespace>
,需要替換為集群的命名空間,您可以登錄E-MapReduce on ACK控制臺,在集群管理頁面查看。
文檔內容是否對您有幫助?