批量任務編排概述
在批量數據處理、機器學習Pipeline、基礎設施自動化、CI/CD等場景中，傳統的批量任務編排、流程式編排等系統并不能很好地應對日益復雜的任務編排場景，也無法支撐自動化拓展需求。阿里云提供了兼容云原生工作流引擎Argo Workflows的組件，幫助您降低批量任務的編排復雜度。
Argo Workflows介紹
Argo Workflows是一個強大的云原生工作流引擎，專門用于在Kubernetes中定義、管理和調度復雜的工作流。工作流可以包含多個任務，任務之間可以存在依賴關系，這種靈活性降低了任務配置的復雜度。
使用場景
Argo Workflows可支持批量數據處理、機器學習Pipeline、基礎設施自動化、CI/CD等場景，廣泛應用于自動駕駛、科學計算、金融量化、數字媒體等行業。
批量數據處理：典型應用場景包括大規模高精地圖處理、金融量化回測仿真、并行音視頻處理、動畫渲染等。
科學計算：典型應用場景包括復雜科學計算模擬仿真、藥物研發訓練、基因測序、變異比對檢測、能源勘探等。
模擬仿真：典型應用場景包括自動駕駛算法仿真、分子動力學模擬、天文數據模擬仿真、金融建模等。
機器學習Pipeline：典型應用場景包括機器學習數據預處理、分布式訓練、大模型參數調優、模型評估部署等。
基礎設施自動化：典型應用場景包括云資源自動化管理、資源備份與恢復、節點池遷移、集群遷移升級等。
CI/CD：典型應用場景包括并行CI Pipeline、多階段構建和測試、跨云的應用部署、審批流程集成等。
Argo Workflows的優勢包括：
云原生：專為Kubernetes而設計，每個任務都是一個Pod，充分利用了容器的輕量級和靈活性。
輕量可擴展：輕量化，與傳統虛擬機（VM）相比，沒有額外的開銷和限制。借助Kubernetes的調度能力，可并行啟動數千個任務，提高處理效率。
靈活的編排能力：基于DAG和Step的靈活組合能夠支持定制任意復雜的工作流邏輯，并且借助強大的重試和緩存機制，提升工作流的運行成功率。
豐富的生態：支持編排各種類型任務，包括Spark、Ray、TensorFlow Job等。結合事件驅動，可以構建全自動化的任務處理平臺。
使用Argo Workflows
ACK Argo Workflows兼容社區Argo Workflows并在開源基礎上進行增強，您無需修改現有Argo工作流即可實現無縫遷移。ACK的Argo Workflows相比開源基礎之上有如下優勢：
高度彈性，自動擴展，優化計算成本。
可靠性高，多可用區負載均衡，調度可靠性高。
增強控制面，規模，性能、效率、穩定性、可觀測性大幅提升。
OSS存儲管理增強，支持大文件上傳、Artifacts GC、流式傳輸。
容器服務技術專家支持，幫助您的業務團隊優化工作流，有效提升運行性能、降低成本。
ACK Argo Workflows提供兩種使用方式，以滿足不同用戶的需求：
Serverless Argo Workflows：若您希望免運維，專注于業務流程編排，并且有大規模、高性能等需求，您需要構建單獨的工作流集群，詳細操作，請參見Serverless Argo Workflows。
Argo Workflows組件on ACK：若您已經擁有ACK集群，希望利用已有集群資源，可以使用Argo Workflows組件來編排自己的業務工作流。本文主要介紹Argo Workflows 組件在ACK集群上的使用。
安裝Argo Workflows組件后，您便可啟用批量任務編排能力。您可以通過阿里云Argo CLI或Argo控制臺提交和管理工作流。
不同角色的流程大體如下。
流程 | 說明 |
1、準備工作 |
|
2、搭建環境 |
具體操作，請參見啟用批量任務編排能力。 |
3、管理工作流 | （數據工程師）編排并行任務后，您可以通過Argo CLI或Argo控制臺進行任務的提交和管理。 |
（集群管理員）
|
計費說明
批量任務編排功能本身不收取費用。但除ACK常規計費外，使用批量任務編排時，Argo Server會自動創建一個按量計費的CLB實例，費用由CLB收取，請參見CLB產品計費。
聯系我們
若您有任何產品建議或疑問，請加入釘釘群（釘釘群號：35688562）聯系我們。