本篇文章將詳細介紹DataWorks OpenAPI從初始化客戶端、創建業務流程以及節點發布上線,再到刪除節點和業務流程,幫助您快速上手使用DataWorks OpenAPI。
背景信息
DataWorks OpenAPI進行數據開發時,整體流程如下圖所示。
操作步驟
初始化客戶端。
public class IdePopApiTest { // 賬號信息 @Value("${aliyun.akId}") private String akId; @Value("${aliyun.akSecret}") private String akSecret ; // 例:cn-shanghai @Value("${aliyun.region}") private String region; // 例:dataworks.cn-shanghai.aliyuncs.com @Value("${aliyun.endpoint}") private String endpoint; private IAcsClient client; @Before public void init() throws ClientException { String product = "dataworks-public"; IClientProfile profile = DefaultProfile.getProfile(region, akId, akSecret); DefaultProfile.addEndpoint(region, product, endpoint); client = new DefaultAcsClient(profile); } }
創建業務流程。
public void createBusiness() throws ClientException { CreateBusinessRequest request = new CreateBusinessRequest(); //右上角小扳手里,工作空間ID request.setProjectId(78837L); //右上角小扳手里,工作空間名稱 request.setProjectIdentifier("zxy_8221431"); //新業務流程名,唯一值 request.setBusinessName("test_create_business"); //NORMAL(數據開發)、MANUAL_BIZ(手動業務流程) request.setUseType("NORMAL"); CreateBusinessResponse acsResponse = client.getAcsResponse(request); log.info(acsResponse.toString()); }
說明UpdateBusiness和DeleteBusiness可以修改和刪除業務流程,刪除業務流程是要保證指定的業務流程中所有的節點已經刪除。
ListBusiness可以查看指定工作空間下符合匹配條件的所有業務流程。
GetBusiness可以查看查詢業務流程的詳情。
創建文件夾。
public void createFloder() throws ClientException { CreateFolderRequest request = new CreateFolderRequest(); request.setProjectId(78837L); // 路徑:“業務流程/” + 目標業務流程名 + 目錄名 + 最新文件夾名 request.setFolderPath("業務流程/test_create_business/通用/test_floder_123"); CreateFolderResponse acsResponse = client.getAcsResponse(request); log.info(acsResponse.toString()); }
說明UpdateFolder可以修改文件夾的名稱,DeleteFolder刪除數據開發頁面的文件夾(要確保此文件夾下的節點已經全部刪除)。
創建、提交、發布節點。
創建節點。
public void createFile() throws ClientException{ CreateFileRequest request = new CreateFileRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); request.setFileName("test_vi_file_name2"); request.setFileDescription("Description"); request.setFileFolderPath("業務流程/test_create_business/通用/test_floder_123"); //節點類型。節點類型要符合目錄類型。例如:fileType=23的離線同步節點,應該在數據集成目錄下。 request.setFileType(99); // 文件依賴的上游文件的輸出,此處依賴根節點projectIdentifier_root。必填,不然無法提交。 request.setInputList("zxy_8221431_root"); // 對應ide頁面調度配置重跑類型。必填,不然無法提交。 //ALL_ALLOWED(運行成功或失敗后皆可重跑) //FAILURE_ALLOWED(運行成功后不可重跑,運行失敗后可以重跑) //ALL_DENIED(運行成功或失敗皆不可重跑) request.setRerunMode("ALL_ALLOWED"); CreateFileResponse acsResponse = client.getAcsResponse(request); // acsResponse.getData() 為節點id 提交節點時使用 Long fileId = acsResponse.getData(); log.info(acsResponse.toString()); }
說明節點類型要符合目錄類型。例如fileType=23的離線同步節點,應該在數據集成目錄下。
您可以通過ListFile查詢對應文件,GetFile獲取文件的詳情。
在調用UpdateFile更新已有的文件節點時,填寫的參數必須和該節點原本的文件配置不同。例如源節點的某參數值為A,則需要變更為B后再提交。如果仍填寫A,會報invalid異常。
提交節點。
public void submitFile() throws ClientException{ SubmitFileRequest request = new SubmitFileRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); // 此節點id為創建節點時返回的id,對應數據庫file表的file_id,不是數據開發頁面上調度配置里的節點Id。 request.setFileId(501576542L); request.setComment("備注"); SubmitFileResponse acsResponse = client.getAcsResponse(request); // 調用GetDeployment接口獲取本次發布的具體情況。 Long deploymentId = acsResponse.getData(); log.info(acsResponse.toString()); }
說明若項目空間是標準模式,則還需要發布節點到生產環境。在刪除節點時標準環境中要把刪除操作發布到生成環境,在提交節點或發布節點后可以調用GetDeployment獲取發布包的詳情。
發布節點。
public void deploy() throws ClientException{ DeployFileRequest request = new DeployFileRequest(); // request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); request.setFileId(501576542L); request.setComment("備注"); // 和file_id二選一。NodeId的值為數據開發頁面調度配置里基礎屬性中的節點Id。 request.setNodeId(700004537241L); DeployFileResponse acsResponse = client.getAcsResponse(request); // 調用GetDeployment接口,獲取本次發布的具體情況。 Long deploymentId = acsResponse.getData(); log.info(acsResponse.getData().toString()); }
說明如果項目空間是簡單模式,則不區分生產和開發環境,只需要調用提交接口即可。
獲取發布包詳情。
public void getDeployment() throws ClientException{ GetDeploymentRequest request = new GetDeploymentRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); //deploymentId為提交、發布的返回值。 request.setDeploymentId(2776067L); GetDeploymentResponse acsResponse = client.getAcsResponse(request); log.info(acsResponse.getData().toString()); }
說明在提交和發布時,Response會返回deploymentId,此接口可獲取發布包的詳情。當返回狀態為1時則表示發布成功,詳細返回參數定義參考GetDeployment。
刪除節點。
public void deleteFile() throws ClientException{ DeleteFileRequest request = new DeleteFileRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); request.setFileId(501576542L); DeleteFileResponse acsResponse = client.getAcsResponse(request); log.info(acsResponse.toString()); // 標準模式需要把刪除發布到線上。 DeployFileRequest deployFileRequest = new DeployFileRequest(); request.setProjectId(78837L); deployFileRequest.setProjectIdentifier("zxy_8221431"); deployFileRequest.setFileId(501576542L); deployFileRequest.setComment("備注"); // 和file_id二選一。nodeId 的值為數據開發頁面調度配置里基礎屬性中節點Id。 deployFileRequest.setNodeId(700004537241L); DeployFileResponse deployFileResponse = client.getAcsResponse(deployFileRequest); Long deploymentId = deployFileResponse.getData(); log.info(deployFileResponse.getData().toString()); }
說明在標準模式中刪除節點是需調用發布接口DeployFileRequest,將刪除操作發布到線上。
刪除文件夾。
刪除文件夾是要先刪除文件夾下所有節點和文件夾。ListFilesRequest可以查詢文件夾下的所有節點,逐個刪除后才能刪除文件夾。調用接口順序為如下。
ListFolders查詢要刪除的文件夾ID和對應的文件夾的路徑。
ListFiles查詢此文件夾路徑下所有的節點信息。
DeleteFile刪除所有節點。若為標準環境,還要調用deploy接口將刪除操作發布到線上。
DeleteFolder刪除文件夾。
public void deleteFolder() throws ClientException{ //刪除之前要先刪除此目錄下到所有節點。listFile查詢節點。 List<ListFilesResponse.Data.File> files = listFiles(); for (ListFilesResponse.Data.File file : files) { //刪除此文件夾下所有節點。 deleteFile(file); } DeleteFolderRequest request = new DeleteFolderRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); //調用listFolders獲取folderId。 request.setFolderId("*****"); DeleteFolderResponse acsResponse = client.getAcsResponse(request); log.info(acsResponse.toString()); } /** * 查詢節點 * @return * @throws ClientException */ public List<ListFilesResponse.Data.File> listFiles() throws ClientException{ ListFilesRequest request = new ListFilesRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); request.setPageNumber(1); request.setPageSize(10); request.setFileFolderPath("業務流程/test_create_business/通用/test_floder_123"); //關鍵字匹配。 //request.setKeyword(""); //文件所屬的功能模塊,包括NORMAL(數據開發)、MANUAL(手動任務)、MANUAL_BIZ(手動工作流)、SKIP(數據開發空跑調度)、ADHOCQUERY(臨時查詢)和COMPONENT(組件管理) request.setUseType("NORMAL"); //節點類型。多個用逗號分開。 request.setFileTypes("10,23,99"); ListFilesResponse acsResponse = client.getAcsResponse(request); return acsResponse.getData().getFiles(); } /** * 查詢文件夾 * @return * @throws ClientException */ public List<ListFoldersResponse.Data.FoldersItem> listFolders() throws ClientException{ ListFoldersRequest request = new ListFoldersRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); request.setPageNumber(1); request.setPageSize(10); //父文件夾的路徑。 request.setParentFolderPath("業務流程/test_create_business/通用"); ListFoldersResponse acsResponse = client.getAcsResponse(request); return acsResponse.getData().getFolders(); }
刪除業務流程。
刪除業務流程時也要刪除此業務流程下掉所有節點。調用接口順序為如下。
ListFiles 查詢業務流程下所有的節點信息。
DeleteFile刪除所有節點。若為標準環境,還要調用deploy接口將刪除操作發布到線上。
DeleteFolder刪除文件夾。
public void deleteBusiness() throws ClientException{ //要先刪除此業務流程下所有節點。 DeleteBusinessRequest request = new DeleteBusinessRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); //調用ListBusiness接口,根據名稱查詢對應業務流程的ID。 List<ListBusinessResponse.Data.BusinessItem> businessItems = listBusiness(); request.setBusinessId(businessItems.get(0).getBusinessId()); DeleteBusinessResponse acsResponse = client.getAcsResponse(request); log.info(acsResponse.toString()); } public List<ListBusinessResponse.Data.BusinessItem> listBusiness() throws ClientException{ ListBusinessRequest request = new ListBusinessRequest(); request.setProjectId(78837L); request.setProjectIdentifier("zxy_8221431"); request.setPageNumber(1); request.setPageSize(10); request.setKeyword("test_create"); ListBusinessResponse acsResponse = client.getAcsResponse(request); return acsResponse.getData().getBusiness(); }