啟動Spark SQL引擎。
接口說明
- 地域的公網接入地址：
adb.<region-id>.aliyuncs.com。示例：adb.cn-hangzhou.aliyuncs.com。 - 地域的 VPC 接入地址：
adb-vpc.<region-id>.aliyuncs.com。示例：adb-vpc.cn-hangzhou.aliyuncs.com。
說明
如果華北 1（青島）、華南 1（深圳）、華南 3（廣州）、中國香港發起請求時，遇到 409 錯誤，請聯系技術支持。
調試
您可以在OpenAPI Explorer中直接運行該接口，免去您計算簽名的困擾。運行成功后，OpenAPI Explorer可以自動生成SDK代碼示例。
授權信息
下表是API對應的授權信息，可以在RAM權限策略語句的Action元素中使用，用來給RAM用戶或RAM角色授予調用此API的權限。具體說明如下：
- 操作：是指具體的權限點。
- 訪問級別：是指每個操作的訪問級別，取值為寫入（Write）、讀取（Read）或列出（List）。
- 資源類型：是指操作中支持授權的資源類型。具體說明如下：
- 對于必選的資源類型，用背景高亮的方式表示。
- 對于不支持資源級授權的操作，用
全部資源表示。
- 條件關鍵字：是指云產品自身定義的條件關鍵字。
- 關聯操作：是指成功執行操作所需要的其他權限。操作者必須同時具備關聯操作的權限，操作才能成功。
| 操作 | 訪問級別 | 資源類型 | 條件關鍵字 | 關聯操作 |
|---|---|---|---|---|
| adb:StartSparkEngine | create | *全部資源 * |
| 無 |
請求參數
| 名稱 | 類型 | 必填 | 描述 | 示例值 |
|---|---|---|---|---|
| DBClusterId | string | 是 | 集群 ID。 | amv-abcd**** |
| ResourceGroupName | string | 是 | 資源組名稱。 | spark-rg-name |
| MinExecutor | long | 否 | 執行 SQL 時拉起的最小 Exectuor 數量，配置為 0 意味著當不需要執行 SQL 時不會常駐 Exectuor。取值范圍為 0 到 2000，當配置數量超過資源組承載總量時會導致服務啟動失敗。此處配置值必須小于 MaxExecutor 的配置值。 | 1 |
| MaxExecutor | long | 否 | 執行 SQL 時啟動的最大的 Exector 數量。取值范圍為 1 到 2000，當配置數量超過資源組承載總量時會導致服務啟動失敗。 | 10 |
| Jars | string | 否 | 啟動 SQL 引擎時需要引入的第三方 JAR 包列表，以逗號分隔的 JAR 包所在的 OSS 地址。 | oss://testBuckname/test.jar,oss://testBuckname/test2.jar |
| SlotNum | long | 否 | 最大槽位數，即最多可以維持多少個 Spark Session 來執行 SQL。取值范圍為 1 到 500。 | 100 |
| Config | string | 否 | 啟動 Spark SQL Engine 的具體配置，以一個 JSON 來描述 KEY-VALUE 型配置信息。詳情請參見Spark Conf 配置。 | { "spark.shuffle.timeout": ":0s" } |
返回參數
示例
正常返回示例
JSON格式
{
"RequestId": "D65A809F-34CE-4550-9BC1-0ED21ETG380",
"Data": {
"AppId": "s202301xxxx",
"State": "SUBMITTED",
"AppName": "SQLEngine1"
}
}錯誤碼
| HTTP status code | 錯誤碼 | 錯誤信息 | 描述 |
|---|---|---|---|
| 400 | Spark.InvalidParameter | Invalid parameter value: %s | 輸入參數不正確: %s。 |
| 400 | Spark.App.ExceedQuotaLimitation | The requested resource exceeds the maximum limit: %s | - |
| 400 | Spark.App.InvalidAppTypeWhenSubmit | The specified AppType is INVALID or NULL. Please refer to the documentation to correct the parameters for %s. | AppType類型不合法，請參考使用文檔指定適合業務的AppType，請關注配置類型：%s。 |
| 400 | Spark.App.InvalidResourceSpec | The requested resource type is not supported:\n %s | - |
| 400 | Spark.App.ParameterConflict | Conflicting parameters submitted:\n %s | - |
| 400 | Spark.App.ResourceNegativeError | The requested resource MUST be positive: %s | - |
| 400 | Spark.Config.InvalidAppFilePath | The main driver file MUST be a valid OSS path. Current is %s. | 主驅動文件地址必須是合法的OSS地址，當前的地址是 %s。 |
| 400 | Spark.Config.invalidConnectors | The spark.adb.connectors configuration is invalid: %s | spark.adb.connectors配置不正確。 |
| 400 | Spark.Config.InvalidDiskConfig | The requested disk mount parameter is invalid: %s | 磁盤掛載配置錯誤。 |
| 400 | Spark.Config.InvalidHostAliasConfig | The requested host alias parameter %s is invalid. Example: 127.0.0.1 localhost local | 域名映射配置錯誤。 |
| 400 | Spark.Config.InvalidLogOssPath | The OSS address for log storage is illegal: %s | 存儲日志的OSS地址非法。 |
| 400 | Spark.Config.InvalidRoleArnFormat | Configure RoleARN %s invalid format. It should match acs:ram::uid_number:role/role_name | 配置的RoleARN格式錯誤。 |
| 400 | Spark.Config.InvalidTimeZone | Unable to parse time zone configuration %s : %s | 時區配置錯誤。 |
| 400 | Spark.Config.MainAppFileNotExists | The main driver file is missing, [file] or [sqls] must be configured. | 主驅動文件缺失，必須保證file或者sqls配置不為空。 |
| 400 | Spark.Config.OSSPathAccessError | The configured OSS address %s cannot be accessed. | 配置的OSS路徑無法訪問。 |
| 400 | Spark.Config.OSSPathNotExists | The OSS address %s requested does not exist or the permissions are insufficient. | OSS路徑不存在或當前用戶無權限訪問。 |
| 400 | Spark.Config.RoleArnVerifyFailed | RoleARN parameter verification failed. Error msg: %s when verify RoleArn %s | RoleARN參數校驗失敗。 |
| 400 | Spark.Config.SecurityGroupNotFound | The security group in the configuration does not exist or cannot be accessed. %s. | 配置的資源組不存在或者因權限不足無法訪問。%s。 |
| 400 | Spark.Config.VswitchNotFound | The vswitch in the configuration does not exist or cannot be accessed. %s. | 無法找到配置虛擬機交換機，或當前賬號權限不足。%s。 |
| 400 | Spark.InvalidState | The object of the operation is in an invalid state: %s | 操作對象處于非合法狀態。 |
| 400 | Spark.Log.InvalidState | Failed to obtain the logs of the Spark job %s in the %s state. | 無法獲取指定Spark作業的日志。 |
| 403 | Spark.Forbidden | No permissions to access the resources: %s | 權限不足，拒絕訪問相關資源。您當前申請訪問的信息是：%s。 |
| 404 | Spark.App.ContentNotFound | The requested content %s of the Spark application is not found. | 找不到指定Spark作業的提交內容。 |
| 404 | Spark.App.NotFound | The Spark application %s is not found. | 未能找到輸入的 Spark App。 |
| 404 | Spark.ObjectNotFound | The object is not found. More information: %s | 操作對象不存在。關聯信息：%s。 |
| 500 | Spark.ServerError | The Spark control component system encountered an error, please create a ticket to solve the problem or concat the supported engineer on duty. Error message: %s | Spark管控組件系統遇到錯誤，請提交工單，或聯系值班工程師。 |
訪問錯誤中心查看更多錯誤碼。
變更歷史
| 變更時間 | 變更內容概要 | 操作 |
|---|---|---|
| 2023-07-27 | OpenAPI 錯誤碼發生變更 | 查看變更詳情 |
| 2023-06-28 | OpenAPI 錯誤碼發生變更 | 查看變更詳情 |