以人聲音頻或文本作為輸入,渲染虛擬人視頻。
接口說明
- 目前僅支持輸入為文本或人聲音頻作為輸入,音頻僅支持 mp3 或 wav 格式。
- 支持輸出 mp4 和 webm 格式。當輸出為 mp4 時,成片為帶綠幕背景的視頻,同時輸出虛擬人的蒙版視頻,供后續使用,推薦用這個方案。當輸出為 webm 時,成片為帶透明通道的 webm,可用于前端展示,由于 webm 編碼問題,合成會慢一些。
- 輸出結果中包含人聲的句子時間戳,供后續在剪輯中使用。
調試
您可以在OpenAPI Explorer中直接運行該接口,免去您計算簽名的困擾。運行成功后,OpenAPI Explorer可以自動生成SDK代碼示例。
授權信息
下表是API對應的授權信息,可以在RAM權限策略語句的Action
元素中使用,用來給RAM用戶或RAM角色授予調用此API的權限。具體說明如下:
- 操作:是指具體的權限點。
- 訪問級別:是指每個操作的訪問級別,取值為寫入(Write)、讀取(Read)或列出(List)。
- 資源類型:是指操作中支持授權的資源類型。具體說明如下:
- 對于必選的資源類型,用背景高亮的方式表示。
- 對于不支持資源級授權的操作,用
全部資源
表示。
- 條件關鍵字:是指云產品自身定義的條件關鍵字。
- 關聯操作:是指成功執行操作所需要的其他權限。操作者必須同時具備關聯操作的權限,操作才能成功。
操作 | 訪問級別 | 資源類型 | 條件關鍵字 | 關聯操作 |
---|---|---|---|---|
ice:SubmitAvatarVideoJob | create | *全部資源 * |
| 無 |
請求參數
名稱 | 類型 | 必填 | 描述 | 示例值 |
---|---|---|---|---|
InputConfig | string | 否 | 虛擬人任務輸入參數。支持以文本、音頻 OSS 文件、媒資作為輸入。音頻僅支持 mp3 或 wav 格式。 注意 Text 的輸入內容長度不能少于 5 個字。 | {"Text": "君不見黃河之水天上來,奔流到海不復回。君不見高堂明鏡悲白發,朝如青絲暮成雪。"} |
EditingConfig | string | 否 | 虛擬人任務配置信息,支持設置虛擬人 id、人聲、語速等信息 | {"AvatarId":"yunqiao"} |
OutputConfig | string | 否 | 任務輸出信息,支持設置輸出地址、成片分辨率信息 | {"MediaURL":"https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4"} |
Title | string | 否 | 任務標題,長度不超過 128 字節 | 測試標題 |
Description | string | 否 | 任務描述,長度不超過 128 字節 | 測試描述 |
UserData | string | 否 | 用戶自定義設置,可傳入客戶業務信息,如業務方環境、任務信息,JSON 字符串格式。 | {"user":"data","env":"prod"} |
InputConfig 示例:
輸入為音頻地址:
{
"InputFile": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp3"
}
輸入為文本:
{
"Text": "君不見黃河之水天上來,奔流到海不復回。君不見高堂明鏡悲白發,朝如青絲暮成雪。"
}
輸入為 MediaId:
{
"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302"
}
EditingConfig 示例:
AvatarId:虛擬人形象 Id,必填 ,取值:數字人官方形象
Voice:發音人,僅輸入為 Text 有效,選填,取值:智能語音效果示例
CustomizedVoice:個性化人聲。如果需要使用通過人聲克隆生成的個性化人聲作為發音人,請使用此字段,而不是 Voice 字段
LoopMotion: 是否首尾同幀,如果設置此值為 true,則生成的數字人視頻圖像的首幀與尾幀相同,循環播放視頻時人物形象的動作和表情不會有“跳變”現象,取值范圍:{true, false},默認值:false
SpeechRate:語速,僅當輸入為文本類型有效,取值范圍:-500~500,默認值:0
PitchRate:音調,僅當輸入為文本類型有效,取值范圍:-500~500,默認值:0
Volume:音量,僅當輸入為文本類型有效,取值范圍:0~100,默認值 50
BackgroundUrl:背景圖,默認是綠幕,選填,僅支持 jpg、png 格式
{
"AvatarId": "xinxin-marketing_standing",
"BackgroundUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.jpg",
"Voice" : "zhichu",
"LoopMotion": true,
"SpeechRate": 100,
"PitchRate": 10,
"Volume": 10
}
OutputConfig 示例:
{
"MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4
}
返回參數
可以通過獲取智能任務結果接口查詢任務執行狀態和任務結果,任務執行成功時接口返回結果示例如下.
{
"RequestId": "2014D1A8-4143-164F-94B4-32B8F39B706D",
"JobId": "d9367da8c7184ec7a3f24de530ac5b9a",
"State": "Finished",
"SmartJobInfo": {
"Title": "default_title_2023-03-28T13:37:47Z",
"EditingConfig": "null",
"JobType": "AvatarVideo",
"CreateTime": "2023-03-28T13:37:47Z",
"ModifiedTime": "2023-03-28T13:37:47Z",
"UserId": 1833202230108227,
"outputConfig": {
"mediaUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4"
}
},
"JobResult": {
"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302",
"AiResult": "{\"outputVideoUrl\":\"https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4\",\"subtitleClips\":\"[{\\\"from\\\":0.0,\\\"to\\\":4.692,\\\"content\\\":\\\"君不見黃河之水天上來,奔流到海不復回。\\\"},{\\\"from\\\":4.692,\\\"to\\\":9.061,\\\"content\\\":\\\"君不見高堂明鏡悲白發,朝如青絲暮成雪。\\\"}]\"}"
}
}
其中,AiResult 格式如下:
outputVideoUrl 為輸出成片地址,mp4 格式
subtitleClips 字幕句子時間戳
{
"outputVideoUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4",
"subtitleClips": "[{\"from\":0.0,\"to\":4.692,\"content\":\"君不見黃河之水天上來,奔流到海不復回。\"},{\"from\":4.692,\"to\":9.061,\"content\":\"君不見高堂明鏡悲白發,朝如青絲暮成雪。\"}]"
}
示例
正常返回示例
JSON
格式
{
"RequestId": "******11-DB8D-4A9A-875B-275798******\n",
"JobId": "****20b48fb04483915d4f2cd8ac****\n",
"MediaId": "******70dcc471edaf00e6f6f4******"
}
錯誤碼
訪問錯誤中心查看更多錯誤碼。
變更歷史
變更時間 | 變更內容概要 | 操作 |
---|