名稱

類型

是否必填

描述

VideoTracks

VideoTrack[]

否，視頻軌為空時，音頻軌必須非空。

視頻軌列表。多個軌道的層疊順序與數組元素順序一致，如：數組的第一個元素圖層的t在最底層，第二個元素的圖層在其之上，以此類推。

AudioTracks

AudioTrack[]

否，音頻軌為空時，視頻軌必須非空。

音頻軌列表。

ImageTracks（圖片軌能力已兼容合并至視頻軌 VideoTracks，圖片軌將不再迭代維護）

ImageTrack[]

否，存在圖片軌道時，視頻軌必須非空。

圖片軌列表。注：

1）圖片軌需疊加在視頻軌之上，圖片本身作為素材與視頻混編時（如圖片合成視頻場景），請使用視頻軌VideoTracks

2）多個軌道的層疊順序與數組元素順序一致，如：數組的第一個元素圖層的t在最底層，第二個元素的圖層在其之上，以此類推

SubtitleTracks

SubtitleTrack[]

否

字幕軌列表。

EffectTracks

EffectTrack[]

否

特效軌列表。

名稱

類型

是否必填

描述

Type

String

否

默認為普通視頻軌。

當Type=Effect時，當前軌道可當作特效軌使用，VideoTrackClips可填入EffectTrackItem。

MainTrack

Boolean

否

用于指定當前軌道是否為主軌道。默認為 False。詳細介紹及示例請參見設置主軌道。

TrackShortenMode

String

否

若當前視頻軌道時長比主軌道時長長時，自適應縮短當前軌道，從而實現和主軌道對齊效果，支持設置：

• AutoSpeed：對視頻自動做加速處理。

TrackExpandMode

String

否

若當前視頻軌道時長比主軌道時長短時，自適應擴展當前軌道，從而實現和主軌道對齊效果，支持設置：

• AutoSpeed：對視頻自動做減速處理。

VideoTrackClips

VideoTrackClip[]

是

視頻軌素材片段列表。

名稱

類型

是否必填

描述

MainTrack

Boolean

否

用于指定當前軌道是否為主軌道。默認為 False。詳細介紹及示例請參見設置主軌道。

TrackShortenMode

String

否

若當前音頻軌道時長比主軌道時長長時，自適應縮短當前軌道，從而實現和主軌道對齊效果，支持設置：

• AutoSpeed：對音頻自動做加速處理。

TrackExpandMode

String

否

若當前音頻軌道時長比主軌道時長短時，自適應擴展當前軌道，從而實現和主軌道對齊效果，支持設置：

• AutoSpeed：對音頻自動做減速處理。

AudioTrackClips

AudioTrackClip[]

是

音頻軌素材片段列表。

名稱

類型

是否必填

描述

ImageTrackClips（圖片軌能力已兼容合并至視頻軌 VideoTrackClips，圖片軌將不再迭代維護）

ImageTrackClip[]

是

圖片軌素材片段列表。

名稱

類型

是否必填

描述

SubtitleTrackClips

SubtitleTrackClip[]

是

字幕軌素材片段列表。

名稱

類型

是否必填

含義

描述

Type

String

是

當前 Clip 類型

• 固定值：AI_Avatar

MediaId

String

否

渲染數字人的音頻媒資 Id

• 注意：MediaId、MediaURL 和 Content 有且僅有一個不為空

MediaURL

String

否

渲染數字人的音頻文件 URL

• 注意：MediaId、MediaURL 和 Content 有且僅有一個不為空

• 支持傳入「OSS 外網 Endpoint 地址」或者「其它公網可以訪問的地址」

Content

String

否

渲染數字人的文字內容

• 注意：MediaId、MediaURL 和 Content 有且僅有一個不為空

• 內容字數不得少于 5 個字

AvatarId

String

否

數字人形象 Id

• 取值集合：數字人官方形象示例

Voice

String

否

聲音類型

• 如果以 Content 作為輸入，可以用本字段來設置聲音類型

• 取值集合：智能語音效果示例。

CustomizedVoice

String

否

個性化人聲

• 此處傳入您在人聲克隆功能中訓練完成的 VoiceId，音頻即可使用您的個性化人聲進行生成

• 如果傳入此值，Voice 將會失效

LoopMotion

Boolean

否

首尾同幀

• 如果設置此值為 true，則生成的數字人視頻圖像的首幀與尾幀相同，循環播放或前后拼接數字人視頻時人物形象的動作和表情不會有“跳變”現象。

• 取值范圍：{true, false}

• 默認值：false

SpeechRate

Integer

否

語速

• 如果以 Content 作為輸入，可以用本字段來設置聲音語速，取值范圍：[-500, 500]，默認值：0。

  • [-500, 0，500] 對應的語速倍速區間為 [0.5, 1.0, 2.0]。

PitchRate

Integer

否

語調

• 如果以 Content 作為輸入，可以用本字段來設置聲音語調

• 取值范圍：[-500, 500]

• 默認值：0

名稱

類型

是否必填

描述

MediaId

String

否

圖片軌素材對應的媒資庫圖片資源MediaId，或VOD圖片媒資Id。

注：MediaId和MediaURL有且僅有一個不為空。

MediaURL

String

否

圖片軌素材片段對應的OSS地址，格式為：https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.mp4

注：

• MediaId和MediaURL有且僅有一個不為空。

• MediaURL 僅支持傳入「OSS 外網 Endpoint 地址」

示例：使用OSS地址作為輸入素材

X

Float

否

表示圖片左上角距離輸出視頻左上角的橫向距離。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻寬的占比。當取值為>=2的整數時，表示絕對像素。

Y

Float

否

表示圖片左上角距離輸出視頻左上角的縱向距離。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻高的占比。當取值為>=2的整數時，表示絕對像素。

Width

Float

否

表示圖片在輸出視頻中的寬度。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻寬的占比。當取值為>=2的整數時，表示絕對像素。

Height

Float

否

表示圖片在輸出視頻中的高度。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻高的占比。當取值為>=2的整數時，表示絕對像素。

TimelineIn

Float

否

圖片出現在時間線的起始位置。單位：秒，精確到小數點后4位。如果TimelineIn不填，默認值為0

TimelineOut

Float

否

圖片出現在時間線的結束位置。單位：秒，精確到小數點后4位。如果TimelineOut不填，默認值為視頻軌的最大時長

DyncFrames

Int

否

動圖的幀數，在素材為動圖時必填。示例：使用GIF貼紙。

Effects

Effect[]

否

素材的效果列表

名稱

類型

是否必填

描述

Type

String

是

字幕素材類型。取值：

• Subtitle 外掛字幕文件

• Text 橫幅文字

SubType

String

否

字幕素材子類型。取值：

• srt 外掛srt字幕

• ass 外掛ass字幕

字幕素材類型為橫幅文字時，可忽略該字段。

FileURL

String

否

字幕文件對應的OSS地址。當字幕類型為外掛字幕時必填。格式為：

https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-object.srt

注：

• FileURL 支持傳入「OSS 外網 Endpoint 地址」或者「其它公網可以訪問的地址」

示例：外掛字幕

X

Float

否

當字幕類型為橫幅文字時，表示文字左上角距離輸出視頻左上角的橫向距離。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻寬的占比。當取值為>=2的整數時，表示絕對像素。

Y

Float

否

當字幕類型為橫幅文字時，表示文字左上角距離輸出視頻左上角的縱向距離。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻高的占比。當取值為>=2的整數時，表示絕對像素。

TimelineIn

Float

否

當字幕類型為橫幅文字時，表示文字出現在時間線的起始位置。單位：秒，精確到小數點后4位。如果TimelineIn不填，則會按照素材順序相接的方式自動計算TimelineIn

TimelineOut

Float

否

當字幕類型為橫幅文字時，表示文字出現在時間線的結束位置。單位：秒，精確到小數點后4位。如果TimelineOut不填，則會按照素材順序相接的方式自動計算TimelineOut

Content

String

否

當字幕類型為橫幅文字時必填，表示文字內容。

Font

String

否

當字幕類型為橫幅文字時，表示文字的字體。默認為SimSun，宋體。具體支持的字體列表參見：字體列表。

FontSize

Int

否

當字幕類型為橫幅文字時，表示文字的字號。默認為0，最大支持設置到5000。

SizeRequestType

String

否

當字幕類型為橫幅文字時，表示將文字字號到實際文字渲染大小的計算方式，默認處理方式為RealDim。

• Nominal：字幕渲染高度（像素值）等于字號FontSize

• RealDim：在某些字體上，字幕渲染高度（像素）可能會小于字號FontSize

FontColor

String

否

當字幕類型為橫幅文字時，表示文字的顏色，格式為#后跟16進制值。例如：#ffffff。

FontColorOpacity

String

否

當字幕類型為橫幅文字時，表示文字的透明度，取值0-1，默認1。1為不透明，0為完全透明。

FontFace

FontFace

否

當字幕類型為橫幅文字時，表示文字的字體外觀。

Spacing

Int

否

當字幕類型為橫幅文字時，表示橫幅文字字間距。單位：像素值，默認為0。

LineSpacing

Int

否

當字幕類型為橫幅文字時，表示橫幅文字行間距。單位：像素值，默認為0。

Angle

Float

否

當字幕類型為橫幅文字時，表示橫幅文字逆時針旋轉角度。單位：度，默認為0。

BorderStyle

Int

否

設置橫幅文字邊框和陰影格式。取值1或3，1=邊框+陰影，3=不透明底框。默認為1。

Outline

Int

否

當字幕類型為橫幅文字時，表示橫幅文字描邊寬度。單位：像素值，默認為0。

OutlineColour

String

否

當字幕類型為橫幅文字時，表示橫幅文字描邊顏色，格式為#后跟16進制值。例如：#ffffff。

Shadow

Int

否

當字幕類型為橫幅文字時，表示橫幅文字投下陰影的深度，單位：像素值，默認為0。

BackColour

String

否

當字幕類型為橫幅文字時，表示橫幅文字陰影顏色，格式為#后跟16進制值。例如：#ffffff。

Alignment

String

否

當字幕類型為橫幅文字時，用于設置定位對齊方式，默認為TopLeft，支持設置：

• TopLeft：視頻左上角

• TopCenter：視頻豎直中軸線上側

• TopRight：視頻右上角

• CenterLeft：視頻水平中軸線左側

• CenterCenter：視頻中心位置

• CenterRight：視頻水平中軸線右側

• BottomLeft：視頻左下角

• BottomCenter：視頻豎直中軸線下側

• BottomRight：視頻右下角

若需要在不同對齊方式下準確定位字幕位置，建議設置以下對齊方式：

• Left，左對齊，X、Y傳入字幕左上角頂點相對于視頻左上角的坐標

• Center，居中對齊，X、Y傳入字幕中軸線上邊界交點相對于視頻左上角的坐標

• Right，右對齊，X、Y傳入字幕右上角頂點相對于視頻左上角的坐標

AdaptMode

String

否

橫幅文字當超出視頻寬度或超出指定TextWidth時進行自動換行或縮放：

• AutoWrap：自動換行

• AutoScale：自動縮放

• AutoWrapAtSpaces：只在空格位置自動換行（適用于純英文字幕自動換行場景）

TextWidth

Float

否

字幕文本框寬度，當設置AdaptMode時生效。將按照該值設置文本框寬度進行自動換行或縮放。不填寫時，會按照視頻寬度進行自動換行或縮放。當值大于0小于等于1時，表示相對輸出視頻的寬度，當值大于1時，表示絕對像素值。

FontUrl

String

否

當字幕類型為橫幅文字時，支持使用用戶OSS的字體文件路徑來生成字幕，支持ttf、otf、woff三種格式的字體文件。例如：https://your-bucket.oss-cn-shanghai.aliyuncs.com/example-font.ttf

• 支持傳入「OSS 外網 Endpoint 地址」或者「其它公網可以訪問的地址」

EffectColorStyle

String

否

當字幕類型為橫幅文字時，表示橫幅文字花字樣式類型。花字種類及效果見：花字效果示例。

SubtitleEffects

SubtitleEffect[]

否

當字幕類型為橫幅文字時，表示文字多層效果。目前支持設置多層描邊、多層陰影、高斯模糊效果（高斯模糊僅支持在類型為陰影時使用）和字幕背景效果。

注：

• 如果設置SubtitleEffects時，字幕軌道中Outline、Shadow字段不會再生效；

• 當設置多層描邊/陰影/背景效果時，SubtitleEffects數組的順序表示層級順序，數組中第一個SubtitleEffect會渲染在最底層，數組中最后一個SubtitleEffect會渲染在最上層；

ScrollStartY

Float

否

配置字幕滾動效果時，表示字幕向上或者向下滾動的起點Y坐標，單位：像素值，如果小于1表示相對輸出視頻的高度。

ScrollEndY

Float

否

配置字幕滾動效果時，表示字幕向上或者向下滾動的終點Y坐標，單位：像素值，如果小于1表示相對輸出視頻的高度。

ScrollSpeed

Float

否

配置字幕滾動效果時，表示字幕每秒向上或向下滾動的速度，單位：像素/s。

AaiMotionInEffect

String

否

當字幕類型為橫幅文字時，表示橫幅文字入場特效類型。字幕入場特效種類及效果見：字幕特效示例。

AaiMotionIn

Float

否

當字幕類型為橫幅文字時，表示橫幅文字入場特效時長。單位：秒，精確到小數點后4位，如果AaiMotionIn不填，默認0.5s，如果文本時長小于0.5，則為總時長減去出場時長。

AaiMotionOutEffect

String

否

當字幕類型為橫幅文字時，表示橫幅文字出場特效類型。字幕出場特效種類及效果見：字幕特效示例。

AaiMotionOut

Float

否

當字幕類型為橫幅文字時，表示橫幅文字出場特效時長，單位秒，精確到小數點后4位，如果AaiMotionOut不填，默認0.5s，如果文本時長小于0.5，則為總文本時長。

AaiMotionLoopEffect

String

否

當字幕類型為橫幅文字時，表示橫幅文字循環特效類型，不可與字幕入場或者出場特效同時生效。循環特效種類以及效果見：字幕特效示例。

Ratio

Float

否

當字幕類型為橫幅文字時，表示橫幅文字循環特效播放速度，精確到小數點后4位。不填默認為1，大于1表示加速循環，小于1表示慢速循環。

TextureURL

String

否

當字幕類型為橫幅文字時，表示字幕紋理效果，支持PNG、JPG、JPEG、BMP格式，目前僅支持傳入OSS文件，例如https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-image.png

BubbleStyleId

String

否

當字幕類型為橫幅文字時，表示橫幅文字氣泡字樣式類型。氣泡種類及效果見：氣泡字示例。

BubbleWidth

Float

否

僅在使用氣泡字時生效，表示氣泡底圖相對于輸出視頻的寬，大于1表示絕對像素值，小于等于表示相對值。

BubbleHeight

Float

否

僅在使用氣泡字時生效，表示氣泡底圖相對于輸出視頻的高，大于1表示絕對像素值，小于等于表示相對值。

名稱

類型

是否必填

描述

Type

String

是

特效軌片段類型，支持：VFX、Filter。

SubType

String

是

特效軌片段子類型，詳細見：

特效效果示例

濾鏡效果示例

TimelineIn

Float

否

特效片段出現在時間線的起始位置。單位：秒，精確到小數點后4位。如果TimelineIn不填，則默認為0。

TimelineOut

Float

否

特效片段出現在時間線的結束位置。單位：秒，精確到小數點后4位。如果TimelineOut不填，則默認為視頻結束時間。

Duration

Float

否

特效片段出現在時間線的持續時長。單位：秒，精確到小數點后4位。如果Duration不填，則默認為視頻時長。

Duration和TimelineOut僅有一個生效。

X

Float

否

該字段僅支持SubType為mosaic_rect/blur的情況。特效區域左上角距離輸出視頻左上角的橫向距離。

注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻寬的占比。當取值為>=2的整數時，表示絕對像素。

Y

Float

否

該字段僅支持SubType為mosaic_rect/blur的情況。

特效區域距離輸出視頻左上角的縱向距離。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻高的占比。當取值為>=2的整數時，表示絕對像素。

Width

Float

否

該字段僅支持SubType為mosaic_rect/blur的情況。特效區域在輸出視頻中的寬度。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻寬的占比。當取值為>=2的整數時，表示絕對像素。

Height

Float

否

該字段僅支持SubType為mosaic_rect/blur的情況。特效區域在輸出視頻中的高度。注：支持百分比和像素兩種形式。當取值為[0～0.9999]時，表示相對輸出視頻高的占比。當取值為>=2的整數時，表示絕對像素。

名稱

類型

是否必填

描述

Type

String

是

-Outline：描邊

-Shadow：陰影

-Box：字幕底框

Bord

Float

否

描邊/陰影寬度或高度，當大于1時，表示像素值，當大于0小于1時，表示相對文字大小的寬度或高度。

XBord

Float

否

描邊/陰影寬度，當大于1時，表示像素值，當大于0小于1時，表示相對文字大小的寬度，優先級高于Bord。

YBord

Float

否

描邊/陰影高度，當大于1時，表示像素值，當大于0小于1時，表示相對文字大小的高度，優先級高于Bord。

Shift

Float

否

描邊/陰影左右/上下偏移量，當絕對值大于1時，表示像素值，當絕對值大于0小于1時，表示相對文字大小的偏移量，支持設置負數，效果為向上/左偏移。

XShift

Float

否

描邊/陰影左右偏移量，當絕對值大于1時，表示像素值，當絕對值大于0小于1時，表示相對文字大小的左右偏移量，優先級高于Shift。

YShift

Float

否

描邊/陰影上下偏移量，當絕對值大于1時，表示像素值，當絕對值大于0小于1時，表示相對文字大小的上下偏移量，優先級高于Shift。

Color

String

否

RGB顏色，格式為#后跟16進制值。例如：#ffffff。

Opacity

String

否

不透明度，1為完全不透明，0為完全透明。

Blur

Float

否

高斯模糊范圍，像素值，僅支持在Type=Shadow時使用，可以實現字幕外發光效果。

Radius

Float

否

文字純色背景圓角半徑，僅支持在Type=Box時使用，可以實現字幕背景圓角效果。

ImageUrl

String

否

自定義字幕背景底圖，僅支持在Type=Box時使用，可實現自定義氣泡字效果，可使用BubbleWidth或BubbleHeight字段調整字幕大小，支持PNG、JPG、JPEG、BMP格式，目前僅支持傳入OSS文件，例如https://your-bucket.oss-cn-shanghai.aliyuncs.com/your-image.png。

Width

Float

否

當使用自定義氣泡字時必填，氣泡底圖源文件寬。

Height

Float

否

當使用自定義氣泡字時必填，氣泡底圖源文件高。

TextArea

String

否

當使用自定義氣泡字時必填，表示文字在氣泡底圖中的區域，由4個[0, 1]的浮點數用逗號拼接組成，比如傳入"0.1,0.2,0.8,0.6"，表示字幕文本框左上角坐標相對氣泡的位置為0.1和0.2，字幕文本框相比氣泡的寬高分別為0.8和0.6。

名稱

類型

是否必填

描述

Bold

Boolean

否

加粗

Italic

Boolean

否

斜體

Underline

Boolean

否

下劃線

名稱

類型

是否必填

描述

Type

String

是

效果類型。取值如下：

• Text（橫幅文字：視頻軌素材）

• DeWatermark（模糊：視頻軌素材）

• Crop（裁剪：視頻軌素材）

• Pad（貼邊：視頻軌素材）

• Scale（縮放：視頻軌素材）

• Transition（轉場：視頻軌素材）

• VFX（特效：視頻軌素材）

• Volume（音量調整：音頻軌素材）

• AFade（音頻淡入淡出：音頻軌）

• AI_ASR（識別音頻生成字幕：視頻軌、音頻軌素材）

SubType

String

否

效果子類型

• 當Type為Transition時，會進一步描述轉場子類型。取值見：轉場效果示例

• 當Type為VFX時，會進一步描述特效子類型。取值見：特效效果示例

• 當Type為Filter 時，會進一步描述濾鏡子類型。取值見：濾鏡效果示例