音視頻智能生產(chǎn)
音視頻智能生產(chǎn)服務基于阿里云智能媒體AI技術,提供多種形式媒體內(nèi)容處理及內(nèi)容生成能力,支持智能封面、智能橫轉(zhuǎn)豎、綠幕摳圖、人像摳圖、智能圖標模糊、智能去字幕、字幕提取、副歌檢測、音樂節(jié)奏檢測等多種媒體處理生成功能,提升媒體內(nèi)容生產(chǎn)效率和質(zhì)量。
功能概述
應用場景
傳媒、娛樂視頻智能生產(chǎn)對視頻內(nèi)容進行圖標、字幕、摳圖等處理,快速制作加工視頻內(nèi)容。
視頻多端投放對一次拍攝產(chǎn)生的視頻使用智能橫轉(zhuǎn)豎服務進行比例轉(zhuǎn)換,生成適配不同終端播放的版本,向多種平臺及終端進行投放和分發(fā),提升視頻內(nèi)容傳播效率。
功能特性
功能列表
處理類型
功能
服務名稱
說明
音頻類處理
副歌檢測
MusicSegmentDetect
對歌曲進行段落分析,識別音樂中的副歌“高潮片段”,提取副歌段落時間信息,可以用于音樂推薦試聽,熱門片段K歌等場景。
節(jié)奏檢測
AudioBeatDetection
節(jié)奏檢測可分析識別音樂中的多層次的節(jié)奏點,返回節(jié)奏點時間信息,可用于音視頻生產(chǎn)、音樂推薦等場景。
智能混音
AudioMixing
對多個輸入音頻進行音軌平衡處理及智能混音,輸出混音合成音頻,支持人聲、音樂等多種音頻處理。
音質(zhì)檢測
AudioQualityAssessment
識別輸入音頻靜音、卡頓等問題。
智能降噪
SpeechDenoise
純凈人聲在現(xiàn)實生活中會受到各種噪聲干擾,使用智能降噪插件可以將噪聲濾除并保持極高的語音保真度,從而提升語音質(zhì)量和可懂度,為在線會議、在線教育等實時通信場景提供卓越的語音體驗。
聲伴分離
MusicDemix
識別音頻中的人聲和伴奏,快速分離成兩個獨立的音頻文件。適用于卡拉ok的清唱、伴奏提取,任意音頻的背景音提取,滿足音頻素材獲取、后期制作、聲音剪輯等需求。
視頻類處理
智能封面
Cover
封面圖片:選取展現(xiàn)視頻內(nèi)容效果最優(yōu)的圖片,作為視頻的圖片封面。
封面動圖:提取視頻多幀精彩瞬間,拼接生成GIF動圖,作為視頻的動圖封面。
視頻摘要
VideoClip
提取視頻精彩內(nèi)容片段,融合生成最具代表性的5s短視頻摘要。
字幕提取
CaptionExtraction
識別視頻中的字幕,提取文本內(nèi)容及時間信息,輸出為srt字幕文件,支持中英文字幕識別提取,可用于視頻字幕加工場景。
字幕擦除
VideoDetext
采用文字檢測及圖像融合處理技術,智能檢測并去除視頻或圖像中的文字字幕,還原視頻純凈畫面。
圖標模糊
VideoDelogo
識別視頻中的logo圖標位置,并對圖標進行模糊處理,恢復視頻未添加logo的原始狀態(tài),輔助視頻內(nèi)容的后期制作及再生產(chǎn)。
視頻橫轉(zhuǎn)豎
VideoH2V
識別視頻畫面主體,進行比例適應裁剪,將橫屏拍攝的視頻轉(zhuǎn)換成適于移動端豎屏播放的視頻,助力移動時代視頻內(nèi)容二次生產(chǎn)及多端傳播投放。
綠幕摳圖
VideoGreenScreenMatting
綠幕摳圖對視頻圖像的畫面前景背景進行分析提取,檢測純色背景并替換為指定的背景圖,適用于影視制作、短視頻制作及后期編輯場景。
視頻美顏
FaceBeauty
基于智能視覺算法、人臉檢測識別技術,提供視頻文件的人臉美顏功能,支持自動檢測并對人像進行磨皮、美白、紅潤等美顏處理,各項美顏參數(shù)可進行單獨設置,適用于短視頻制作、視頻后期處理等場景。
圖片類處理
圖標模糊
ImageDelogo
識別圖片中的logo圖標位置,并對圖標進行模糊處理,恢復圖片未添加logo的原始態(tài)。
圖片橫轉(zhuǎn)豎
ImageH2V
識別圖片畫面主體,進行比例適應裁剪,將橫屏圖片轉(zhuǎn)換成適于移動端豎屏瀏覽的圖片。
人臉風格化
ImageCartoonize
對圖片中的人臉進行風格化轉(zhuǎn)換,支持二次元、美漫等風格。
在線體驗請單擊智能生產(chǎn)在線體驗。
使用限制
服務地域請參見服務地域。
創(chuàng)建智能生產(chǎn)模板
通過控制臺創(chuàng)建
智能生產(chǎn)任務中,目前只有智能擦除任務可以通過IMS控制臺創(chuàng)建模板,其他任務請通過API創(chuàng)建。如果您對智能擦除的使用流程感興趣,可移步至智能擦除 查看,如果需要使用其他類型的智能生產(chǎn)任務,請繼續(xù)閱讀以下內(nèi)容。
通過OpenAPI創(chuàng)建
調(diào)用接口CreateCustomTemplate,根據(jù)實際需求設置參數(shù)Type
的值,創(chuàng)建用戶自定義模板。
創(chuàng)建智能生產(chǎn)任務
通過控制臺創(chuàng)建
智能生產(chǎn)任務中,目前只有智能擦除任務可以通過IMS控制臺提交任務,其他任務請通過API創(chuàng)建。如果您對智能擦除的使用流程感興趣,可移步至智能擦除 查看,如果需要使用其他類型的智能生產(chǎn)任務,請繼續(xù)閱讀以下內(nèi)容。
通過OpenAPI創(chuàng)建
調(diào)用接口SubmitIProductionJob - 提交智能生產(chǎn)任務提交智能擦除任務。
查詢智能生產(chǎn)任務詳情
通過回調(diào)信息查詢
通過接收AI生產(chǎn)完成(智能擦除任務完成時相關的回調(diào))時的回調(diào),查詢截圖任務詳情。更多信息,請參見回調(diào)事件概述。
通過OpenAPI查詢
調(diào)用QueryIProductionJob查詢智能生產(chǎn)任務詳情。
查詢智能擦除任務用量
登錄智能媒體服務控制臺。
在左側(cè)導航欄選擇數(shù)據(jù)中心 > 用量查詢。
在點播任務用量頁簽下視頻AI區(qū)域查詢或明細導出任務的時長用量。
說明為了保證數(shù)據(jù)安全,導出的下載鏈接有效期為30分鐘。如果超時,請重新刷新頁面。