章節(jié)速覽
本文主要介紹章節(jié)速覽的AI能力和實現(xiàn)方式。章節(jié)速覽是將音視頻內(nèi)容,先按交流主題進行分割,再提煉總結(jié)每個內(nèi)容分段的標題及摘要。通過章節(jié)速覽,可快速了解內(nèi)容的結(jié)構(gòu);并在較長的內(nèi)容中,快速定位所需的主題。
請求參數(shù)
參數(shù)名 | 類型 | 是否必填 | 說明 |
AutoChaptersEnabled | boolean | 否 | 默認為false |
示例設(shè)置
{
"Input":{
...
},
"Parameters":{
...
"AutoChaptersEnabled":true,
...
}
}
代碼示例
#!/usr/bin/env python
#coding=utf-8
import os
import json
import datetime
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.request import CommonRequest
from aliyunsdkcore.auth.credentials import AccessKeyCredential
def create_common_request(domain, version, protocolType, method, uri):
request = CommonRequest()
request.set_accept_format('json')
request.set_domain(domain)
request.set_version(version)
request.set_protocol_type(protocolType)
request.set_method(method)
request.set_uri_pattern(uri)
request.add_header('Content-Type', 'application/json')
return request
def init_parameters():
root = dict()
root['AppKey'] = '輸入您在聽悟管控臺創(chuàng)建的Appkey'
# 基本請求參數(shù)
input = dict()
input['SourceLanguage'] = 'cn'
input['TaskKey'] = 'task' + datetime.datetime.now().strftime('%Y%m%d%H%M%S')
input['FileUrl'] = '輸入待測試的音頻url鏈接'
root['Input'] = input
# AI相關(guān)參數(shù),按需設(shè)置即可
parameters = dict()
# 章節(jié)速覽
parameters['AutoChaptersEnabled'] = True
root['Parameters'] = parameters
return root
body = init_parameters()
print(body)
# TODO 請通過環(huán)境變量設(shè)置您的 AccessKeyId 和 AccessKeySecret
credentials = AccessKeyCredential(os.environ['ALIBABA_CLOUD_ACCESS_KEY_ID'], os.environ['ALIBABA_CLOUD_ACCESS_KEY_SECRET'])
client = AcsClient(region_id='cn-beijing', credential=credentials)
request = create_common_request('tingwu.cn-beijing.aliyuncs.com', '2023-09-30', 'https', 'PUT', '/openapi/tingwu/v2/tasks')
request.add_query_param('type', 'offline')
request.set_content(json.dumps(body).encode('utf-8'))
response = client.do_action_with_exception(request)
print("response: \n" + json.dumps(json.loads(response), indent=4, ensure_ascii=False))
package com.alibaba.tingwu.client.demo.aitest;
import com.alibaba.fastjson.JSONObject;
import com.aliyuncs.CommonRequest;
import com.aliyuncs.CommonResponse;
import com.aliyuncs.DefaultAcsClient;
import com.aliyuncs.IAcsClient;
import com.aliyuncs.exceptions.ClientException;
import com.aliyuncs.http.FormatType;
import com.aliyuncs.http.MethodType;
import com.aliyuncs.http.ProtocolType;
import com.aliyuncs.profile.DefaultProfile;
import org.junit.Test;
/**
* @author tingwu2023
*/
public class AutoChaptersTest {
@Test
public void testAutoChapters() throws ClientException {
CommonRequest request = createCommonRequest("tingwu.cn-beijing.aliyuncs.com", "2023-09-30", ProtocolType.HTTPS, MethodType.PUT, "/openapi/tingwu/v2/tasks");
request.putQueryParameter("type", "offline");
JSONObject root = new JSONObject();
root.put("AppKey", "輸入您在聽悟管控臺創(chuàng)建的Appkey");
JSONObject input = new JSONObject();
input.fluentPut("FileUrl", "輸入待測試的音頻url鏈接")
.fluentPut("SourceLanguage", "cn")
.fluentPut("TaskKey", "task" + System.currentTimeMillis());
root.put("Input", input);
JSONObject parameters = new JSONObject();
parameters.put("AutoChaptersEnabled", true);
root.put("Parameters", parameters);
System.out.println(root.toJSONString());
request.setHttpContent(root.toJSONString().getBytes(), "utf-8", FormatType.JSON);
// TODO 請通過環(huán)境變量設(shè)置您的AccessKeyId、AccessKeySecret
DefaultProfile profile = DefaultProfile.getProfile("cn-beijing", System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
IAcsClient client = new DefaultAcsClient(profile);
CommonResponse response = client.getCommonResponse(request);
System.out.println(response.getData());
}
public static CommonRequest createCommonRequest(String domain, String version, ProtocolType protocolType, MethodType method, String uri) {
// 創(chuàng)建API請求并設(shè)置參數(shù)
CommonRequest request = new CommonRequest();
request.setSysDomain(domain);
request.setSysVersion(version);
request.setSysProtocol(protocolType);
request.setSysMethod(method);
request.setSysUriPattern(uri);
request.setHttpContentType(FormatType.JSON);
return request;
}
}
示例輸出
{
"Message": "success",
"Code": "0",
"Data": {
"Result": {
"Transcription": "http://speech-swap-hangzhou.oss-cn-hangzhou.aliyuncs.com/tingwu/output/1503864348104017/05c45066fc6d496dae9b583426fdaae8/05c45066fc6d496dae9b583426fdaae8_Transcription_20231028230430.json?Expires=1698593389&OSSAccessKeyId=LTAI4G4uXHLPwQHj********&Signature=*********huzKcM4tzimubU%3D",
"AutoChapters": "http://speech-swap-hangzhou.oss-cn-hangzhou.aliyuncs.com/tingwu/output/1503864348104017/05c45066fc6d496dae9b583426fdaae8/05c45066fc6d496dae9b583426fdaae8_AutoChapters_20231028230459.json?Expires=1698593389&OSSAccessKeyId=LTAI4G4uXHLPwQHj********&Signature=*********V8O%2BG4paM0VMv0AIyK4%3D"
},
"TaskId": "05c45066fc6df96dg09bf8z4*********",
"TaskStatus": "COMPLETED"
},
"RequestId": "7AE5CB5C-7287-16D1-BA93-G43********"
}
其中AutoChapters字段對應(yīng)的即為章節(jié)速覽結(jié)果的http url下載鏈接。
協(xié)議解析
上述輸出中的章節(jié)速覽結(jié)果url中的內(nèi)容為JSON格式的報文,示例如下所示。
{
"TaskId":"05c45066fc6df96dg09bf8z4*********",
"AutoChapters":[
{
"Id":1,
"Start":1930,
"End":283874,
"Headline":"阿里巴巴云棲大會及技術(shù)責任",
"Summary":"云棲大會作為中國產(chǎn)業(yè)界的盛會,成為數(shù)字時代共同討論的場所。阿里巴巴通過青橙獎助力青年科學家追求科學先進性。阿里云在云計算和數(shù)字生態(tài)方面不斷發(fā)展,努力成為全球先進的計算基礎(chǔ)設(shè)施。同時,阿里巴巴也在不斷追求技術(shù)先進性,包括自主可控的云操作系統(tǒng)、算法模型的訓練等。阿里巴巴希望通過低代碼環(huán)境讓普通人也能享受數(shù)據(jù)的成果和創(chuàng)造。此外,在芯片領(lǐng)域,阿里巴巴也在努力突破核心技術(shù)。"
},
{
"Id":2,
"Start":284050,
"End":452084,
"Headline":"云計算:推動中國走向現(xiàn)代化",
"Summary":"平頭哥圍繞云計算場景定義了倚天710芯片,并助力冬奧在云上舉辦。云計算為各行各業(yè)帶來全新的生產(chǎn)管理方式,推動中國走向現(xiàn)代化。阿里巴巴致力于追求技術(shù)先進性,并為社會發(fā)展擔當更大責任,努力使云計算成為可持續(xù)發(fā)展的綠色動力。"
}
]
}
具體字段定義如下。
參數(shù)名 | 類型 | 說明 |
TaskId | string | 創(chuàng)建任務(wù)時生成的TaskId。 |
AutoChapters | list[] | 章節(jié)速覽集合, 含有0個、1個或多個章節(jié)速覽信息。 |
AutoChapters[i].Id | int | 該章節(jié)序號。 |
AutoChapters[i].Start | long | 該章節(jié)相對于音頻起始時間的開始時間,相對時間戳,單位毫秒。 |
AutoChapters[i].End | long | 該章節(jié)相對于音頻起始時間的結(jié)束時間,相對時間戳,單位毫秒。 |
AutoChapters[i].Headline | string | 該章節(jié)的一句話標題。 |
AutoChapters[i].Summary | string | 章節(jié)總結(jié)。 |
常見問題
章節(jié)速覽功能在什么場景下可以調(diào)用?
您可以在創(chuàng)建音視頻文件離線轉(zhuǎn)寫或創(chuàng)建實時會議時,直接設(shè)置;
您也可以在離線轉(zhuǎn)寫或?qū)崟r會議結(jié)束后,再次發(fā)起重跑任務(wù)請求(必須基于同一個TaskId),生成章節(jié)信息。
為什么我調(diào)用后沒有生成章節(jié)速覽的結(jié)果,或章節(jié)速覽結(jié)果為空?
一個可能是調(diào)用參數(shù)沒有啟用或設(shè)置不正確,請您仔細參考開發(fā)文檔進行對比并正確設(shè)置。
一個可能是您設(shè)置的語言模型并不支持生成章節(jié)信息,比如若音視頻文件是日語,當前是不支持章節(jié)速覽處理的。
另外一個可能是音視頻文件的信息不夠豐富,比如音視頻文件轉(zhuǎn)寫后的ASR信息太少(可能是背景噪音過多或過差),導致模型無法生成章節(jié)信息。此時您可以更換一條涵蓋有效信息更豐富的音視頻文件進行測試。