增量檢測OSS增量圖片、音視頻和文檔數(shù)據(jù)
OSS違規(guī)檢測普惠版面向需要對OSS中新增的數(shù)據(jù)進行掃描的客戶,能夠提供近實時的掃描服務(wù),集成內(nèi)容審核增強版服務(wù)檢測能力,支持更多的風(fēng)險類型和更豐富的風(fēng)險標(biāo)簽,支持OSS存儲空間(Bucket)和日志服務(wù)SLS等云產(chǎn)品原生功能,并大幅度提升使用體驗。本文介紹如何使用普惠版增量檢測OSS存儲的圖片、音視頻和文檔數(shù)據(jù)。
開通與授權(quán)
OSS違規(guī)檢測普惠版采用內(nèi)容審核增強版的檢測服務(wù),所以在使用OSS違規(guī)檢測普惠版之前,需要您先開通內(nèi)容安全增強版。具體操作,請參見開通與收費。
在使用OSS違規(guī)檢測普惠版之前,需要授權(quán)內(nèi)容安全訪問OSS存儲空間和日志服務(wù)。授權(quán)成功后,OSS違規(guī)檢測普惠版會將檢測結(jié)果推送到日志服務(wù)中,日志服務(wù)提供查詢分析和加工等功能,幫助您了解內(nèi)容風(fēng)險趨勢并實時監(jiān)測等。
推送日志和查詢分析不會產(chǎn)生額外費用,需要您開通日志服務(wù)并授權(quán)相關(guān)權(quán)限。具體計費信息,請參見OSS違規(guī)檢測普惠版費用說明。
配置增量檢測任務(wù)
登錄內(nèi)容安全控制臺。在左側(cè)導(dǎo)航欄,選擇OSS違規(guī)檢測普惠版>檢測任務(wù)。
在OSS違規(guī)檢測普惠版頁面,單擊增量掃描任務(wù)。
根據(jù)頁面向?qū)В瓿扇缦屡渲谩?/p>
選擇檢測任務(wù)的類型,然后單擊下一步。
配置項
說明
任務(wù)名稱
增量檢測任務(wù)的名稱。該值唯一。
選擇Bucket(多選)
支持公共云OSS除中國香港和海外地域以外的所有地域。
關(guān)于OSS支持的地域,請參見OSS訪問域名和數(shù)據(jù)中心。
支持公共云OSS無地域?qū)傩裕ㄖ袊鴥?nèi)地)的地域。
選擇任務(wù)類型
支持圖片增量任務(wù)、音視頻增量任務(wù)和文檔增量任務(wù)。
圖片任務(wù)
支持的圖片格式:PNG、JPG、JPEG、BMP、WEBP、TIFF、SVG、ICO、HEIC。
圖片大小不超過20 MB,過大的圖片文件不會被檢測。
默認(rèn)關(guān)閉無后綴文件檢測。如開啟無后綴文件檢測后,無后綴文件會根據(jù)文件的
content-type
自動判斷是否圖片。音視頻任務(wù)
支持的視頻格式:AVI、FLV、MP4、MPG、ASF、WMV、MOV、WMA、RMVB、RM、FLASH、TS。
支持的音頻格式:MP3、WAV、AAC、WMA、OGG、M4A、AMR、FLAC、3GP、APE。
音視頻大小不超過1 GB,過大的音視頻文件不會被檢測。
默認(rèn)檢測視頻文件和音頻文件。
文檔任務(wù)
支持的文檔格式:DOC、DOCX、PPT、PPTX、PPS、PPSX、PDF、XLS、XLSX、XLTX、XLTM、HTML、TXT。
文檔大小不超過200M,過大的文檔文件不會被檢測。
選擇檢測服務(wù)
您可以單擊管理檢測服務(wù),調(diào)整當(dāng)前任務(wù)的檢測服務(wù)配置,支持選擇多個檢測服務(wù)。關(guān)于如何調(diào)整內(nèi)容審核增強版服務(wù)的配置,請參見控制臺操作指南。
重要OSS普惠版檢測任務(wù)和內(nèi)容審核服務(wù)API使用同一個檢測配置,調(diào)整檢測配置會對兩者同時生效。
圖片檢測服務(wù)
通用場景:
OSS基線檢測(OSS普惠版專用)(推薦):適用于OSS檢測圖片中是否存在違規(guī)或不宜傳播的內(nèi)容,包含對惡意圖片文件識別能力。
通用基線檢測:檢測圖片中是否存在違規(guī)或不宜傳播的內(nèi)容。
如果您的文件存在公網(wǎng)可訪問的圖片,建議您勾選該項。
通用基線檢測_專業(yè)版:在通用基線檢測的基礎(chǔ)上支持更細(xì)粒度的標(biāo)簽返回。
如果您的文件對圖片有更細(xì)粒度的處理需求和少量個性化需求,建議您勾選該項。
內(nèi)容治理檢測:檢測圖片中是否存在影響平臺秩序、內(nèi)容調(diào)性或影響用戶體驗的內(nèi)容。
建議在通用基線檢測的基礎(chǔ)上根據(jù)治理需求進行使用。
AIGC場景:
AIGC圖片風(fēng)險檢測:針對AIGC場景,檢測AIGC生成的圖片是否存在違規(guī)或者不宜傳播的內(nèi)容。
如果您的文件存在AIGC生成的圖片,建議您勾選該項。
AIGC圖片侵權(quán)檢測:針對AIGC場景,請求時對圖片中的商標(biāo)、特殊標(biāo)識、人物等元素進行檢測,判斷是否有疑似侵權(quán)的風(fēng)險。
圖片是否AIGC生成判定:針對各種場景,判斷圖片是否由AIGC生成。
業(yè)務(wù)場景:
頭像圖片檢測:針對頭像場景,檢測頭像圖片是否存在違規(guī)、不宜傳播或者影響平臺秩序的內(nèi)容。
帖子評論圖片檢測:針對帖子配圖和評論配圖場景,檢測圖片是否存在違規(guī)、不宜傳播或者影響平臺秩序的內(nèi)容。
營銷素材檢測:針對營銷素材場景,檢測圖片是否存在違反廣告法、違規(guī)、不宜傳播或者影響平臺秩序的內(nèi)容。
視頻\直播截圖檢測:針對視頻截圖和直播截圖場景,檢測圖片是否存在違規(guī)、不宜傳播或者影響平臺秩序的內(nèi)容。
特殊場景:
惡意圖片檢測:針對惡意利用圖片隱藏視頻片段或者隱藏視頻播放器的情況進行檢測,防止對象存儲和CDN流量被黑產(chǎn)盜用。
音視頻檢測服務(wù)
視頻文件檢測(推薦):檢測視頻文件中是否存在違規(guī)或不宜傳播的內(nèi)容。建議對涉及開放公網(wǎng)訪問的視頻文件均進行該項檢測。
文檔檢測服務(wù)
通用文檔檢測(推薦):檢測文檔中是否包含圖片或文字違規(guī)信息,包括色情、性感、涉政、暴恐、違禁等底線類內(nèi)容。
根據(jù)業(yè)務(wù)需要,指定檢測任務(wù)的范圍。然后單擊下一步。
配置項
說明
設(shè)置上限
不限制數(shù)量:不限制文件的檢測數(shù)量,內(nèi)容安全會為您檢測所有文件。
設(shè)置檢測上限:根據(jù)您業(yè)務(wù)需要設(shè)置,內(nèi)容安全不做限制。
- 重要
提示的OSS Bucket總共文件數(shù)量可作為參考,其中包含多少圖片或音視頻文件無法提前預(yù)估。
篩選
設(shè)置檢測前綴包含指定內(nèi)容或者前綴不包含特定內(nèi)容的文件。例如,添加
img/test_
,表示僅掃描OSS Bucket中以img/test_
為前綴的文件。說明如果要掃描的文件在特定目錄下,您可以在文件名前加上目錄路徑,以整體作為前綴。
回調(diào)及處置設(shè)置。
配置項
說明
回調(diào)通知
可以選擇已經(jīng)創(chuàng)建好的回調(diào)通知方案,也可以新建回調(diào)通知方案。檢測結(jié)果會根據(jù)消息通知的設(shè)置進行返回。
說明回調(diào)通知可以在消息通知頁面進行管理,詳細(xì)操作,請參考配置消息通知。
結(jié)果處置
默認(rèn)關(guān)閉結(jié)果自動凍結(jié),您也可以選擇開啟,開啟后會根據(jù)您選擇的處置范圍和處置方式進行結(jié)果處理。
處置范圍:
圖片任務(wù)
可選凍結(jié)高風(fēng)險內(nèi)容和凍結(jié)中風(fēng)險內(nèi)容。
默認(rèn)凍結(jié)高風(fēng)險內(nèi)容,您可以選擇是否凍結(jié)中風(fēng)險內(nèi)容,建議根據(jù)實際情況進行選擇。風(fēng)險等級分值可以在圖片審核的規(guī)則配置中進行管理。
音視頻任務(wù)
視頻畫面和視頻語音分別可選凍結(jié)高風(fēng)險內(nèi)容和凍結(jié)中風(fēng)險內(nèi)容。
默認(rèn)視頻畫面和視頻語音都是凍結(jié)高風(fēng)險內(nèi)容,您可以選擇是否凍結(jié)中風(fēng)險內(nèi)容,建議根據(jù)實際情況進行選擇。風(fēng)險等級是根據(jù)視頻文件所有畫面截幀和所有語音切片計算的風(fēng)險。
文檔任務(wù)
文檔圖像和文檔文本分別可選凍結(jié)高風(fēng)險內(nèi)容和凍結(jié)中風(fēng)險內(nèi)容。
默認(rèn)文檔圖像和文檔文本都是凍結(jié)高風(fēng)險內(nèi)容,您可以選擇是否凍結(jié)中風(fēng)險內(nèi)容,建議根據(jù)實際情況進行選擇。風(fēng)險等級是根據(jù)文檔文件所有文檔截圖和所有文本計算的風(fēng)險。
處置方式:
修改權(quán)限:將符合處置范圍的OSS文件設(shè)置為private訪問權(quán)限。
移動文件:將符合處置范圍的OSS文件移動到Bucket中的備份目錄中(位置:${bucket}/alicip_riskfile_backup/),并刪除原路徑下的文件。
重要開啟結(jié)果自動凍結(jié)需要進行OSS授權(quán),開啟后會直接處置符合條件的OSS文件,請確保設(shè)置的檢測范圍和檢測條件滿足您的需求。如果遇到誤凍結(jié)OSS文件,您可以在查看結(jié)果中恢復(fù)或者參考使用OSS API恢復(fù)被凍結(jié)的文件文檔進行恢復(fù)。
單擊提交。
說明任務(wù)列表顯示累計檢測的文件數(shù)量。由于檢測任務(wù)是異步進行的,列表中的任務(wù)信息更新會存在一定的時延,大概1分鐘左右。
任務(wù)列表支持根據(jù)任務(wù)時間篩選,也可以查看任務(wù)檢測結(jié)果,以及任務(wù)配置情況。最多可查詢最近180天內(nèi)的檢測任務(wù)和檢測結(jié)果。
配置消息通知
在OSS違規(guī)檢測普惠版中,單擊導(dǎo)航欄消息通知。
在此處可以對所有的消息通知方案進行管理,支持新增、編輯和刪除。
新增通知:點擊新增通知按鈕彈出新增頁面,錄入回調(diào)方案信息,點擊確定按鈕即可添加成功。
方案名稱:12個字符以內(nèi),允許中英文、下劃線、數(shù)字;
回調(diào)地址:接受回調(diào)消息的URL地址,要求為支持POST方法的HTTP/ HTTPS協(xié)議的公網(wǎng)地址、支持表單參數(shù)checksum和content、支持?jǐn)?shù)據(jù)接收格式為
application/x-www-form-urlencoded
請確保地址能夠正常返回;加密算法:選擇合適的加密算法;
審核結(jié)果:可選檢出有風(fēng)險結(jié)果(指僅返回檢出有風(fēng)險標(biāo)簽的結(jié)果)或所有結(jié)果(指返回所有檢測結(jié)果)。
Seed值:在控制臺設(shè)置消息通知后自動生成,您可在消息通知管理中查看。
編輯通知:可以對通知消息進行編輯,如果編輯在使用中的消息,會影響所有正在配置的任務(wù),請謹(jǐn)慎修改。
刪除通知:可以刪除沒有在使用的消息通知,使用中的消息通知不允許刪除。
消息通知內(nèi)容:
啟用回調(diào)通知后,內(nèi)容安全將按照回調(diào)配置發(fā)送OSS違規(guī)檢測的回調(diào)通知,其中checksum值由<用戶uid> + <Seed> + <content>
拼成字符串,使用控制臺配置的加密算法生成,您可以在獲取到結(jié)果后通過上述算法計算一遍,與系統(tǒng)返回checksum做校驗,防止內(nèi)容被篡改;下表描述了回調(diào)通知的content字段結(jié)構(gòu)。
名稱 | 類型 | 示例值 | 描述 |
Code | String | 200 | 狀態(tài)碼。 |
RequestId | String | ABCD1234-1234-1234-1234-123**** | 本次檢測的ID,是由阿里云為該請求生成的唯一標(biāo)識符,可用于排查和定位問題。 |
Data | Object | 內(nèi)容檢測結(jié)果。更多信息,請參見Data。 |
表 2. Data
名稱 | 類型 | 示例值 | 描述 |
OssBucketName | String | AAAAA-BBBBB-2024*-0307* | OSS文件所在的Bucket名。 |
OssObjectName | String | videoId**** | OSS文件的文件名。 |
OssRegionId | JSONObject | Bucket所在區(qū)域。 | |
Results | JSONObject | 圖片檢測任務(wù)返回的結(jié)果。更多字段說明,請參見圖片返回數(shù)據(jù)。 | |
FrameResult | JSONObject | 視頻檢測任務(wù)視頻畫面返回的結(jié)果。更多字段說明,請參見視頻返回數(shù)據(jù)。 | |
AudioResult | JSONObject | 視頻檢測任務(wù)視頻語音返回的結(jié)果。更多字段說明,請參見視頻返回數(shù)據(jù)。 | |
PageResult | JSONObject | 文檔檢測任務(wù)返回的結(jié)果。更多字段說明,請參見文檔返回數(shù)據(jù)。 |
返回示例:
圖片檢測
圖片檢測任務(wù)返回的回調(diào)格式參考如下。關(guān)于字段說明,請參見返回數(shù)據(jù)。
{
"Code": 200,
"Data": {
"OssObjectName": "test/img.webp",
"OssBucketName": "tmpsample",
"OssRegionId": "cn-shanghai",
"Results": [
{
"Service": "oss_baselineCheck",
"RiskLevel": "high",
"Result": [
{
"Confidence": 95.89,
"Label": "sexual_partialNudity"
}
]
}
]
},
"RequestId": "AAAAA-BBBBB-CCCC-DDDDD"
}
音視頻檢測
音視頻檢測任務(wù)返回的回調(diào)格式參考如下。關(guān)于字段說明,請參見返回數(shù)據(jù)。
{
"Code": 200,
"Data": {
"TaskId": "ABCDEF_vi_0502zsx1314520yhxforever-12345",
"OssObjectName": "test/test_video.mp4",
"OssRegionId": "cn-shanghai",
"OssBucketName": "tmpsample",
"RiskLevel": "high",
"FrameResult": {
"FrameNum": 2,
"RiskLevel": "medium",
"FrameSummarys": [
{
"Label": "violent_explosion",
"LabelSum": 8
},
{
"Label": "sexual_cleavage",
"LabelSum": 5
}
],
"Frames": [
{
"Offset": 1,
"RiskLevel": "none",
"Results": [
{
"Result": [
{
"Label": "nonLabel"
}
],
"Service": "baselineCheck_global"
}
],
"TempUrl": "http://abc.oss-ap-southeast-1.aliyuncs.com/test1.jpg"
},
{
"Offset": 2,
"RiskLevel": "medium",
"Results": [
{
"Result": [
{
"Confidence": 1,
"Label": "sexual_cleavage"
},
{
"Confidence": 74.1,
"Label": "violent_explosion"
}
],
"Service": "baselineCheck_global"
}
],
"TempUrl": "http://abc.oss-ap-southeast-1.aliyuncs.com/test2.jpg"
}
]
},
"AudioResult": {
"AudioSummarys": [
{
"Label": "sexual_sounds",
"LabelSum": 3
}
],
"RiskLevel": "high",
"SliceDetails": [
{
"EndTime": 60,
"EndTimestamp": 1698912813192,
"Labels": "",
"RiskLevel": "none",
"StartTime": 30,
"StartTimestamp": 1698912783192,
"Text": "內(nèi)容安全",
"Url": "http://abc.oss-cn-shanghai.aliyuncs.com/test.wav"
},
{
"EndTime": 30,
"EndTimestamp": 1698912813192,
"Extend": "{\"customizedWords\":\"服務(wù)\",\"customizedLibs\":\"test\"}",
"Labels": "C_customized",
"RiskLevel": "high",
"StartTime": 0,
"StartTimestamp": 1698912783192,
"Text": "歡迎使用阿里云內(nèi)容安全服務(wù)",
"Url": "http://abc.oss-cn-shanghai.aliyuncs.com/test.wav"
}
]
}
},
"RequestId": "9d93d864-ebb9-469f-b7f9-b66ee3a9c41c"
}
文檔檢測
文檔檢測任務(wù)返回的回調(diào)格式參考如下。關(guān)于字段說明,請參見返回數(shù)據(jù)。
{
"Code": 200,
"Data": {
"OssObjectName": "test/測試文檔.docx",
"OssBucketName": "tmpsample",
"OssRegionId": "cn-shanghai",
"PageSummary": {
"PageSum": 2,
"ImageSummary": {
"RiskLevel": "high",
"ImageLabels": [
{
"LabelSum": 2,
"Label": "nonLabel"
},
{
"LabelSum": 1,
"Label": "pornographic_adultContent_tii"
}
]
},
"TextSummary": {
"TextLabels": [
{
"LabelSum": 2,
"Label": "contraband"
}
],
"RiskLevel": "high"
}
},
"PageResult": [
{
"ImageResult": [
{
"Description": "對文檔頁面的圖像內(nèi)容審核",
"LabelResult": [
{
"Label": "nonLabel"
}
],
"RiskLevel": "none",
"Service": "baselineCheck"
}
],
"ImageUrl": "http://oss.aliyundoc.com/a.png",
"PageNum": 1,
"TextResult": [
{
"Description": "對文檔頁面的文字內(nèi)容審核",
"Labels": "",
"RiskLevel": "none",
"RiskTips": "",
"RiskWords": "",
"Service": "pgc_detection",
"Text": "內(nèi)容安全產(chǎn)品測試用例a"
}
]
},
{
"ImageResult": [
{
"Description": "對文檔頁面的圖像內(nèi)容審核",
"LabelResult": [
{
"Confidence": 89.01,
"Label": "pornographic_adultContent_tii"
}
],
"RiskLevel": "high",
"Service": "baselineCheck"
}
],
"ImageUrl": "http://oss.aliyundoc.com/b.png",
"PageNum": 10,
"TextResult": [
{
"Description": "對文檔頁面的文字內(nèi)容審核",
"Labels": "contraband,sexual_content",
"RiskLevel": "high",
"RiskTips": "違禁_違禁商品,色情_影視資源,色情_低俗",
"RiskWords": "風(fēng)險詞A,風(fēng)險詞B",
"Service": "ad_compliance_detection",
"Text": "內(nèi)容安全產(chǎn)品測試用例b"
}
]
}
]
},
"RequestId": "1d122669-f580-4e17-aafd-87b6803dd830"
}
查看任務(wù)檢測結(jié)果
在OSS違規(guī)檢測普惠版頁面任務(wù)列表,單擊指定任務(wù)右側(cè)操作列查看結(jié)果。
根據(jù)增量任務(wù)調(diào)度日期、檢測時間范圍、文件名(Object)、存儲桶(Bucket)、風(fēng)險等級、檢索標(biāo)簽、自動處置狀態(tài)查詢?nèi)蝿?wù)檢測結(jié)果。
最多可查詢最近180天的檢測結(jié)果,最多展示和導(dǎo)出50,000條數(shù)據(jù)。您查詢的全部檢測結(jié)果會推送到日志服務(wù)中,日志服務(wù)提供查詢分析和加工等功能,幫助您了解內(nèi)容風(fēng)險趨勢并實時監(jiān)測等。具體信息,請參見OSS違規(guī)檢測結(jié)果日志存儲。
OSS違規(guī)檢測普惠版會根據(jù)查詢結(jié)果為文件標(biāo)注審核增強版的返回標(biāo)簽。關(guān)于標(biāo)簽值和釋義,圖片或視頻畫面或文檔截圖請參見圖片審核增強版同步檢測API,音頻請參見語音審核增強版API,文檔文本請參見文本審核增強版API。
檢測過程中可能出現(xiàn)檢測失敗,包括文件過大、格式不支持、文件訪問失敗等原因,這部分不會產(chǎn)生檢測費用,結(jié)果不會展示在列表中。如果需要這部分檢測結(jié)果,請加入釘群(釘群號:35573806),聯(lián)系產(chǎn)品技術(shù)專家進行咨詢。
如果是音視頻增量任務(wù),點擊操作列的音畫結(jié)果,查看視頻畫面和視頻語音的詳細(xì)審核結(jié)果。
如果是文檔增量任務(wù),點擊操作列的文檔頁結(jié)果,查看文檔截圖和文檔文本的詳細(xì)審核結(jié)果。
單擊指定文件右側(cè)操作列查看,查看文件預(yù)覽信息和詳細(xì)的返回結(jié)果。
導(dǎo)出檢測結(jié)果:單擊查詢結(jié)果列表右上方圖標(biāo),導(dǎo)出XLSX格式文件。
關(guān)閉和取消增量任務(wù)
如果您需要關(guān)閉增量任務(wù),可以在OSS違規(guī)檢測普惠版頁面,單擊關(guān)閉增量任務(wù)即可。任務(wù)關(guān)閉后,已完成檢測的文件結(jié)果,仍支持查看和導(dǎo)出檢測結(jié)果。
對正在檢測的任務(wù)單擊關(guān)閉增量任務(wù)即可。已停止的任務(wù)不能被取消。由于檢測任務(wù)是異步進行的,取消任務(wù)的操作實際生效可能存在時延,通常在1分鐘左右。時延期間正在檢測或者已經(jīng)排隊的文件仍然會繼續(xù)至檢測完成。
如果是因為配置錯誤等因素,需要修改任務(wù)配置,需要關(guān)閉增量任務(wù)后,重新創(chuàng)建一個檢測任務(wù)。