LVM-圖像大小過濾(DLC)
LVM-圖像大小過濾(DLC)組件主要用于過濾過大或過小的圖像數(shù)據(jù)。
支持的計算資源
算法說明
通過計算圖像的大小,從而過濾過大或過小的圖像數(shù)據(jù)來保證圖像的質(zhì)量,常用于后續(xù)圖像生成模型的訓(xùn)練。
輸入/輸出
輸入樁
通過讀OSS數(shù)據(jù)組件,讀取訓(xùn)練數(shù)據(jù)所在的OSS路徑。
配置此算法參數(shù)圖像數(shù)據(jù)OSS路徑,選擇圖像數(shù)據(jù)所在的OSS目錄,或圖像元數(shù)據(jù)文件。詳情請參見下文中的參數(shù)說明。
使用任意圖像預(yù)處理組件作為輸入。
輸出樁
過濾結(jié)果。詳情請參見下文中的參數(shù)說明。
配置組件
在Designer工作流頁面添加LVM-圖像大小過濾(DLC)組件,并在界面右側(cè)配置相關(guān)參數(shù):
參數(shù)類型 | 參數(shù) | 是否必選 | 描述 | 默認(rèn)值 | |
字段設(shè)置 | 圖像數(shù)據(jù)OSS路徑 | 否 | 首次運(yùn)行時,若無上游組件,需手動選擇圖像數(shù)據(jù)所在的OSS目錄。運(yùn)行時會在該目錄的上一級目錄下生成圖像元數(shù)據(jù)文件meta.jsonl。后續(xù)處理此圖像數(shù)據(jù)時,也可以直接選擇之前生成的meta.jsonl文件。 | 無 | |
輸出文件的OSS路徑 | 是 | 過濾結(jié)果的存儲目錄。過濾結(jié)果包含以下文件:
| 無 | ||
輸出的文件名 | 是 | 過濾結(jié)果的文件名。 | result.jsonl | ||
參數(shù)設(shè)置 | 最小大小 | 是 | 可接受的最小大小,支持輸入數(shù)值加單位的格式,單位包括KB、MB、GB、TB、PB、EB、ZB、YB,例如:30KB。 | 0 | |
最大大小 | 是 | 可接受的最大大小,支持輸入數(shù)值加單位的格式,單位包括KB、MB、GB、TB、PB、EB、ZB、YB,例如:10MB。 | 1GB | ||
執(zhí)行調(diào)優(yōu) | 多進(jìn)程個數(shù) | 是 | 設(shè)置進(jìn)程數(shù)。 | 4 | |
選擇資源組 | 公共資源組 | 否 | 選擇節(jié)點(diǎn)規(guī)格(CPU或GPU實例規(guī)格)、專有網(wǎng)絡(luò)。建議使用CPU規(guī)格實例,節(jié)省成本。 | 無 | |
專有資源組 | 否 | 選擇CPU核數(shù)、內(nèi)存、共享內(nèi)存、GPU卡數(shù)。 | 無 | ||
最大運(yùn)行時長 | 否 | 組件最大運(yùn)行時長,超過這個時間,作業(yè)會被終止。 | 無 |