創(chuàng)建數(shù)據(jù)集
在創(chuàng)建標注任務(wù)的過程中,需要選擇數(shù)據(jù)集。本文為您介紹如何創(chuàng)建用于數(shù)據(jù)標注的數(shù)據(jù)集,以及數(shù)據(jù)集的具體格式要求。
前提條件
已開通OSS服務(wù)并創(chuàng)建Bucket,操作詳情請參見控制臺快速入門。
已獲取OSS Bucket所在地域?qū)?yīng)的Endpoint,詳情請參見OSS地域和訪問域名。
已創(chuàng)建PAI工作空間,詳情請參見創(chuàng)建工作空間。
操作步驟
進入智能標注(iTAG)。
登錄PAI控制臺。
在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應(yīng)工作空間。
在左側(cè)導(dǎo)航欄,選擇數(shù)據(jù)準備>智能標注(iTAG)。
單擊上傳數(shù)據(jù),跳轉(zhuǎn)至管理中心>資產(chǎn)管理頁面的創(chuàng)建原始數(shù)據(jù)集彈窗。
具體參數(shù)配置說明如下:
自定義數(shù)據(jù)集名稱和數(shù)據(jù)集描述(可選)。
上傳數(shù)據(jù)集。
導(dǎo)入形式為文件
對比項
方式一:本地上傳
方式二:OSS上傳
操作流程
根據(jù)下文的文件格式要求,在本地創(chuàng)建.csv或.xlsx或.manifest格式文件。
在創(chuàng)建原始數(shù)據(jù)集頁面配置如下關(guān)鍵參數(shù):
數(shù)據(jù)導(dǎo)入選擇本地上傳。
導(dǎo)入形式選擇文件。
選擇已創(chuàng)建的OSS Bucket和對應(yīng)的OSS文件路徑。
單擊上傳文件,上傳本地已創(chuàng)建的文件。
前提條件:需要的數(shù)據(jù)文件已存在于阿里云OSS中。
在創(chuàng)建原始數(shù)據(jù)集頁面配置如下關(guān)鍵參數(shù):
數(shù)據(jù)導(dǎo)入選擇OSS上傳。
導(dǎo)入形式選擇文件。
配置數(shù)據(jù)文件的Endpoint,OSS Bucket和OSS文件路徑。
單擊授權(quán)檢測,檢測文件路徑授權(quán)是否通過。
文件后綴類型要求
.csv、.xlsx或.manifest。
文件格式要求
.csv或.xlsx文件中的一列可以是待標注的文本內(nèi)容,或者是圖片,音頻或視頻的URL。
文件Demo參考
導(dǎo)入形式為文件夾
本文以圖像為例進行說明,視頻、音頻類文件操作同理。
對比項
方式一:本地上傳
方式二:OSS上傳
操作流程
在本地創(chuàng)建一個包含圖像的文件夾。
本地上傳文件夾僅支持單個文件夾上傳,包含子文件夾內(nèi)數(shù)據(jù),重復(fù)上傳會覆蓋之前的上傳數(shù)據(jù)。支持識別的文件類型為圖片/視頻/音頻。
在創(chuàng)建原始數(shù)據(jù)集頁面配置如下關(guān)鍵參數(shù):
數(shù)據(jù)導(dǎo)入選擇本地上傳。
導(dǎo)入形式選擇文件夾。
選擇已創(chuàng)建的OSS Bucket和對應(yīng)的OSS文件路徑。
單擊上傳文件夾,上傳本地已創(chuàng)建的文件夾。
將圖像文件上傳至阿里云OSS,生成OSS存儲路徑URL,具體操作,請參見上傳文件。
在創(chuàng)建原始數(shù)據(jù)集頁面配置如下關(guān)鍵參數(shù):
數(shù)據(jù)導(dǎo)入選擇OSS上傳。
導(dǎo)入形式選擇文件夾。
配置數(shù)據(jù)文件目錄的Endpoint,OSS Bucket和OSS文件路徑。
單擊授權(quán)檢測,檢測文件路徑授權(quán)是否通過。
數(shù)據(jù)集上傳后,需要確認導(dǎo)入字段,包括數(shù)據(jù)類型和數(shù)據(jù)集字段名。
確認數(shù)據(jù)安全等級,不同安全等級的數(shù)據(jù)有不同的要求。
單擊創(chuàng)建。