圖生文模板支持SAM(Segment Anything Model)及自研分割算法快速分割圖形,結合LLM文本生成能力,探索智能化標注在AIGC場景下的應用。
數據格式示例
CSV及XLSX格式中每一列數據;Manifest格式中data字段的下一級字段均對應一個數據集字段,字段名可自定義,在配置數據集字段名時選擇對應的字段名即可。圖片文件支持常見的JPG、PNG等格式。
CSV及XLSX格式
image_url | caption |
oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg | caption1xxxxx |
oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/2.jpg | caption2xxxxx |
文件Demo參考:圖生文數據demo.csv
Manifest格式(JSONL格式)
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","caption":"caption1xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","caption":"caption2xxxxxx"}}
{"data":{"url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","caption":"caption3xxxxxx"}}
文件Demo參考:圖生文數據demo.manifest
配置說明
標注區(圖片)(必選)
標注區(圖片)用于配置需要進行標注的圖片URL。
單擊選中標注區(圖片),并選擇相應的數據集后,在右側配置區域配置具體參數。參數說明如下:
參數 | 說明 |
標題 | 默認標題區域無需修改。 |
數據集字段 | 在數據集字段中選擇需要標注的圖片URL字段。(字段名可自定義) |
提示 | 默認提示區域無需修改。 |
數據預處理 | 無需配置,不生效。 |
水印配置 | 無需配置,不生效。 |
水印配置 | 無需配置,不生效。 |
卡片樣式配置 | 無需配置,不生效。 |
情景描述(文字)(可選)
情景描述(文字)用于配置數據集中的情景描述。
單擊選中情景描述(文字)后,在右側配置區域配置具體參數。參數說明如下:
參數 | 說明 |
標題 | 默認標題區域無需修改。 |
數據集字段 | 在數據集字段中選擇情景描述對應的字段。 |
提示 | 默認提示區域無需修改。 |
點擊鏈接跳轉 | 無需配置,不生效。 |
文本高亮 | 無需配置,不生效。 |
卡片樣式配置 | 無需配置,不生效。 |
全局配置
全局配置主要用于配置模板中會使用到的UDF。
單擊,在右側配置區域配置具體參數。參數說明如下:
參數 | 說明 |
標題 | 默認標題區域無需修改。 |
細節描述 | 標題名暫不支持修改,需按圖片內配置官方UDF及相應參數。 |
生成文本 | 標題名暫不支持修改,需按圖片內配置官方UDF及相應參數。 |
通用配置 | 無需配置,不生效。 |
UDF配置請嚴格按照圖示進行配置,input_data及MarkResult用于讓UDF正確接收輸入參數,不可隨意更改。
操作演示
情景描述
由全圖生成文案,也可以是數據集自帶,支持編輯或重新生成。
細節描述
在圖片工具區,使用摳圖工具對頁面進行摳圖。新建選區并進行配置。
單擊確認,會生成細節描述文本,細節描述可隨時進行修改(每次創建的標注顏色唯一)。
單擊僅創建,僅生成新細節區域,需自行填入細節描述文本。細節描述可隨時進行修改(每次創建的標注顏色唯一)。
更正蒙版:單擊更正蒙版,可以對該ID對應蒙層區域進行修改和保存。
隱藏/顯示:單擊隱藏/顯示,可以單獨控制該ID對應蒙層的顯隱。
刪除:單擊刪除,即可刪除該ID對應的表單內容及相應蒙層區域。
生成文本
單擊生成,整合情景描述和細節生成最終文本。
交互式命令行
輸入@后可選擇命令,@BLIP命令用于生成情景描述/細節描述控制,@LLM用于生成文本控制。