AIGC是指通過人工智能技術自動生成內容的生產方式,其中,文生圖(Text-to-image Generation)任務是流行的跨模態生成任務,旨在生成與給定文本對應的圖像。本文實現的主要功能是在阿里云DSW中,通過對AIGC Stable Diffusion文生圖Lora模型進行模型微調,并啟動WebUI進行模型推理實現虛擬上裝。
背景信息
WebUI文生圖推理效果如圖所示。
前提條件
已創建工作空間,詳情請參見創建工作空間。
已創建DSW實例,其中關鍵參數配置如下。具體操作,請參見創建及管理DSW實例。
實例規格選擇:ecs.gn6v-c8g1.2xlarge。
選擇鏡像:
地域
鏡像地址
華東1(杭州)
在官方鏡像頁簽,選擇stable-diffusion-webui-develop:1.0.0-pytorch2.01-gpu-py310-cu117-ubuntu22.04。
華北2(北京)
華東2(上海)
華南1(深圳)
步驟一:在DSW中打開教程文件
進入PAI-DSW開發環境。
登錄PAI控制臺。
在頁面左上方,選擇DSW實例所在的地域。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊默認工作空間名稱,進入對應工作空間內。
在左側導航欄,選擇模型開發與訓練>交互式建模(DSW)。
單擊需要打開的實例操作列下的打開,進入PAI-DSW實例開發環境。
在Notebook頁簽的Launcher頁面,單擊快速開始區域Tool下的DSW Gallery,打開DSW Gallery頁面。
在DSW Gallery頁面中,搜索并找到AIGC Stable diffusion文生圖Lora模型微調實現虛擬上裝教程,單擊教程卡片中的在DSW中打開。
單擊后即會自動將本教程所需的資源和教程文件下載至DSW實例中,并在下載完成后自動打開教程文件。
步驟二:運行教程文件
在打開的教程文件stable_diffusion_try_on.ipynb文件中,您可以直接看到教程文本,您可以在教程文件中直接運行教程。本教程一共3個運行步驟:
安裝Diffusers。
微調Stable Diffusion Lora模型。
在DSW中啟動WebUI。
在教程文件中直接運行對應的步驟的命令時,當成功運行結束一個步驟命令后,再順次運行下個步驟的命令。
當第4步啟動WebUI運行完成后,在返回的運行詳情結果中單擊URL鏈接(http://127.0.0.1:7860),進入WebUI頁面。后續您可以在該頁面進行模型推理。
說明由于
http://127.0.0.1:7860
為內網訪問地址,僅支持在當前的DSW實例內部通過單擊鏈接來訪問WebUI頁面,不支持通過外部瀏覽器直接訪問。
步驟三:推理結果驗證
完成以上操作后,您已經成功完成了AIGC文生圖模型微調訓練及WebUI部署。您可以在WebUI頁面,進行模型推理驗證。
在文生圖頁簽配置以下參數:
Prompt:
cloth1,<lora:koreanDollLikeness_v10:0.4>, (extremely detailed CG unity 8k wallpaper),(RAW photo, best quality), (realistic, photo-realistic:1.2), a close up portrait photo, 1girl, shopping mall rooftop cafe, outdoor, smile, (high detailed skin:1.4), puffy eyes, gorgeous hair, air bangs, brown black hair, soft lighting, high quality,<lora:cloth_lora_weights:1>
Negative prompt:
ng_deepnegative_v1_75t,paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), (grayscale:1.2), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,(watermark:1.2),(letters:1.2),(nsfw:1.2),teeth
采樣方法(Sampler): Euler a
采樣迭代步數(Steps): 50
寬度和高度: 640,768
隨機種子(seed): 1400244389
提示詞相關性(CFG Scale):7
選中面部修復復選框
單擊生成,輸出如圖推理結果。