背景信息

Stable Diffusion是由Stability AI開(kāi)發(fā)的圖像AI大模型，能夠根據(jù)文本指令生成全新圖像，也能夠根據(jù)文本指令修改現(xiàn)有圖像。Stable Diffusion WebUI是由AUTOMATIC1111為該模型開(kāi)發(fā)設(shè)計(jì)的可視化瀏覽器界面操作平臺(tái)，用戶即使不具備編程知識(shí)或高級(jí)技術(shù)，也能通過(guò)直觀的前端交互輕松使用模型功能。

通過(guò)WebUI，您可以享受到直觀的操作體驗(yàn)，WebUI不僅賦予用戶直觀方便的操作體驗(yàn)，還能通過(guò)裝載不同的插件和模型以滿足定制化需求，從而創(chuàng)造出更為可控的視覺(jué)作品。

WebUI頁(yè)面介紹

登錄PAI ArtLab，選擇Stable Diffusion（共享版），進(jìn)入WebUI。

模型切換區(qū)域

將下載的模型上傳至OSS對(duì)應(yīng)目錄中，然后刷新WebUI頁(yè)面更新模型。推薦模型下載地址：C站。

文生圖

通用prompt結(jié)構(gòu)

常見(jiàn)的通用范式： 前綴（畫(huà)質(zhì)詞+畫(huà)風(fēng)詞+鏡頭效果+光照效果） + 主體（人物&對(duì)象+姿勢(shì)+服裝+道具） + 場(chǎng)景（環(huán)境+細(xì)節(jié)）

• 使用半角括號(hào)()可以提高權(quán)重，將想要強(qiáng)調(diào)的提示詞括起來(lái)，在提示詞后面增加冒號(hào)和權(quán)重值，例如（beautiful:1.3）。權(quán)重取值范圍推薦（0.4~1.6），權(quán)重過(guò)低容易被忽略，權(quán)重過(guò)高容易過(guò)擬合導(dǎo)致圖片畸形；也可以直接使用半角括號(hào)()來(lái)疊加權(quán)重，每增加一層相當(dāng)于提高1.1倍權(quán)重，例如：(((cute)))

• 權(quán)重計(jì)算公式：

  (PromptA:權(quán)重)：用于提高或降低該提示詞的權(quán)重比例，注：數(shù)值大于1提高，小于1降低。(PromptB)：PromptB的權(quán)重為1.1=(PromptA:1.1) {PromptC}：PromptC的權(quán)重為1.05=(PromptB:1.05) [PromptD]：PromptD的權(quán)重減弱0.952=(PromptC:0.952) ((PromptE)=(PromptE:1.1*1.1) {{PromptF}}=(PromptF:1.05*1.05) [[PromptG]]=(PromptG:0.952*0.952)

• 使用<>可以調(diào)取LoRA和超網(wǎng)絡(luò)模型，輸入格式為：<lora:filename:multiplier>，<hypernet:filename:multiplier>

• 提示詞混合調(diào)度：

  [promptA:promptB:factor]，factor表示從promptA切換到promptB步驟的百分比，范圍為0~1。例如a girl holding an [apple :peach:0.9]和a girl holding an [apple :peach:0.2]，使用相同的Seed值，通過(guò)調(diào)整factor數(shù)值，在生成高度相似的圖片的同時(shí)，對(duì)圖片進(jìn)行微調(diào)，實(shí)現(xiàn)更換圖像中的某一個(gè)元素的功能。

• 常見(jiàn)提示詞描述

  正向提示詞（希望在圖片中出現(xiàn)）		負(fù)向提示詞（不希望在圖片中出現(xiàn)）
  prompt	描述	negative prompt	描述
  HDR,UHD,8K,4K	可以提高圖片的質(zhì)量	mutated hands and fingers	變異的手和手指
  best quality	豐富圖片的細(xì)節(jié)	deformed	畸形的
  masterpiece	杰作	bad anatomy	解剖不良
  Highly detailed	增加圖片細(xì)節(jié)	disfigured	毀容
  Studio lighting	添加演播室燈光，可以給圖片增加紋理	poorly drawn face	臉部畫(huà)得不好
  ultra-fine painting	超精細(xì)繪畫(huà)	mutated	變異的
  sharp focus	聚焦清晰	extra limb	多余的肢體
  physically-based rendering	基于物理渲染	ugly	丑陋
  extreme detail description	刻畫(huà)細(xì)節(jié)	poorly drawn hands	手部畫(huà)得很差
  Vivid Colors	增加圖片色彩	missing limb	missing limb
  (EOS R8, 50mm, F1.2, 8K, RAW photo:1.2)	專業(yè)攝影描述	floating limbs	漂浮的四肢
  Boken	虛化模糊背景，突出主體。	disconnected limbs	肢體不連貫
  Sketch	素描	malformed hands	畸形的手
  Painting	繪畫(huà)	變異的	脫離焦點(diǎn)
  -	-	long neck	長(zhǎng)頸
  -	-	long body	身體長(zhǎng)

效果展示

• 簡(jiǎn)單prompt：在對(duì)應(yīng)區(qū)域輸入正向提示詞和反向提示詞，提示詞越多，AI繪圖結(jié)果會(huì)更加精準(zhǔn)。

  

  

• 復(fù)雜prompt：

  • 正向prompt：8k portrait of beautiful cyborg with brown hair, intricate, elegant, highly detailed, majestic, digital photography, art by artgerm and ruan jia and greg rutkowski surreal painting gold butterfly filigree, broken glass, (masterpiece, sidelighting, finely detailed beautiful eyes: 1.2), hdr

  • 負(fù)向prompt：canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render

  • prompt來(lái)源：請(qǐng)參見(jiàn)C站。

    說(shuō)明

    如果無(wú)法訪問(wèn)，您可能需要設(shè)置代理后再嘗試重新訪問(wèn)。

  • prompt：越靠前的詞權(quán)重越大，根據(jù)自己的需求調(diào)整詞語(yǔ)的順序，例如：主體（Subject）、繪畫(huà)介質(zhì)（Medium）、繪畫(huà)風(fēng)格（Style）、藝術(shù)家名（Artist）、網(wǎng)站（Website）、清晰度（Resolution）、細(xì)節(jié)描述（Additional details）、顏色（Color）、光影效果（Lighting）。在實(shí)際編寫(xiě)的指令中，不需要包含以上所有分組里的關(guān)鍵詞，根據(jù)自己的需求來(lái)設(shè)定關(guān)鍵詞和順序即可。除基礎(chǔ)模型外，已經(jīng)訓(xùn)練好的模型一般會(huì)有隱藏設(shè)置，自動(dòng)觸發(fā)一些固定風(fēng)格，或舍棄部分prompt，根據(jù)實(shí)際情況而定。

    

圖生圖

圖生圖技術(shù)可依據(jù)提示詞描述的特點(diǎn)，將一張圖片轉(zhuǎn)化為具有新特點(diǎn)的另一張圖片，例如將真人照片轉(zhuǎn)為動(dòng)漫形象，或自動(dòng)為畫(huà)作線稿上色。同時(shí)，該功能支持參數(shù)調(diào)整，并具備局部重繪功能，用戶能在指定區(qū)域進(jìn)行重繪而不影響其他部分，也可利用涂鴉畫(huà)筆對(duì)原圖進(jìn)行修改后再次生成。

生成的圖片不僅能作為新的圖生圖輸入以進(jìn)行循環(huán)創(chuàng)作或局部再編輯，還可用于其它附加功能。此外，系統(tǒng)能夠根據(jù)輸入圖片自動(dòng)生成關(guān)鍵詞，通過(guò)CLIP與DeepBooru兩種AI模型實(shí)現(xiàn)反推，其中CLIP適用于寫(xiě)實(shí)風(fēng)格圖片，DeepBooru則適用于動(dòng)漫圖片。

具體操作步驟如下。

ControlNet插件

參數(shù)介紹

ControlNet生圖效果展示