通義萬相

通義萬相-文本生成圖像是基于自研的Composer組合生成框架的AI繪畫創作大模型，能夠根據用戶輸入的文字內容，生成符合語義描述的多樣化風格的圖像。通過知識重組與可變維度擴散模型，加速收斂并提升最終生成圖片的效果，布局自然、細節豐富、畫面細膩、結果逼真。AI深度理解中英文文本語義，讓文字秒變精致AI畫作。

• 當前模型支持的風格包括但不限于：

  水彩、油畫、中國畫、素描、扁平插畫、二次元、3D卡通。

• 支持中英文雙語輸入。

• 支持客戶自定義咒語書/修飾詞，可生成不同風格、不同主題、不同派別的圖片，滿足個性創意的AI圖片生成需求。

• 支持輸入參考圖片進行參考內容或者參考風格遷移，支持更豐富的風格、主題和派別，AI作畫質量更加高保真。

• 參考內容：

  

  主要參考圖片的組成內容。如上圖所示，在不改變圖片主要內容的情況下可根據文本描述改變參考圖的畫面風格。

• 參考風格：

  

  主要參考圖片的畫面風格。如上圖所示，可以將圖片的顏色、筆觸、材質等作為參考，用來生成同種風格的圖像。

應用場景

• 藝術與設計創作：設計師和創意工作者快速生成概念草圖、插畫、海報、包裝設計、甚至數字藝術品，極大地縮短了構思到成品的時間，降低了創作門檻，文生圖技術提供了無限的靈感源泉和高效的原型生成工具。

• 廣告與營銷物料生成：文生圖能夠即時響應廣告文案，生成符合品牌調性、產品特性和營銷策略的視覺內容，節省了傳統拍攝與后期制作的成本，廣告內容根據實時熱點迅速調整，實現高度定制化和敏捷營銷。

• 教育與培訓資源制作：教育工作者和培訓師利用文生圖模型來創建生動、直觀的教學素材，有助于提升教學內容的吸引力和理解度，定制化的圖像資源還能用于制作互動課件、電子教科書，豐富教育資源庫。

• 新聞與媒體內容生產：新聞機構和內容平臺采用文生圖技術來增強報道的視覺呈現，即時生成的視覺內容不僅能吸引讀者注意力，提高閱讀體驗，還能確保新聞報道的時效性和準確性。

• 游戲與娛樂內容開發：游戲開發者借助文生圖大模型來快速生成游戲內的角色、道具、環境元素等美術資源，用于動態生成游戲NPC（非玩家角色）外觀或定制化的玩家角色，增加游戲世界的多樣性和沉浸感。

• 室內設計與家居裝飾：室內設計師和家居平臺利用文生圖模型為客戶提供虛擬設計方案，可生成相應的空間布局、色彩搭配及裝飾細節的三維視圖或渲染圖，便于設計師快速迭代修改。

• 時尚與服裝設計：時尚設計師和電商平臺利用文生圖技術進行服裝設計和虛擬試穿體驗。電商平臺則可以結合用戶身材數據，讓用戶輸入文字描述想要的服裝款式或風格，生成個性化虛擬試穿圖片。

• 圖書封面與插圖生成：出版社和獨立作者利用文生圖模型自動生成與書籍主題契合的封面設計和內頁插圖，模型將創作出引人入勝的封面圖像，自動化地為用戶提供定制封面選項，簡化流程。

特色優勢

• 知識重組&可變維擴散模型：基于自研的Composer組合生成框架的AI繪畫創作大模型，通過知識重組與可變維度擴散模型，生成符合語義描述的多樣化風格的圖像。

• 效果業界領先：生成圖像語義一致性更精準，AI繪畫創作布局自然、細節豐富、畫面細膩、結果逼真。

模型概覽

輸入限制

參考圖輸入限制：

• 圖像格式：JPG、JPEG、PNG、BMP。

• 圖像大小：不超過10 MB。

• 圖像分辨率：大于256×256像素，小于4096×4096像素。

• URL地址中不能包含中文字符。

前提條件

• 已開通服務并獲得API-KEY：API-KEY的獲取與配置。

• 已安裝最新版SDK：安裝DashScope SDK

設置API-KEY

export DASHSCOPE_API_KEY=YOUR_DASHSCOPE_API_KEY

同步調用模式

from http import HTTPStatus
from urllib.parse import urlparse, unquote
from pathlib import PurePosixPath
import requests
from dashscope import ImageSynthesis


def simple_call():
    prompt = 'Mouse rides elephant'
    rsp = ImageSynthesis.call(model=ImageSynthesis.Models.wanx_v1,
                              prompt=prompt,
                              n=4,
                              size='1024*1024')
    if rsp.status_code == HTTPStatus.OK:
        print(rsp.output)
        print(rsp.usage)
        # save file to current directory
        for result in rsp.output.results:
            file_name = PurePosixPath(unquote(urlparse(result.url).path)).parts[-1]
            with open('./%s' % file_name, 'wb+') as f:
                f.write(requests.get(result.url).content)
    else:
        print('Failed, status_code: %s, code: %s, message: %s' %
              (rsp.status_code, rsp.code, rsp.message))


if __name__ == '__main__':
    simple_call()

// Copyright (c) Alibaba, Inc. and its affiliates.

import com.alibaba.dashscope.aigc.imagesynthesis.ImageSynthesis;
import com.alibaba.dashscope.aigc.imagesynthesis.ImageSynthesisListResult;
import com.alibaba.dashscope.aigc.imagesynthesis.ImageSynthesisParam;
import com.alibaba.dashscope.aigc.imagesynthesis.ImageSynthesisResult;
import com.alibaba.dashscope.task.AsyncTaskListParam;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.NoApiKeyException;

public class Main {
  public static void basicCall() throws ApiException, NoApiKeyException {
    ImageSynthesis is = new ImageSynthesis();
    ImageSynthesisParam param =
        ImageSynthesisParam.builder()
            .model(ImageSynthesis.Models.WANX_V1)
            .n(4)
            .size("1024*1024")
            .prompt("雄鷹自由自在的在藍天白云下飛翔")
            .build();

    ImageSynthesisResult result = is.call(param);
    System.out.println(result);
  }

  public static void listTask() throws ApiException, NoApiKeyException {
    ImageSynthesis is = new ImageSynthesis();
    AsyncTaskListParam param = AsyncTaskListParam.builder().build();
    ImageSynthesisListResult result = is.list(param);
    System.out.println(result);
  }

  public void fetchTask() throws ApiException, NoApiKeyException {
    String taskId = "your task id";
    ImageSynthesis is = new ImageSynthesis();
    // If set DASHSCOPE_API_KEY environment variable, apiKey can null.
    ImageSynthesisResult result = is.fetch(taskId, null);
    System.out.println(result.getOutput());
    System.out.println(result.getUsage());
  }

  public static void main(String[] args){
    try{
      basicCall();
      //listTask();
    }catch(ApiException|NoApiKeyException e){
      System.out.println(e.getMessage());
    }
    System.exit(0);
  }
}

參數配置

返回結果

• 返回結果示例1：

{
    "status_code": 200,
    "request_id": "b54ffeb8-6212-9dac-808c-b3771cba3788",
    "code": null,
    "message": "",
    "output": {
        "task_id": "996523eb-034d-459b-ac88-b340b95007a4",
        "task_status": "SUCCEEDED",
        "results": [
            {
                "url": "RESULT_URL1"
            },
            {
                "url": "RESULT_URL2"
            },
            {
                "url": "RESULT_URL3"
            },
            {
                "url": "RESULT_URL4"
            }
        ],
        "task_metrics": {
            "TOTAL": 4,
            "SUCCEEDED": 4,
            "FAILED": 0
        }
    },
    "usage": {
        "image_count": 4
    }
}

• 返回結果示例2：示例中看到有這類錯誤碼信息InvalidParameter.DataInspectio會一同和正常沒有問題的url一起返回屬于正常現象，表示是當前這個提示錯誤信息的url數據檢查錯誤，媒體格式不支持或不正確，可以重新發起請求再獲取一張圖片。

{
    "status_code": 200,
    "request_id": "b54ffeb8-6212-9dac-808c-b3771cba3788",
    "code": null,
    "message": "",
    "output": {
        "task_id": "996523eb-034d-459b-ac88-b340b95007a4",
        "task_status": "SUCCEEDED",
        "results": [
            {
                "url": "RESULT_URL1"
            },
            {
                "url": "RESULT_URL2"
            },
            {
                "code": "InvalidParameter.DataInspection",
                "message": "Unable to download the media resource during the data inspection process."
            },
            {
                "url": "RESULT_URL4"
            }
        ],
        "task_metrics": {
            "TOTAL": 4,
            "SUCCEEDED": 4,
            "FAILED": 0
        }
    },
    "usage": {
        "image_count": 4
    }
}

• 返回結果示例3：示例中看到有這類錯誤碼信息DataInspectionFailed會一同和正常的url一起返回屬于正常現象，數據檢查錯誤，輸出包含疑似敏感內容被綠網攔截。

  {
      "status_code": 200,
      "request_id": "b54ffeb8-6212-9dac-808c-b3771cba3788",
      "code": null,
      "message": "",
      "output": {
          "task_id": "996523eb-034d-459b-ac88-b340b95007a4",
          "task_status": "SUCCEEDED",
          "results": [
              {
                  "url": "RESULT_URL1"
              },
              {
                  "code": "DataInspectionFailed",
                  "message": "Output data may contain inappropriate content."
              },
              {
                  "url": "RESULT_URL3"
              },
              {
                  "url": "RESULT_URL4"
              }
          ],
          "task_metrics": {
              "TOTAL": 4,
              "SUCCEEDED": 4,
              "FAILED": 0
          }
      },
      "usage": {
          "image_count": 4
      }
  }

• 返回參數說明

  返回參數	類型	說明
  status_code	integer	200（HTTPStatus.OK）表示請求成功，否則表示請求失敗，可以通過code獲取錯誤碼，通過message字段獲取錯誤詳細信息。
  request_Id	string	系統生成的標志本次調用的id。
  code	string	表示請求失敗，表示錯誤碼，成功忽略。
  message	string	失敗，表示失敗詳細信息，成功忽略。
  output	object	調用結果信息，對于通義萬象模型，包含輸出text。
  output.task_id	string	異步任務id。
  output.task_status	string	任務狀態： SUCCEEDED：任務執行成功 FAILED：任務執行失敗 CANCELED：任務被取消 PENDING：任務排隊中 SUSPENDED：任務掛起 RUNNING：任務處理中
  output.results	array	生成結果，每個元素為生成圖片的URL。
  output.task_metrics	object	任務結果信息： TOTAL：期望生成數量 SUCCEEDED：成功生成數量 FAILED：失敗數量
  usage	object	image_count用于計量的圖片個數。

from http import HTTPStatus
from dashscope import ImageSynthesis


# 創建異步任務
def create_async_task():
    rsp = ImageSynthesis.async_call(model=ImageSynthesis.Models.wanx_v1,
                                    prompt='Eagle flying in blue sky',
                                    n=4,
                                    size='1024*1024')
    print(rsp)
    if rsp.status_code == HTTPStatus.OK:
        print(rsp.output)
        print(rsp.usage)
    else:
        print('Failed, status_code: %s, code: %s, message: %s' %
              (rsp.status_code, rsp.code, rsp.message))
    return rsp


# 獲取異步任務信息
def fetch_task_status(task):
    status = ImageSynthesis.fetch(task)
    print(status)
    if status.status_code == HTTPStatus.OK:
        print(status.output.task_status)
    else:
        print('Failed, status_code: %s, code: %s, message: %s' %
              (status.status_code, status.code, status.message))


# 等待異步任務結束
def wait_task(task):
    rsp = ImageSynthesis.wait(task)
    print(rsp)
    if rsp.status_code == HTTPStatus.OK:
        print(rsp.output.task_status)
    else:
        print('Failed, status_code: %s, code: %s, message: %s' %
              (rsp.status_code, rsp.code, rsp.message))


# 取消異步任務，只有處于PENDING狀態的任務才可以取消
def cancel_task(task):
    rsp = ImageSynthesis.cancel(task)
    print(rsp)
    if rsp.status_code == HTTPStatus.OK:
        print(rsp.output.task_status)
    else:
        print('Failed, status_code: %s, code: %s, message: %s' %
              (rsp.status_code, rsp.code, rsp.message))


if __name__ == '__main__':
    task_info = create_async_task()
    fetch_task_status(task_info)
    wait_task(task_info)

異步任務輸出

{
    "status_code": 200,
    "request_id": "814762c1-6565-917d-9f6b-bcfa1cc26117",
    "code": "",
    "message": "",
    "output": {
        "task_id": "ea06d3c3-15fa-4487-aee5-348392f4fdcd", # 任務ID
        "task_status": "PENDING", # 任務狀態
        "results": []
    },
    "usage": null
}

任務信息輸出

{
    "status_code": 200,
    "request_id": "d8811fd1-fc33-9a64-90d8-69cd94051239",
    "code": null,
    "message": "",
    "output": {
        "task_id": "4257e084-30ce-46f1-8f59-5d4d8b3807ec",
        "task_status": "RUNNING",
        "results": [],
        "task_metrics": {
            "TOTAL": 4,
            "SUCCEEDED": 0,
            "FAILED": 0
        }
    },
    "usage": null
}

HTTP調用接口

功能描述

本模型需要相對較長的算法調用時間，所以在接口層面采用了異步調用的方式進行任務提交，在通過任務接口提交作業之后，系統會返回對應的作業ID，隨后客戶可以通過對應的異步作業查詢接口獲取任務的狀態并且在作業到達最終完成態后取回對應的作業結果。

前提條件

已開通服務并獲得API-KEY：API-KEY的獲取與配置。

POST https://dashscope.aliyuncs.com/api/v1/services/aigc/text2image/image-synthesis

curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text2image/image-synthesis' \
--header 'X-DashScope-Async: enable' \
--header 'Authorization: Bearer <YOUR-DASHSCOPE-API-KEY>' \
--header 'Content-Type: application/json' \
--data '{
    "model": "wanx-v1",
    "input": {
        "prompt": "一只奔跑的貓"
    },
    "parameters": {
        "style": "<sketch>", 
        "size": "1024*1024",
        "n":4, 
        "seed":42,
        "strength": 0.5,
        "ref_mode": "repaint"
    }
}'

{
    "output": {
	"task_id": "13b1848b-5493-4c0e-8c44-68d038b492af", 
    	"task_status": "PENDING"
    }
    "request_id": "7574ee8f-38a3-4b1e-9280-11c33ab46e51"
}

{
    "code":"InvalidApiKey",
    "message":"Invalid API-key provided.",
    "request_id":"fb53c4ec-1c12-4fc4-a580-cdb7c3261fc1"
}

GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}

curl -X GET \
--header 'Authorization: Bearer <YOUR-DASHSCOPE-API-KEY>' \
https://dashscope.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-af6e-a0c6a421c010

{
    "request_id":"e5d70b02-ebd3-98ce-9fe8-759d7d7b107d",
    "output":{
        "task_id":"86ecf553-d340-4e21-af6e-a0c6a421c010",
        "task_status":"RUNNING",
        "task_metrics":{
            "TOTAL":4,
            "SUCCEEDED":1,
            "FAILED":0
        }
    }
}

{
    "request_id":"85eaba38-0185-99d7-8d16-4d9135238846",
    "output":{
        "task_id":"86ecf553-d340-4e21-af6e-a0c6a421c010",
        "task_status":"SUCCEEDED",
        "results":[
            {
                "url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/123/a1.png
            },
            {
                "url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/123/b2.png
            }
        ],
        "task_metrics":{
            "TOTAL":2,
            "SUCCEEDED":2,
            "FAILED":0
        }
    },
    "usage":{
        "image_count":2
    }
}

{
    "request_id":"85eaba38-0185-99d7-8d16-4d9135238846",
    "output":{
        "task_id":"86ecf553-d340-4e21-af6e-a0c6a421c010",
        "task_status":"SUCCEEDED",
        "results":[
            {
                "url":"https://dashscope-result-bj.oss-cn-beijing.aliyuncs.com/123/a1.png
            },
            {
              	"code": "InternalError.Timeout"
		"message": "An internal timeout error has occured during execution, please try again later or contact service support."
            }
        ],
        "task_metrics":{
            "TOTAL":2,
            "SUCCEEDED":1,
            "FAILED":1
        }
    },
    "usage":{
        "image_count":1
    }
}

{
    "request_id":"e5d70b02-ebd3-98ce-9fe8-759d7d7b107d",
    "output":{
        "task_id":"86ecf553-d340-4e21-af6e-a0c6a421c010",
        "task_status":"FAILED",
        "code":"InvalidParameter"
	"message":"The size is not match the allowed size ['1024*1024', '720*1280', '1280*720']"
        "task_metrics":{
            "TOTAL":4,
            "SUCCEEDED":0,
            "FAILED":4
        }
    }
}

狀態碼說明

DashScope通用狀態碼請查閱：返回狀態碼說明。