訪問異步推理服務(wù)

如上文介紹，系統(tǒng)會默認為您創(chuàng)建和異步推理服務(wù)同名的服務(wù)群組，因群組內(nèi)的隊列子服務(wù)擁有群組流量入口，您可以直接通過下述路徑訪問隊列子服務(wù)，詳情請參見訪問隊列服務(wù)。

管理異步推理服務(wù)

您可以像管理普通服務(wù)一樣管理異步推理服務(wù)，該服務(wù)的子服務(wù)會由系統(tǒng)自動管理。比如，當您刪除異步推理服務(wù)時，隊列子服務(wù)和推理子服務(wù)都將被同時刪除。或者當您更新推理子服務(wù)時，隊列子服務(wù)維持不變以獲取最大的可用性。

由于采用了子服務(wù)架構(gòu)，雖然您為異步推理子服務(wù)配置了1個實例，實例列表中仍會額外顯示一個隊列子服務(wù)實例。

異步推理服務(wù)的實例數(shù)量指的是推理子服務(wù)實例的數(shù)量，隊列子服務(wù)的實例數(shù)量會隨著推理子服務(wù)的實例數(shù)量自動變化。比如，當您將推理子服務(wù)實例數(shù)量擴容到3時，隊列子服務(wù)的實例數(shù)量擴容到了2。

兩個子服務(wù)間的實例數(shù)量配比規(guī)則如下：

• 當異步推理服務(wù)被停止，則隊列子服務(wù)和推理子服務(wù)的實例數(shù)量均會縮容到0，這時看到的實例列表為空。

• 當推理子服務(wù)的實例數(shù)量為1時，隊列子服務(wù)的實例數(shù)量也將為1，除非您配置了隊列子服務(wù)的參數(shù)。

• 當推理子服務(wù)的實例數(shù)量超過2時，隊列子服務(wù)的實例數(shù)量將保持為2，除非您配置了隊列子服務(wù)的參數(shù)。

• 當您為異步推理服務(wù)配置了自動擴縮容功能，且配置了最小的實例數(shù)量為0，則當推理子服務(wù)縮容到0時，隊列子服務(wù)將保持1個實例待命。

隊列子服務(wù)參數(shù)配置及說明

大多數(shù)情況下，隊列子服務(wù)使用默認配置即可正常使用。如果有特殊需求，您可以通過在JSON文件中最外層的queue配置塊來配置隊列實例。示例如下：

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

下面介紹具體的配置項。

配置隊列子服務(wù)資源

隊列子服務(wù)的資源會默認按照metadata中的字段進行配置，但是在有些使用場景下，您需要參考本章節(jié)，對隊列子服務(wù)的資源進行單獨配置。

• 通過queue.resource聲明隊列子服務(wù)所使用的資源組。

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd****  # 默認跟隨推理子服務(wù)資源組。
    }
  }

  • 隊列子服務(wù)默認跟隨推理子服務(wù)的資源組。

  • 當您需要使用公共資源組部署隊列子服務(wù)時，可以聲明resource為空字符串（""），這在您的專屬資源組CPU和內(nèi)存不充足時非常有用。

    說明

    推薦使用公共資源組部署隊列子服務(wù)。

• 通過queue.cpu和queue.memory聲明每個隊列子服務(wù)實例所使用的CPU（單位：核數(shù)）和內(nèi)存大小（單位：MB）。

  {
    "queue": {
       "cpu": 2,  # 默認值為1。
       "memory": 8000  # 默認值為4000。
    }
  }

  如果您沒有進行資源配置，隊列子服務(wù)將按照1 CPU核、4 GB內(nèi)存進行默認配置。這可以滿足大多數(shù)場景的需求。

  重要

  • 如果您的訂閱者（比如推理子服務(wù)實例的數(shù)量）數(shù)量超過200時，建議將CPU核數(shù)配置為2核以上。

  • 不建議在生產(chǎn)環(huán)境中縮小隊列子服務(wù)的內(nèi)存配置。

• 通過queue.min_replica配置隊列子服務(wù)實例的最小數(shù)量。

  {
    "queue": {
       "min_replica": 3  # 默認為1。
    }
  }

  在使用異步推理服務(wù)時，隊列子服務(wù)實例的數(shù)量將根據(jù)推理子服務(wù)實例的運行時數(shù)量自動調(diào)整，默認的調(diào)整區(qū)間為[1, min{2, 推理子服務(wù)實例的數(shù)量}]。特殊情況下，如果配置異步推理服務(wù)的自動擴縮容規(guī)則并允許將實例數(shù)量縮小到0時，將自動保留1個隊列子服務(wù)實例。您也可以通過queue.min_replica調(diào)整最小保留的隊列子服務(wù)實例數(shù)量。

  說明

  增加隊列子服務(wù)實例的數(shù)量可以提高可用性，但不能提高隊列子服務(wù)的性能。

配置隊列子服務(wù)功能

隊列子服務(wù)擁有多項可配置的功能，您可以通過以下配置方法進行調(diào)整。

• 通過queue.sink.auto_evict或者queue.source.auto_evict分別配置輸出/輸入隊列自動數(shù)據(jù)驅(qū)逐功能。

  {
    "queue": {
       "sink": {
          "auto_evict": true  # 輸出隊列打開自動驅(qū)逐，默認為false。
        },
        "source": {
           "auto_evict": true  # 輸入隊列打開自動驅(qū)逐，默認為false。
        }
    }
  }

  默認情況下隊列子服務(wù)的自動數(shù)據(jù)驅(qū)逐功能處于關(guān)閉狀態(tài)，如果您的隊列已滿將無法繼續(xù)輸入數(shù)據(jù)。在某些場景下，如果您允許數(shù)據(jù)在隊列中溢出，可以選擇打開自動數(shù)據(jù)驅(qū)逐功能，隊列將自動驅(qū)逐最老的數(shù)據(jù)以允許新數(shù)據(jù)寫入。

• 通過queue.max_delivery配置最大投遞次數(shù)。

  {
     "queue": {
        "max_delivery": 10  # 最大投遞次數(shù)為10，默認值：5。當配置為0時，最大投遞次數(shù)關(guān)閉, 數(shù)據(jù)可以被無限次投遞。
     }
  }

  當單條數(shù)據(jù)的嘗試投遞次數(shù)超過設(shè)定閾值時，該數(shù)據(jù)將被視為無法處理，并將其標記為死信。詳情請參見隊列實例的死信策略。

• 通過queue.max_idle配置數(shù)據(jù)的最大處理時間。

  {
      "queue": {
        "max_idle": "1m"  # 配置單條數(shù)據(jù)最大處理時長為1分鐘，如果超過該時間將被投遞給其它訂閱者, 投遞完畢后投遞次數(shù)+1。默認值為0，即沒有最大處理時長。
      }
  }

  示例中配置的時間長度為1分鐘，支持多種時間單位，如h（小時）、m（分鐘）、s（秒）。如果單條數(shù)據(jù)處理的時間超過了這里配置的時長，則有兩種可能：

  • 如果未超過queue.max_delivery設(shè)定的閾值，該條數(shù)據(jù)會被投遞給其他訂閱者。

  • 如果已超過queue.max_delivery設(shè)定的閾值，該條數(shù)據(jù)將會被執(zhí)行死信策略。

• 通過queue.dead_message_policy配置死信策略。

  {
      "queue": {
        "dead_message_policy":  "Rear"  # 枚舉值為Rear（默認值）或者Drop, Rear即為放入隊列末尾，Drop將該條數(shù)據(jù)刪除。 																 
      }
  }

配置隊列最大長度或最大數(shù)據(jù)體積

隊列子服務(wù)的最大長度和最大數(shù)據(jù)體積是此消彼長的關(guān)系，計算關(guān)系如下所示：

隊列子服務(wù)實例內(nèi)存是固定的，因此如果調(diào)整單條數(shù)據(jù)最大體積，則會導致該隊列最大長度減小。

• 通過queue.sink.max_length或者queue.source.max_length分別配置輸出隊列/輸入隊列的最大長度。

  {
      "queue": {
         "sink": {
            "max_length": 8000  # 配置輸出隊列最大長度為8000條數(shù)據(jù)。
         },
         "source": {
            "max_length": 2000  # 配置輸入隊列最大長度為2000條數(shù)據(jù)。
         }
      }
  }

• 通過queue.sink.max_payload_size_kb或者queue.source.max_payload_size_kb分別配置輸出隊列/輸入隊列單條數(shù)據(jù)最大數(shù)據(jù)體積。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  # 配置輸出隊列單條數(shù)據(jù)最大體積是10 KB, 默認8 kB。
         },
         "source": {
            "max_payload_size_kb": 1024  # 配置輸入隊列單條數(shù)據(jù)最大體積是1024 KB(1MB), 默認是8 kB。
         }
      }
  }

配置內(nèi)存分配傾斜

• 通過queue.sink.memory_ratio來調(diào)整輸入輸出兩個隊列占用的內(nèi)存大小。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  # 配置輸出隊列內(nèi)存占比，默認值為0.5。
         }
      }
  }

  說明

  默認配置下，輸入隊列和輸出隊列均分隊列子服務(wù)實例的內(nèi)存。如果您的服務(wù)需要輸入文本、輸出圖片，并期望在輸出隊列存放更多數(shù)據(jù)，則可以將queue.sink.memory_ratio相應提高；相反，如果您期望輸入圖片、輸出文本，則可以將queue.sink.memory_ratio相應減小。