在調用API時會消耗一定的資源組,為了防止資源組不能正常訪問數據源,或資源(CPU、內存)不足導致API調用異常、高頻調用請求被限流等問題,您需要確保資源組的網絡連通性和充足的性能。本文為您介紹資源組規劃時的注意項及不同資源組類型的使用建議。
基本概念
資源組是指數據服務的API調用請求運行所占的計算資源。通常資源組以機器的形式展現,即CPU、內存和帶寬的大小。API調用流程為:用戶發起API調用請求,調用請求會先被API網關接收,再被轉發至數據服務的服務器,最后被轉發至目標數據源中執行數據查詢。
資源組分類
資源組可分為公共資源組和獨享資源組兩類。
獨享資源組(推薦使用):
購買后可獨占使用的資源組。在需要保障高并發和高頻率的API調用時,您可以使用Serverless資源組(推薦)或獨享數據服務資源組。
公共資源組(僅用于測試):
DataWorks提供的、所有用戶可共享使用的資源組,公共資源組使用高峰期可能會出現不同用戶間搶占資源的情況。更多公共資源組的介紹可參見使用公共資源組。
資源規劃關鍵:連通性和性能
您在使用資源組時,需要關注資源組的連通性和性能兩方面:
連通性:
發起API調用請求時,請求會下發至數據服務的服務器,并被進一步轉發至數據源中執行數據查詢,因此需要保證資源組可以訪問相應的數據源及其所在的網絡。您需要在保證網絡連通的前提下,再使用數據服務;如果網絡不通,會導致API調用請求無法執行。
性能:
執行API調用任務時,會占用資源組所在機器的CPU、內存和網絡等資源。如果資源不足,會導致API調用異常、高頻調用請求被限流,以及無法及時返回查詢結果等問題。您需要給予API調用任務充足的資源,以保障API調用請求的順利執行。建議您使用獨享資源組,將發起的API調用任務運行在獨立的環境中,無需受到公共資源池的影響。獨享資源組的性能指標可參見獨享數據服務資源組計費說明:包年包月。
資源組對比和建議
兩種類型的資源組適用于不同的場景,以下通過在資源組歸屬、網絡連通、收費方式、實際性能等維度為您對比展示各資源組的現狀。您創建API時,可以根據自身需求選擇合適的資源組。
類別 | 獨享資源組 | 公共資源組 |
機器資源歸屬 | 由DataWorks維護,是每個租戶自身獨占使用的計算資源。 | 由DataWorks維護,是所有租戶競爭使用的共享資源。 |
網絡 | 支持公網、阿里云VPC網絡(實例模式&連接串模式)、IDC網絡下的數據源。 | 支持公網、阿里云VPC(實例模式)、阿里云經典網絡下的數據源。 說明 深圳金融云暫不支持使用公共資源組訪問經典網絡下的數據源。 |
收費方式 | 根據資源組的規格,包年包月計費。 | 根據調用次數和調用時長用量,以階梯價的形式按量收費。 |
支持的數據源 | ClickHouse、Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS、StarRocks、Doris(持續豐富中) | Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS |
最大每秒請求數(QPS)① | 不同規格獨享資源組的QPS閾值不同:
可根據實際需求靈活選擇不同規格資源組來保障不同QPS量級。 說明 一個獨享資源組可以綁定至多個工作空間、多個API。 當API調用量超過各規格資源組的QPS閾值后,將觸發系統限流,API調用失敗。 | 每個租戶賬號、每個地域最高支持200 QPS ,如需提高QPS閾值,請切換為獨享資源組。 當API調用量超過200 QPS時,將觸發系統限流,API調用失敗。 |
超時時長限制 | 30s | 10s |
可靠性 | 高 | 低 |
安全性 | 高 | 高 |
適用場景 | 高并發、高頻率的在線調用,復雜的查詢語句,海量數據返回。 | 低并發、低頻率的調用場景 |
推薦指數 | ★★★★★ | ★★★ |
api.s1.small、api.s1.medium、api.s1.large規格資源組不再支持新購,已保有的此規格資源組僅支持進行升配、降配、釋放操作。
注釋①:獨享資源組的QPS閾值是基于實際業務場景進行測算得出,您可以參考以下信息估算QPS閾值。
是否以腳本模式生成API。
API是否開啟返回結果分頁功能。
API內配置的SQL在數據源平均執行時長為100毫秒。
API單次調用返回數據的平均大小為3000字節。
因此,如果您的實際業務場景與上述數據有較大出入,請加入DataWorks釘釘群咨詢技術支持,我們會根據您的實際業務場景推薦合適的資源組規格。
根據上表兩種類型的對比,推薦您使用獨享資源組來進行API調用。
資源組配置引導
使用Serverless資源組時,需要確保資源組與所選數據源之間網絡連通正常,詳情請參見:網絡連通。
使用獨享服務資源組時,需要根據數據源所在的網絡環境,選擇網絡連通方案,并配置白名單,請參見:獲取白名單IP地址:獨享數據服務資源組。
使用公共資源組時,需要在數據源中添加對應地域的白名單,白名單的配置,請參見獲取白名單IP地址:公共資源組。
為Serverless資源組配置數據服務配額
如果您的數據服務使用Serverless資源組,則在配置服務資源組選擇獨享服務資源組前,需要為Serverless資源組配置數據服務配額。
如果沒有為Serverless資源組配置數據服務配額,則在選擇獨享服務資源組時,無法選中目標資源組。
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
單擊Serverless資源組操作列,選擇配額管理,對數據服務分配當前占用CU(按量付費資源組選擇)或CU保障(包年包月資源組選擇)。
按量付費資源組
包年包月資源組
完成當前占用CU分配后,單擊確認進行保存。
進入數據服務頁面,重新配置獨享服務資源組。