迭代(Map)
迭代(Map)狀態(tài)允許用戶對一個數(shù)組中的每個元素執(zhí)行相同的操作,從而簡化大規(guī)模數(shù)據(jù)的處理和工作流的管理。
迭代狀態(tài)的處理模式
為了提高數(shù)據(jù)處理的效率,適應(yīng)不同的應(yīng)用場景,迭代狀態(tài)提供了以下兩種處理模式:
內(nèi)聯(lián)模式
迭代(Map)狀態(tài)的每次迭代都在包含迭代(Map)狀態(tài)的工作流的上下文中運行。默認情況下,迭代(Map)狀態(tài)是內(nèi)聯(lián)模式。更多信息,請參見內(nèi)聯(lián)模式。
分布式模式
迭代(Map)狀態(tài)將每次迭代作為子工作流執(zhí)行,最高支持10000個Map迭代。更多信息,請參見分布式模式。
內(nèi)聯(lián)模式和分布式模式的區(qū)別
對比項 | 內(nèi)聯(lián)模式 | 分布式模式 |
數(shù)據(jù)來源 | 從工作流上一步狀態(tài)獲取數(shù)據(jù)。 |
|
迭代過程 | 迭代(Map)狀態(tài)的每次迭代都在包含迭代(Map)狀態(tài)的工作流的上下文中運行。 | 迭代(Map)狀態(tài)將每次迭代作為子工作流執(zhí)行,最高支持10000個Map迭代。 |
迭代的最大并發(fā)數(shù) | 默認最大并發(fā)數(shù)是40。 | 默認最大并發(fā)數(shù)是100,可通過工單提交配額提升申請。 |
迭代的最大次數(shù) | 默認最大迭代次數(shù)沒有限制,但迭代Output的總大小受到Event IO Size 的限制。 | 默認最大迭代次數(shù) 10000,可通過工單提升至最大1000000。 |
有效載荷 | 強制限制64 KB的輸入有效負載大小。 | 通過ItemReader讀取外部輸入時不受64 KB的輸入有效負載大小限制。 |