離線模式配置概述
對(duì)于流批一體任務(wù)的離線模式您需定義該任務(wù)實(shí)時(shí)相關(guān)的屬性，包括任務(wù)資源、時(shí)間參數(shù)、Checkpoint等。本文為您介紹流批一體任務(wù)實(shí)時(shí)模式配置的相關(guān)內(nèi)容。
離線模式配置入口
在Dataphin首頁，單擊頂部菜單欄的研發(fā)。
按照下圖操作指引，進(jìn)入流批一體任務(wù)離線模式配置面板。
配置離線模式
在離線模式配置面板，您需根據(jù)下表配置流批一體任務(wù)離線模式的資源與依賴關(guān)系相關(guān)參數(shù)。
配置項(xiàng) | 描述 |
調(diào)度配置 | 調(diào)度配置用于定義節(jié)點(diǎn)在生產(chǎn)環(huán)境的周期調(diào)度方式。您可以通過配置屬性中調(diào)度屬性，配置任務(wù)調(diào)度周期與生效日期等。配置說明，請(qǐng)參見離線模式調(diào)度配置。 |
資源配置 |
|
變量配置 | 用于配置實(shí)時(shí)計(jì)算任務(wù)的變量參數(shù)。配置說明，請(qǐng)參見離線模式變量配置。 |
運(yùn)行參數(shù) | 在開發(fā)流批一體任務(wù)時(shí)，通常需要配置任務(wù)離線模式的運(yùn)行參數(shù)，以控制任務(wù)的執(zhí)行行為和性能。例如，JobManager在內(nèi)存中保存執(zhí)行嘗試歷史記錄的大小、TaskManager中slot的超時(shí)時(shí)間等。配置說明，請(qǐng)參見離線模式運(yùn)行參數(shù)配置。 |
依賴文件 | 若您的流批一體任務(wù)的離線模式運(yùn)行需要依賴外部資源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上傳對(duì)應(yīng)資源文件后，將所上傳的資源文件添加到任務(wù)的依賴文件，使任務(wù)能夠正常運(yùn)行。配置說明，請(qǐng)參見離線模式依賴文件配置。 |
依賴關(guān)系 | 流批一體任務(wù)的離線模式通過各個(gè)節(jié)點(diǎn)的調(diào)度依賴配置結(jié)果，有序的運(yùn)行業(yè)務(wù)流程中各個(gè)節(jié)點(diǎn)，保障業(yè)務(wù)數(shù)據(jù)有效、適時(shí)地產(chǎn)出。配置說明，請(qǐng)參見離線模式依賴關(guān)系配置。 |