日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

實時模式配置概述

對于流批一體任務的實時模式您需定義該任務實時相關的屬性,包括任務資源、時間參數、Checkpoint等。本文為您介紹流批一體任務實時模式配置的相關內容。

實時模式配置入口

  1. 在Dataphin首頁,單擊頂部菜單欄的研發。

  2. 按照下圖操作指引,進入流批一體任務實時模式配置面板。

    image.png

配置實時模式

在實時模式配置面板,您需根據下表配置流批一體任務實時模式的資源與依賴關系相關參數。

配置項

描述

資源配置

  • Ververica Flink實時計算源

    對于Ververica Flink創建的流批一體任務,任務的實時模式資源配置支持配置任務的生產環境和開發環境的資源隊列、引擎版本以及任務的并行度、Task Manager數量、Job Manager Momory和Task Manager Momory。配置說明,請參見配置Ververica Flink實時模式資源。

  • Alibaba Blink實時計算源

    對于Alibaba Blink創建的流批一體任務,任務的實時模式資源配置支持配置任務的生產環境和開發環境的資源隊列、引擎版本以及任務的并行度、Task Manager數量、Job Manager Momory和Task Manager Momory。配置說明,請參見配置Alibaba Blink實時模式資源。

屬性配置(時間參數)

用于配置實時計算任務的運行時間偏移。配置說明,請參見實時模式時間參數配置。

Checkpoint配置

實時任務的Checkpoint可以將任務的狀態保存到持久化存儲中,可有效的幫助當前任務運行意外崩潰后,重新運行程序時恢復到崩潰前的狀態。配置說明,實時模式Checkpoint配置

State配置

State是Flink實時任務維持和管理數據狀態的機制。通過合理的配置Flink的State數據過期時間可以提高資源利用率、內存管理、數據一致性和容錯性。配置說明,請參見實時模式State配置。

運行參數

在開發實時任務時,通常需要配置任務的運行參數,以控制任務的執行行為和性能。例如,JobManager 進程的內存大小、TaskManager中slot的超時時間等。實時模式運行參數配置

依賴文件

若您的實時任務運行需要依賴外部資源文件,例如文本文件、Python文件、Jar文件等,您可以在Dataphin上傳對應資源文件后,將所上傳的資源文件添加到任務的依賴文件,使任務能夠正常運行。配置說明,請參見實時模式依賴文件配置

依賴關系

配置實時任務的依賴關系,可幫助您排查調試時快速了解數據的上下游任務。配置說明,請參見實時模式依賴關系配置。