DataHubStream Reader插件通過DataHub SDK實時讀取DataHub數據的功能。
背景信息
插件啟動后一直運行,等待源端DataHub有數據后進行讀取。DataHubStream Reader插件有以下兩個功能:
實時讀取。
根據DataHub Shard個數并發讀取。
操作步驟
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
鼠標懸停至圖標,單擊 。
您也可以展開業務流程,右鍵單擊目標業務流程,選擇
。在新建節點對話框中,選擇同步方式為單表(Topic)到單表(Topic)ETL,輸入名稱,并選擇路徑。
重要節點名稱必須是大小寫字母、中文、數字、下劃線(_)以及英文句號(.),且不能超過128個字符。
單擊確認。
在實時同步節點的編輯頁面,鼠標單擊 并拖拽至編輯面板。
單擊DataHub節點,在節點配置對話框中,配置各項參數。
參數
描述
數據源
選擇已經配置好的DataHub數據源,此處僅支持DataHub數據源。
如果未配置數據源,請單擊右側的新建數據源,跳轉至配置DataHub數據源。
頁面進行新建。詳情請參見Topic
選擇當前數據源下需要同步的Topic。您可以單擊右側的數據預覽進行確認。
使用訂閱模式
如打開訂閱模式,會自動創建訂閱ID,并使用該ID從DataHub訂閱數據,這可以提高穩定性和性能,請不要在DataHub上刪除正在使用的訂閱ID,否則會造成任務失敗。
輸出字段
選擇需要同步的字段。
單擊工具欄中的圖標。
文檔內容是否對您有幫助?