日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

配置Doris輸入組件

配置Doris輸入組件后,可以讀取Doris數據源中的數據至Dataphin,進行數據集成與數據開發。本文為您介紹如何配置Doris輸入組件。

前提條件

  • 已創建Doris數據源。具體操作,請參見新建Doris數據源

  • 進行Doris輸入組件屬性配置的賬號,需具備該數據源的同步讀權限。如果沒有權限,則需要申請數據源權限。具體操作,請參見申請數據源權限

操作步驟

  1. 請參見離線管道組件開發入口,進入離線單條管道腳本開發頁面。

  2. 按照以下操作指引,進入Doris輸入配置對話框。

    單擊組件庫->單擊輸入->拖動Doris輸入組件至畫布->單擊image配置圖標。

    image

  3. Doris輸入配置對話框中,配置參數。

    參數

    描述

    步驟名稱

    Doris輸入組件的名稱。Dataphin自動生成步驟名稱,您也可以根據業務場景修改。命名規則如下:

    • 只能包含漢字、字母、下劃線(_)、數字。

    • 不能超過64個字符。

    數據源

    在數據源下拉列表中,展示當前Dataphin中所有Doris類型的數據源,包括您已擁有同步讀權限的數據源和沒有同步讀權限的數據源。

    • 對于您沒有同步讀權限的數據源,您可以單擊數據源后的申請,申請對應數據源的讀取權限。申請數據源讀取權限。具體操作,請參見申請數據源權限

    • 如果您還沒有Doris類型的數據源,單擊新建,創建數據源。具體操作,請參見新建Doris數據源

    來源表量

    根據實際場景需要,選擇單張表或多張具有相同表結構的表,作為輸入。來源表量包括單表多表

    • 單表:適用于將一個表的業務數據同步至一個目標表的場景。

    • 多表:適用于將多個表的業務數據同步至同一個目標表的場景。多個表的數據寫入同一個數據表時,使用union算法。

      union說明,請參見交集(INTERSECT)、并集(UNION)和補集(EXCEPT)

    選擇來源表:

    • 如果來源表量選擇了單表,則單擊geg圖標,選擇輸入的

    • 如果來源表選擇了多表,則執行以下操作添加表。

      1. 在輸入框中,輸入表的表達式,篩選具有相同結構的表。

        系統支持枚舉形式、類正則形式及兩者混合形式,例如table_[001-100];table_102

      2. 單擊gega圖標。

      3. 確認匹配詳情對話框中,選擇匹配的表。

      4. 單擊確認

    切分鍵

    您可以將源數據表中字段類型為整型的某一列作為切分鍵,推薦使用主鍵或有索引的列作為切分鍵。讀取數據時,根據配置的切分鍵字段進行數據分片,實現并發讀取,可以提升數據同步效率。

    批量讀取條數

    一次性讀取數據的條數。在從源數據庫讀取數據時,可以配置一個特定的批量讀取條數(如1024條記錄),而不是一條一條地讀取,以減少與數據源之間的交互次數,提高I/O效率,并降低網絡延遲。

    輸入過濾

    配置抽取數據的篩選條件,配置說明如下:

    • 配置固定值,抽取對應的數據,例如ds=20210101

    • 配置變量參數,抽取某一部分數據,例如ds=${bizdate}

    輸出字段

    輸出字段區域展示了已選中表及篩選條件命中的所有字段。如果不需要將某些字段輸出至下游組件,則您可以刪除對應的字段:

    • 單個刪除字段場景:如果需要刪除少量的字段,則可以單擊操作列下的sgaga圖標,刪除多余的字段。

      image

    • 批量刪除字段場景:如果需要刪除大批量字段,則可以單擊字段管理,在字段管理對話框選擇多個字段后,單擊image左移動圖標,將已選的輸入字段移入到未選的輸入字段并單擊確定,完成字段的批量刪除。

      image..png

  4. 單擊確認,完成Doris輸入組件的屬性配置。