本文介紹過濾算子的使用方法及注意事項。
用途
過濾算子可以將數據按照過濾條件配置的內容進行過濾,然后輸出到下個節點。
適用場景
計算鏈路 | 計算引擎 | 是否支持 |
離線 | MaxCompute | 是 |
Hive | 是 | |
HiveStorage | 是 | |
RDS/MySQL | 是 |
使用說明
過濾條件
配置過濾的篩選條件,比如"語文成績>80",對于不符合條件的會過濾掉,不會傳到下個節點。
過濾條件支持邏輯運行及多重嵌套,且支持表達式配置。
輸出字段
輸出的字段默認繼承上個節點的輸出,在經過這個算子之后,可以配置需要輸出到下個節點的字段。
輸出的字段可以設置別名和代碼別名,之后的節點就會使用別名和代碼別名。
結果排序
對于輸出的結果可以配置排序,有升序和降序,排序的內容支持多個,比如按照年齡升序,并且按照語文成績降序,并且排序內容支持表達式配置。
對于節點輸出的數據支持截取,比如從第100條開始,截取1000條。
說明
只有離線場景才有此功能。
注意事項
過濾算子有且只有一個父級節點,只能過濾父級節點的輸出。
過濾節點必須配置過濾條件,不允許為空。
文檔內容是否對您有幫助?