數(shù)據(jù)去重
更新時(shí)間：
本文介紹數(shù)據(jù)去重算子的使用方法和注意事項(xiàng)。
用途
數(shù)據(jù)去重算子可以按照指定的字段去除重復(fù)的數(shù)據(jù)，只保留其中一條，然后輸出到下個(gè)節(jié)點(diǎn)。
適用場(chǎng)景
計(jì)算鏈路 | 計(jì)算引擎 | 是否支持 |
離線 | MaxCompute | 是 |
Hive | 是 | |
HiveStorage | 是 | |
RDS/MySQL | 是 |
使用說明
選擇去重字段
選擇需要去重的字段，選中的字段將作為該算子的輸出字段，數(shù)據(jù)中若包含多條重復(fù)記錄則僅保留第一條數(shù)據(jù)。
文檔內(nèi)容是否對(duì)您有幫助？