頁簽

參數(shù)

是否必選

描述

默認(rèn)值

字段設(shè)置

選擇目標(biāo)處理列

是

選擇要處理的列。

無

是否保存敏感詞結(jié)果

否

是否將敏感詞識別結(jié)果保存到輸出表中。如果勾選，則在輸出表中新增兩列用來存儲結(jié)果，否則不做存儲。

• 是否敏感詞保存列名：保存是否敏感詞的列名，值為bool類型，默認(rèn)列名為is_sensitive。

• 敏感詞保存列名：保存敏感詞的列名，默認(rèn)列名為sensitive_words。

無

SQL腳本

否

where語句填寫，是否敏感詞默認(rèn)保存到is_sensitive列，檢測出的敏感詞默認(rèn)保存到sensitive_words列，可根據(jù)這兩列的結(jié)果進(jìn)行過濾。如果修改了列名，請根據(jù)修改后的列名填寫。默認(rèn)條件為where not is_sensitive。

無

敏感詞文件

否

敏感詞文件路徑。置空時(shí)，使用默認(rèn)的敏感詞列表。文件格式為："敏感詞1\n敏感詞2\n..."，敏感詞之間用換行符分隔。

預(yù)置敏感詞文件

設(shè)置輸出表生命周期

否

正整數(shù)，單位為天。默認(rèn)28天，28天后該組件產(chǎn)生的臨時(shí)表被回收。

28

執(zhí)行調(diào)優(yōu)

每個(gè)實(shí)例的cpu數(shù)目

否

設(shè)定map task每個(gè)instance的CPU數(shù)目，取值范圍為[50,800]。

100

每個(gè)實(shí)例的memory大小，單位M

否

設(shè)定map task每個(gè)instance的memory大小，單位為MB，取值范圍為[256,12288]。

1024

每個(gè)實(shí)例處理的數(shù)據(jù)大小，單位M

否

設(shè)定map task每個(gè)instance的最大處理數(shù)據(jù)量，用戶可以通過控制該變量，實(shí)現(xiàn)對map端輸入的控制。單位為MB，取值范圍為[1,Integer.MAX_VALUE]。

256