標(biāo)準(zhǔn)化
本文為您介紹Designer提供的標(biāo)準(zhǔn)化組件。
背景信息
對一個表的某一列或多列，進(jìn)行標(biāo)準(zhǔn)化處理，將產(chǎn)生的數(shù)據(jù)存入新表中。
標(biāo)準(zhǔn)化所使用的公式 :（X - Mean）/（standard deviation）。
Mean：樣本平均值。
standard deviation：樣本標(biāo)準(zhǔn)偏差，針對從總體抽樣，利用樣本來計算總體偏差，為了使算出的值與總體水平更接近，就必須將算出的標(biāo)準(zhǔn)偏差的值適度放大，即
。 樣本標(biāo)準(zhǔn)偏差公式：
。其中
代表所采用的樣本X1，X2，…，Xn的均值。
組件配置
您可以使用以下任意一種方式，配置標(biāo)準(zhǔn)化組件參數(shù)。
方式一：可視化方式
在Designer工作流頁面配置組件參數(shù)。
頁簽 | 參數(shù) | 描述 |
字段設(shè)置 | 默認(rèn)全選 | 默認(rèn)全選，多余列不影響預(yù)測結(jié)果。 |
保留原始列 | 處理過的列增加“stdized_”前綴。支持DOUBLE類型與BIGINT類型。 | |
執(zhí)行調(diào)優(yōu) | 計算核心數(shù) | 系統(tǒng)根據(jù)輸入數(shù)據(jù)量，自動分配訓(xùn)練的實例數(shù)量。 |
每個核內(nèi)存數(shù) | 系統(tǒng)根據(jù)輸入數(shù)據(jù)量，自動分配內(nèi)存。單位為MB。 |
方式二：PAI命令方式
使用PAI命令方式，配置該組件參數(shù)。您可以使用SQL腳本組件進(jìn)行PAI命令調(diào)用，詳情請參見SQL腳本。
稠密數(shù)據(jù)的命令
PAI -name Standardize -project algo_public -DkeepOriginal="false" -DoutputTableName="test_5" -DinputTablePartitions="pt=20150501" -DinputTableName="bank_data_partition" -DselectedColNames="euribor3m,pdays"稀疏數(shù)據(jù)的命令
PAI -name Standardize -project projectxlib4 -DkeepOriginal="true" -DoutputTableName="kv_standard_output" -DinputTableName=kv_standard_test -DselectedColNames="f0,f1,f2" -DenableSparse=true -DoutputParaTableName=kv_standard_model -DkvIndices=1,2,8,6 -DitemDelimiter=",";
參數(shù)名稱 | 是否必選 | 參數(shù)描述 | 默認(rèn)值 |
inputTableName | 是 | 輸入表的表名。 | 無 |
selectedColNames | 否 | 輸入表中，參與訓(xùn)練的列。列名以英文逗號（,）分隔，支持INT和DOUBLE類型。如果輸入為稀疏格式，則支持STRING類型的列。 | 所有列 |
inputTablePartitions | 否 | 輸入表中，參與訓(xùn)練的分區(qū)。支持以下格式：
說明 如果指定多個分區(qū)，則使用英文逗號（,）分隔。 | 所有分區(qū) |
outputTableName | 是 | 輸出結(jié)果表。 | 無 |
outputParaTableName | 是 | 配置輸出表。 | 無 |
inputParaTableName | 否 | 配置輸入表。 | 無 |
keepOriginal | 否 | 是否保留原始列：
| false |
lifecycle | 否 | 輸出表生命周期。 | 無 |
coreNum | 否 | 核心數(shù)量。 | 系統(tǒng)自動分配 |
memSizePerCore | 否 | 單個核心使用的內(nèi)存數(shù)。 | 系統(tǒng)自動分配 |
enableSparse | 否 | 是否打開稀疏支持：
| false |
itemDelimiter | 否 | KV對之間分隔符。 | 默認(rèn)”,” |
kvDelimiter | 否 | Key和Value之間分隔符。 | 默認(rèn)”:” |
kvIndices | 否 | KV表中需要歸一化的特征索引。 | 無 |
示例
詳細(xì)示例
drop table if exists standardize_test_input;
create table standardize_test_input(
col_string string,
col_bigint bigint,
col_double double,
col_boolean boolean,
col_datetime datetime);
insert overwrite table standardize_test_input
select
*
from
(
select
'01' as col_string,
10 as col_bigint,
10.1 as col_double,
True as col_boolean,
cast('2016-07-01 10:00:00' as datetime) as col_datetime
union all
select
cast(null as string) as col_string,
11 as col_bigint,
10.2 as col_double,
False as col_boolean,
cast('2016-07-02 10:00:00' as datetime) as col_datetime
union all
select
'02' as col_string,
cast(null as bigint) as col_bigint,
10.3 as col_double,
True as col_boolean,
cast('2016-07-03 10:00:00' as datetime) as col_datetime
union all
select
'03' as col_string,
12 as col_bigint,
cast(null as double) as col_double,
False as col_boolean,
cast('2016-07-04 10:00:00' as datetime) as col_datetime
union all
select
'04' as col_string,
13 as col_bigint,
10.4 as col_double,
cast(null as boolean) as col_boolean,
cast('2016-07-05 10:00:00' as datetime) as col_datetime
union all
select
'05' as col_string,
14 as col_bigint,
10.5 as col_double,
True as col_boolean,
cast(null as datetime) as col_datetime
) tmp;PAI命令行
drop table if exists standardize_test_input_output; drop table if exists standardize_test_input_model_output; PAI -name Standardize -project algo_public -DoutputParaTableName="standardize_test_input_model_output" -Dlifecycle="28" -DoutputTableName="standardize_test_input_output" -DinputTableName="standardize_test_input" -DselectedColNames="col_double,col_bigint" -DkeepOriginal="true"; drop table if exists standardize_test_input_output_using_model; drop table if exists standardize_test_input_output_using_model_model_output; PAI -name Standardize -project algo_public -DoutputParaTableName="standardize_test_input_output_using_model_model_output" -DinputParaTableName="standardize_test_input_model_output" -Dlifecycle="28" -DoutputTableName="standardize_test_input_output_using_model" -DinputTableName="standardize_test_input";輸入說明
standardize_test_input
col_string
col_bigint
col_double
col_boolean
col_datetime
01
10
10.1
true
2016-07-01 10:00:00
NULL
11
10.2
false
2016-07-02 10:00:00
02
NULL
10.3
true
2016-07-03 10:00:00
03
12
NULL
false
2016-07-04 10:00:00
04
13
10.4
NULL
2016-07-05 10:00:00
05
14
10.5
true
NULL
輸出說明
standardize_test_input_output
col_string
col_bigint
col_double
col_boolean
col_datetime
stdized_col_bigint
stdized_col_double
01
10
10.1
true
2016-07-01 10:00:00
-1.2649110640673518
-1.2649110640683832
NULL
11
10.2
false
2016-07-02 10:00:00
-0.6324555320336759
-0.6324555320341972
02
NULL
10.3
true
2016-07-03 10:00:00
NULL
0.0
03
12
NULL
false
2016-07-04 10:00:00
0.0
NULL
04
13
10.4
NULL
2016-07-05 10:00:00
0.6324555320336759
0.6324555320341859
05
14
10.5
true
NULL
1.2649110640673518
1.2649110640683718
standardize_test_input_model_output
feature
json
col_bigint
{“name”: “standardize”, “type”:”bigint”, “paras”:{“mean”:12, “std”: 1.58113883008419}}
col_double
{“name”: “standardize”, “type”:”double”, “paras”:{“mean”:10.3, “std”: 0.1581138830082909}}
standardize_test_input_output_using_model
col_string
col_bigint
col_double
col_boolean
col_datetime
01
-1.2649110640673515
-1.264911064068383
true
2016-07-01 10:00:00
NULL
-0.6324555320336758
-0.6324555320341971
false
2016-07-02 10:00:00
02
NULL
0.0
true
2016-07-03 10:00:00
03
0.0
NULL
false
2016-07-04 10:00:00
04
0.6324555320336758
0.6324555320341858
NULL
2016-07-05 10:00:00
05
1.2649110640673515
1.2649110640683716
true
NULL
standardize_test_input_output_using_model_model_output
feature
json
col_bigint
{“name”: “standardize”, “type”:”bigint”, “paras”:{“mean”:12, “std”: 1.58113883008419}}
col_double
{“name”: “standardize”, “type”:”double”, “paras”:{“mean”:10.3, “std”: 0.1581138830082909}}