日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

線性回歸

線性回歸(Linear Regression)是分析因變量和多個自變量之間的線性關系模型。

組件配置

您可以使用以下任意一種方式,配置線性回歸組件參數。

方式一:可視化方式

Designer工作流頁面配置組件參數。

頁簽

參數

描述

字段設置

選擇特征列

輸入數據源中,參與訓練的特征列。

選擇標簽列

支持DOUBLEBIGINT類型。

是否稀疏格式

使用KV格式表示稀疏格式。

kv對間分隔符

默認使用英文逗號(,)分隔。

keyvalue分隔符

默認使用英文冒號(:)分隔。

參數設置

最大迭代輪數

算法進行的最大迭代次數。

最小似然誤差

如果兩次迭代間的Log Likelihood之差小于該值,則算法終止。

正則化類型

支持L1L2None類型。

正則系數

如果正則化類型None,則該參數失效。

生成模型評估表

指標包括R-Squared、AdjustedR-Squared、AIC、自由度、殘差的標準差及偏差。

回歸系數評估

指標包括T值、P值及置信區間[2.5%,97.5%]。只有選中生成模型評估表復選框,該參數才生效。

執行調優

計算核心數

默認為系統自動分配。

每核內存大小

默認為系統自動分配。

方式二:PAI命令方式

使用PAI命令方式,配置該組件參數。您可以使用SQL腳本組件進行PAI命令調用,詳情請參見SQL腳本

PAI -name linearregression
    -project algo_public
    -DinputTableName=lm_test_input
    -DfeatureColNames=x
    -DlabelColName=y
    -DmodelName=lm_test_input_model_out;

參數

是否必選

描述

默認值

inputTableName

輸入表的名稱。

modelName

輸出模型的名稱。

outputTableName

輸出的模型評估表名稱。如果enableFitGoodnesstrue,則該參數必選。

labelColName

因變量,支持DOUBLEBIGINT類型。只能選擇一列作為因變量。

featureColNames

自變量。如果輸入數據為稠密格式,則支持DOUBLEBIGINT類型。如果輸入數據為稀疏格式,則支持STRING類型。

inputTablePartitions

輸入表的分區。

enableSparse

輸入數據是否為稀疏格式,取值范圍為{true,false}

false

itemDelimiter

KV對之間的分隔符。如果enableSparsetrue,則該參數生效。

英文逗號(,)

kvDelimiter

keyvalue之間的分隔符。如果enableSparsetrue,則該參數生效。

英文冒號(:)

maxIter

算法進行的最大迭代次數。

100

epsilon

最小似然誤差。如果兩次迭代間的Log Likelihood之差小于該值,則算法終止。

0.000001

regularizedType

正則化類型,取值范圍為{l1,l2,None}

None

regularizedLevel

正則系數。如果regularizedTypeNone,則該參數失效。

1

enableFitGoodness

是否生成模型評估表。指標包括R-Squared、AdjustedR-Squared、AIC、自由度、殘差的標準差及偏差。取值范圍為{true,false}

false

enableCoefficientEstimate

是否進行回歸系數評估。評估指標包括T值、P值及置信區間[2.5%,97.5%]。如果enableFitGoodnesstrue,則該參數生效。取值范圍為{true,false}

false

lifecycle

模型評估輸出表的生命周期。

-1

coreNum

計算的核心數量。

系統自動分配

memSizePerCore

每個核心的內存,取值范圍為1024 MB~20*1024 MB。

系統自動分配

示例

  1. 使用SQL語句,生成測試數據。

     drop table if exists lm_test_input;
      create table lm_test_input as
      select
        *
      from
      (
        select 10 as y, 1.84 as x1, 1 as x2, '0:1.84 1:1' as sparsecol1
          union all
        select 20 as y, 2.13 as x1, 0 as x2, '0:2.13' as sparsecol1
          union all
        select 30 as y, 3.89 as x1, 0 as x2, '0:3.89' as sparsecol1
          union all
        select 40 as y, 4.19 as x1, 0 as x2, '0:4.19' as sparsecol1
          union all
        select 50 as y, 5.76 as x1, 0 as x2, '0:5.76' as sparsecol1
          union all
        select 60 as y, 6.68 as x1, 2 as x2, '0:6.68 1:2' as sparsecol1
          union all
        select 70 as y, 7.58 as x1, 0 as x2, '0:7.58' as sparsecol1
          union all
        select 80 as y, 8.01 as x1, 0 as x2, '0:8.01' as sparsecol1
          union all
        select 90 as y, 9.02 as x1, 3 as x2, '0:9.02 1:3' as sparsecol1
          union all
        select 100 as y, 10.56 as x1, 0 as x2, '0:10.56' as sparsecol1
      ) tmp;
  2. 使用PAI命令,提交線性回歸組件參數。

    PAI -name linearregression
        -project algo_public
        -DinputTableName=lm_test_input
        -DlabelColName=y
        -DfeatureColNames=x1,x2
        -DmodelName=lm_test_input_model_out
        -DoutputTableName=lm_test_input_conf_out
        -DenableCoefficientEstimate=true
        -DenableFitGoodness=true
        -Dlifecycle=1;
  3. 使用PAI命令,提交預測組件參數。

    pai -name prediction
        -project algo_public
        -DmodelName=lm_test_input_model_out
        -DinputTableName=lm_test_input
        -DoutputTableName=lm_test_input_predict_out
        -DappendColNames=y;
  4. 查看輸出的模型評估表lm_test_input_conf_out

    +------------+------------+------------+------------+--------------------+------------+
    | colname    | value      | tscore     | pvalue     | confidenceinterval | p          |
    +------------+------------+------------+------------+--------------------+------------+
    | Intercept  | -6.42378496687763 | -2.2725755951390028 | 0.06       | {"2.5%": -11.964027, "97.5%": -0.883543} | coefficient |
    | x1         | 10.260063429838898 | 23.270944360826963 | 0.0        | {"2.5%": 9.395908, "97.5%": 11.124219} | coefficient |
    | x2         | 0.35374498323846265 | 0.2949247320997519 | 0.81       | {"2.5%": -1.997160, "97.5%": 2.704650} | coefficient |
    | rsquared   | 0.9879675667384592 | NULL       | NULL       | NULL               | goodness   |
    | adjusted_rsquared | 0.9845297286637332 | NULL       | NULL       | NULL               | goodness   |
    | aic        | 59.331109494251805 | NULL       | NULL       | NULL               | goodness   |
    | degree_of_freedom | 7.0        | NULL       | NULL       | NULL               | goodness   |
    | standardErr_residual | 3.765777749448906 | NULL       | NULL       | NULL               | goodness   |
    | deviance   | 99.26757440771128 | NULL       | NULL       | NULL               | goodness   |
    +------------+------------+------------+------------+--------------------+------------+
  5. 查看預測結果表lm_test_input_predict_out

    +------------+-------------------+------------------+-------------------+
    | y          | prediction_result | prediction_score | prediction_detail |
    +------------+-------------------+------------------+-------------------+
    | 10         | NULL              | 12.808476727264404 | {"y": 12.8084767272644} |
    | 20         | NULL              | 15.43015013867922 | {"y": 15.43015013867922} |
    | 30         | NULL              | 33.48786177519568 | {"y": 33.48786177519568} |
    | 40         | NULL              | 36.565880804147355 | {"y": 36.56588080414735} |
    | 50         | NULL              | 52.674180388994415 | {"y": 52.67418038899442} |
    | 60         | NULL              | 62.82092871092313 | {"y": 62.82092871092313} |
    | 70         | NULL              | 71.34749583130122 | {"y": 71.34749583130122} |
    | 80         | NULL              | 75.75932310613193 | {"y": 75.75932310613193} |
    | 90         | NULL              | 87.1832221199846 | {"y": 87.18322211998461} |
    | 100        | NULL              | 101.92248485222113 | {"y": 101.9224848522211} |
    +------------+-------------------+------------------+-------------------+