數(shù)據(jù)集

本文使用天池平臺(tái)上的淘寶點(diǎn)擊數(shù)據(jù)，詳情請(qǐng)參見數(shù)據(jù)集。

步驟一：創(chuàng)建工作流

1. 進(jìn)入數(shù)據(jù)開發(fā)頁面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)開發(fā)與治理 > 數(shù)據(jù)開發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。

2. 在數(shù)據(jù)開發(fā)頁面，鼠標(biāo)懸停至圖標(biāo)，單擊新建業(yè)務(wù)流程。

3. 在新建業(yè)務(wù)流程對(duì)話框中，輸入業(yè)務(wù)名稱和描述。

4. 單擊新建。

5. 在業(yè)務(wù)流程頁面，創(chuàng)建PAI Designer節(jié)點(diǎn)。

   1. 單擊新建節(jié)點(diǎn)，拖拽算法 > PAI Designer至右側(cè)畫布。

   2. 在新建節(jié)點(diǎn)頁面的名稱文本框中，輸入prepare_train_data，其他參數(shù)使用默認(rèn)值。

   3. 單擊確認(rèn)。

6. 在業(yè)務(wù)流程頁面，創(chuàng)建MaxCompute SQL節(jié)點(diǎn)。

   1. 拖拽MaxCompute > ODPS SQL至右側(cè)畫布。

   2. 在新建節(jié)點(diǎn)頁面的名稱文本框，輸入EasyRec_train，其他參數(shù)使用默認(rèn)值。

   3. 單擊確認(rèn)。

7. 在業(yè)務(wù)流程頁面，創(chuàng)建Shell節(jié)點(diǎn)。

   1. 拖拽通用 > Shell至右側(cè)畫布。

   2. 在新建節(jié)點(diǎn)頁面的名稱文本框，輸入deploy，其他參數(shù)使用默認(rèn)值。

   3. 單擊確認(rèn)。

步驟二：訓(xùn)練并部署模型

1. 準(zhǔn)備數(shù)據(jù)。

   您可以直接使用處理后的樣本表：訓(xùn)練表為pai_online_project.easyrec_demo_taobao_train_data，評(píng)估表為pai_online_project.easyrec_demo_taobao_test_data，即省略PAI Designer節(jié)點(diǎn)，直接從MaxCompute SQL節(jié)點(diǎn)開始。

   您也可以按照以下流程準(zhǔn)備數(shù)據(jù)。將天池平臺(tái)上淘寶點(diǎn)擊數(shù)據(jù)整合后的表為pai_online_project.easyrec_demo_taobao_ori_data，該數(shù)據(jù)集除大部分STRING類型的IdFeature類特征外，還有一列DOUBLE類型的Price特征（RawFeature類特征），需要使用Designer的分箱組件進(jìn)行特征工程，您可以為已創(chuàng)建的機(jī)器學(xué)習(xí)節(jié)點(diǎn)關(guān)聯(lián)如下Designer工作流（只能關(guān)聯(lián)與DataWorks在同一地域的Designer工作流），詳情請(qǐng)參見創(chuàng)建機(jī)器學(xué)習(xí)（PAI）節(jié)點(diǎn)。具體的實(shí)驗(yàn)流程如下。

   序號(hào)	描述
   ①	讀入數(shù)據(jù)。
   ②	分割出訓(xùn)練數(shù)據(jù)。
   ③	分割出評(píng)估數(shù)據(jù)。
   ④	Shuffle過程。
   ⑤	使用分箱組件，進(jìn)行等頻離散。
   ⑥	根據(jù)等頻離散的結(jié)果，對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換。
   ⑦	將訓(xùn)練數(shù)據(jù)寫入表。
   ⑧	將評(píng)估數(shù)據(jù)寫入表。

2. 訓(xùn)練并導(dǎo)出模型。

   在已創(chuàng)建的DataWorks的MaxCompute SQL節(jié)點(diǎn)中，執(zhí)行如下命令，進(jìn)行模型訓(xùn)練。

   PAI -project algo_public -name easy_rec_ext 
       -Darn="acs:ram::XXXXX:role/AliyunODPSPAIDefaultRole" 
       -Dbuckets="oss://examplebucket/xxx/" 
       -Dcluster="{\"ps\":{\"count\":2,\"cpu\":1000,\"memory\":40000},\"worker\":{\"count\":8,\"cpu\":1000,\"memory\":40000}}" 
       -Dcmd="train" 
       -Dconfig="oss://examplebucket/xxx/multitower.config" 
       -DossHost="oss-cn-region_name-internal.aliyuncs.com" 
       -Dtrain_tables="odps://pai_online_project/tables/easyrec_demo_taobao_train_data" 
       -Deval_tables="odps://pai_online_project/tables/easyrec_demo_taobao_test_data"
       -Dmodel_dir="oss://examplebucket/xxx/"
       -Dwith_evaluator=1;

   命令中的參數(shù)如下所示，需要根據(jù)實(shí)際情況替換參數(shù)值。

   參數(shù)	描述	示例
   project	工程名。EasyRec算法所在的project，默認(rèn)為algo_public，通常不需要修改。僅特殊情況（EasyRec官方另行通知時(shí)）才需要修改。	algo_public
   arn	ARN的角色名稱。您可以登錄PAI控制臺(tái)，在開通和授權(quán) > 全部云產(chǎn)品依賴頁面的Designer區(qū)域，單擊操作列下的查看授權(quán)信息，獲取arn。	"acs:ram::XXXXX:role/AliyunODPSPAIDefaultRole"
   buckets	用于指定算法將要讀取的OSS bucket。	"oss://examplebucket/xxx/"
   cluster	分布式運(yùn)行任務(wù)信息，詳情請(qǐng)參見PAI-TF任務(wù)參數(shù)介紹中的cluster參數(shù)介紹。	"{\"ps\":{\"count\":2,\"cpu\":1000,\"memory\":40000},\"worker\":{\"count\":8,\"cpu\":1000,\"memory\":40000}}"
   cmd	需要配置為固定值train。	"train"
   config	模型Config文件的OSS路徑，您可以參考此處的MultiTower模型Config文件（下載Config示例）。	"oss://examplebucket/xxx/multitower.config"
   ossHost	OSS Endpoint，地域和Endpoint對(duì)照表請(qǐng)參見公共云下OSS Region和Endpoint對(duì)照表。	oss-cn-region_name-internal.aliyuncs.com
   train_tables	訓(xùn)練表，多個(gè)訓(xùn)練表之間使用半角逗號(hào)（,）分隔。	"odps://pai_online_project/tables/easyrec_demo_taobao_train_data"
   eval_tables	評(píng)估表，多個(gè)評(píng)估表之間使用半角逗號(hào)（,）分隔。	"odps://pai_online_project/tables/easyrec_demo_taobao_test_data"
   model_dir	模型目錄，將會(huì)覆蓋config配置的模型路徑，一般在周期性調(diào)度時(shí)使用。	"oss://examplebucket/xxx/"
   with_evaluator	是否在訓(xùn)練時(shí)使用一個(gè)Worker進(jìn)行評(píng)估。通常設(shè)置8個(gè)Worker，其中七個(gè)Worker進(jìn)行訓(xùn)練，一個(gè)Worker進(jìn)行評(píng)估（計(jì)算測(cè)試集的AUC）。取值范圍如下： 0：訓(xùn)練時(shí)不使用Worker進(jìn)行評(píng)估。 1：訓(xùn)練時(shí)使用一個(gè)Worker進(jìn)行評(píng)估。	1

   訓(xùn)練完成后，系統(tǒng)會(huì)自動(dòng)將模型導(dǎo)出至model_dir配置路徑下的/export/final/目錄。

3. 部署模型（該步驟中的命令均在已創(chuàng)建的DataWorks的Shell節(jié)點(diǎn)中執(zhí)行）。

   1. 執(zhí)行如下命令編寫描述服務(wù)相關(guān)信息（模型存儲(chǔ)位置及資源規(guī)格等）的JSON文件，該文件的詳細(xì)參數(shù)請(qǐng)參見創(chuàng)建服務(wù)，如下僅給出編寫JSON文件的示例命令，需要您根據(jù)實(shí)際情況修改參數(shù)值。

      ymd=$1 #獲取例行化配置中設(shè)置的日期參數(shù)。
      cat << EOF > echo.json
      {
        "cloud": {
        	"computing": {
          	"instance_type": "ecs.c7.large"
            }
          },
       	"metadata": {
        	"instance": 1,
         	"name": "model_name" 
       },
       "model_path": "your_model_path",
       "processor": "tensorflow_cpu_1.12", 
      }
      EOF

      其中：model_path需要配置為上述步驟已生成的模型路徑；name配置為模型服務(wù)名稱，同地域內(nèi)唯一。

   2. 部署模型。

      您可以根據(jù)實(shí)際部署情況，選擇創(chuàng)建服務(wù)或更新服務(wù)：

      • 如果首次部署服務(wù)，則可以使用如下命令，創(chuàng)建新服務(wù)。

        /home/admin/usertools/tools/eascmd -i <yourAccessId> -k <yourAccessKey> -e <OSS Endpoint> create <echo.json>

        參數(shù)	描述	示例
        <yourAccessId>	阿里云賬號(hào)的AccessKey ID。	無
        <yourAccessKey>	阿里云賬號(hào)的AccessKey Secret。	無
        <OSS Endpoint>	將模型部署至某地域，此參數(shù)為該地域?qū)?yīng)的Endpoint，取值詳情請(qǐng)參見命令使用說明中地域與Endpoint的對(duì)應(yīng)關(guān)系表。	pai-eas.cn-shanghai.aliyuncs.com
        <echo.json>	上一步中編寫的描述服務(wù)相關(guān)信息（模型存儲(chǔ)位置及資源規(guī)格等）的JSON文件名稱。	echo.json

      • 如果存在已經(jīng)部署的服務(wù)，則可以使用如下命令，更新服務(wù)。

        /home/admin/usertools/tools/eascmd -i <yourAccessId> -k <yourAccessKey> -e <Endpoint> modify <cn-beijing/model_name> -s echo.json

        參數(shù)	描述	示例
        <yourAccessId>	阿里云賬號(hào)的AccessKey ID。	無
        <yourAccessKey>	阿里云賬號(hào)的AccessKey Secret。	無
        <Endpoint>	將模型部署至某地域，此參數(shù)為該地域?qū)?yīng)的Endpoint，取值詳情請(qǐng)參見命令使用說明中地域與Endpoint的對(duì)應(yīng)關(guān)系表。	pai-eas.cn-shanghai.aliyuncs.com
        <cn-beijing/model_name>	模型地址與OSS數(shù)據(jù)所在地域一致。該模型名稱指描述服務(wù)相關(guān)信息JSON文件中，name參數(shù)的取值。	cn-beijing/model_name
        <echo.json>	描述服務(wù)相關(guān)信息的JSON文件名稱。	echo.json

步驟三：配置任務(wù)例行化

1. 打開節(jié)點(diǎn)頁面。

   您可以通過以下任意一種方式打開EasyRec_train節(jié)點(diǎn)：

   • 雙擊EasyRec_train節(jié)點(diǎn)。

   • 右鍵單擊EasyRec_train，在快捷菜單中，單擊打開節(jié)點(diǎn)。

2. 在節(jié)點(diǎn)頁面，單擊頁面右側(cè)的調(diào)度配置。

3. 在調(diào)度配置頁面的調(diào)度參數(shù)區(qū)域，配置時(shí)間參數(shù)，以區(qū)分不同天的任務(wù)。

4. 在調(diào)度配置頁面的調(diào)度依賴區(qū)域，配置上下游節(jié)點(diǎn)，詳情請(qǐng)參見配置同周期調(diào)度依賴。

   說明

   如果節(jié)點(diǎn)無上游依賴，則使用工作空間根節(jié)點(diǎn)。

5. 單擊Shell節(jié)點(diǎn)頁面上方的圖標(biāo)，保存配置。

6. 在業(yè)務(wù)流程頁面，單擊上方的圖標(biāo)，運(yùn)行Shell節(jié)點(diǎn)。

Debug

運(yùn)行EasyRec命令時(shí)，DataWorks會(huì)打印Logview。您可以通過Logview快速查看模型訓(xùn)練效果或定位錯(cuò)誤。

1. 在瀏覽器中打開Logview（即下圖紅框中的鏈接）。

2. 在日志頁面的Job Details頁簽，雙擊ODPS Tasks實(shí)例。

3. 在日志頁面的ODPS Tasks區(qū)域，單擊ODPS Tasks實(shí)例。

4. 在Worker運(yùn)行頁面，可以根據(jù)需要選擇查看對(duì)應(yīng)的實(shí)例。

   其中：

   • worker 0為訓(xùn)練worker（worker 0、worker 2~worker 7均為訓(xùn)練worker），單擊StdEarr列下的圖標(biāo)，即可查看訓(xùn)練進(jìn)程。每log_step_count_steps步，打印一次日志。

   • worker1為評(píng)估worker，單擊stderr列下的圖標(biāo)，即可查看模型在評(píng)估集上的指標(biāo)。