同步數據表

一般對于推薦場景，需要準備三張數據表：user側的特征表、item側的特征表以及Label表。

為方便實踐操作，我們在MaxCompute的pai_online_project項目中提前準備了模擬生成的用戶表、物料表和Label表進行示例說明。其中，用戶表、物料表每個分區大約有10萬條數據，在MaxCompute中分別占用約70 MB；Label表每個分區約45萬條數據，在MaxCompute中占用約5 MB。

您需要在DataWorks中執行SQL命令，將用戶表、物料表、Label表從pai_online_project項目同步到自己的MaxCompute中。具體操作步驟如下：

1. 登錄DataWorks控制臺。

2. 在左側導航欄單擊數據開發與治理 > 數據開發。

3. 選擇已創建的DataWorks工作空間后，單擊進入數據開發。

4. 鼠標懸停至新建，選擇新建節點 > MaxCompute > ODPS SQL，在彈出的頁面中配置節點參數。

   參數	取值建議
   引擎實例	選擇已創建的MaxCompute引擎。
   節點類型	ODPS SQL
   路徑	業務流程/Workflow/MaxCompute
   名稱	可自定義名稱。

5. 單擊確認。

6. 在新建節點區域運行以下SQL命令，將用戶表、物料表、Label表從pai_online_project項目同步到自己的MaxCompute中。資源組選擇已創建的獨享資源組。

   同步用戶表：rec_sln_demo_user_table_preprocess_all_feature_v1（單擊查看詳情）

   CREATE TABLE IF NOT EXISTS rec_sln_demo_user_table_preprocess_all_feature_v1
   like pai_online_project.rec_sln_demo_user_table_preprocess_all_feature_v1
   STORED AS ALIORC  
   LIFECYCLE 90;
   
   INSERT OVERWRITE TABLE rec_sln_demo_user_table_preprocess_all_feature_v1
   PARTITION(ds='${bdp.system.bizdate}')
   SELECT * except(ds)
   FROM pai_online_project.rec_sln_demo_user_table_preprocess_all_feature_v1
   WHERE ds = '${bdp.system.bizdate}';

   其中，${bdp.system.bizdate}是參數，可以通過補數據執行獲取以下三個分區的數據：

   ds=20231022

   ds=20231023

   ds=20231024

   同步物料表：rec_sln_demo_item_table_preprocess_all_feature_v1（單擊查看詳情）

   CREATE TABLE IF NOT EXISTS rec_sln_demo_item_table_preprocess_all_feature_v1
   like pai_online_project.rec_sln_demo_item_table_preprocess_all_feature_v1
   STORED AS ALIORC  
   LIFECYCLE 90;
   
   INSERT OVERWRITE TABLE rec_sln_demo_item_table_preprocess_all_feature_v1
   PARTITION(ds='${bdp.system.bizdate}')
   SELECT * except(ds)
   FROM pai_online_project.rec_sln_demo_item_table_preprocess_all_feature_v1
   WHERE ds = '${bdp.system.bizdate}';

   其中，${bdp.system.bizdate}是參數，可以通過補數據執行獲取以下三個分區的數據：

   ds=20231022

   ds=20231023

   ds=20231024

   同步Label表：rec_sln_demo_label_table（單擊查看詳情）

   CREATE TABLE IF NOT EXISTS rec_sln_demo_label_table
   like pai_online_project.rec_sln_demo_label_table
   STORED AS ALIORC  
   LIFECYCLE 90;
   
   INSERT OVERWRITE TABLE rec_sln_demo_label_table
   PARTITION(ds='${bdp.system.bizdate}')
   SELECT * except(ds)
   FROM pai_online_project.rec_sln_demo_label_table
   WHERE ds = '${bdp.system.bizdate}';

   其中，${bdp.system.bizdate}是參數，可以通過補數據執行獲取以下三個分區的數據：

   ds=20231022

   ds=20231023

   ds=20231024

7. 對已同步的表進行補數據操作。

   1. 在DataWorks控制臺界面，單擊左側導航欄的數據開發與治理 > 運維中心，在下拉框中選擇對應工作空間后單擊進入運維中心。

   2. 在左側導航欄單擊周期任務運維 > 周期任務，進入周期任務頁面。

   3. 單擊周期任務列表中的目標任務，打開該任務的DAG圖。

   4. 右鍵單擊目標節點，選擇補數據 > 當前節點，選擇相應的補數據模式。

   5. 業務日期選擇2023-10-22至2023-10-24，單擊確定。

完成上述操作后，您可以在自己的工作空間內查看用戶表rec_sln_demo_user_table_preprocess_all_feature_v1、物料表rec_sln_demo_item_table_preprocess_all_feature_v1和Label表rec_sln_demo_label_table，后續的實踐操作將以這三張表為例進行說明。

配置數據源

FeatureStore一般需要配置兩個數據源：離線數據源（MaxCompute）和在線數據源（Hologres/GraphCompute/TableStore）。本文以MaxCompute和Hologres為例進行說明。

1. 登錄PAI控制臺，在左側導航欄單擊數據準備 > 特征平臺（FeatureStore）。

2. 選擇工作空間后，單擊進入FeatureStore。

3. 配置MaxCompute數據源。

   1. 在數據源頁簽，單擊新建數據源，在彈出的頁面中配置MaxCompute數據源具體參數。

      參數	取值建議
      類型	MaxCompute
      名稱	可自定義名稱。
      MaxCompute項目名	選擇已創建的MaxCompute項目。

   2. 請復制語句并單擊立即前往，同步數據至Hologres，在DataWorks執行該語句后，即可完成授權。

      說明

      授權操作需要您的賬號擁有admin權限，具體操作詳情請參見通過命令管理用戶權限或通過控制臺管理用戶權限。

   3. 完成后單擊提交。

4. 配置Hologres數據源。

   1. 在數據源頁簽，單擊新建數據源，在彈出的頁面中配置Hologres數據源具體參數。

      參數	取值建議
      類型	Hologres
      名稱	可自定義名稱。
      實例ID	選擇已創建的Hologres實例名稱。
      數據庫名稱	選擇已創建的實例數據庫。

   2. 完成后單擊提交。

   3. 對Hologres進行授權，具體操作詳情請參見配置數據源。

安裝FeatureStore Python SDK

1. 登錄DataWorks控制臺界面。

2. 在左側導航欄單擊資源組。

3. 在獨享資源組頁簽中，單擊相應調度資源后的，選擇運維助手。

4. 單擊創建命令，在彈出的頁面中配置命令參數。

   參數	取值建議
   命令名稱	可自定義名稱。本文以install為例進行說明。
   命令類型	手動輸入（無法使用pip命令安裝第三方包）
   命令內容	/home/tops/bin/pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple https://feature-store-py.oss-cn-beijing.aliyuncs.com/package/feature_store_py-1.3.1-py3-none-any.whl
   超時時間	可自定義時間。

5. 單擊創建，完成命令創建。

6. 單擊運行命令，在彈出的頁面中單擊運行。

7. 可單擊刷新查看最新執行狀態，待狀態為成功時，即表示完成安裝。

步驟一：例行同步數據節點

上線前需要將數據同步節點例行，即例行將數據從離線數據源同步到在線數據源中，在線會實時地從在線數據源中讀取。本示例需要將user特征表和item特征表提交例行，具體操作如下。

1. 登錄DataWorks控制臺。

2. 在左側導航欄單擊數據開發與治理 > 數據開發。

3. 選擇已創建的DataWorks工作空間后，單擊進入數據開發。

4. 同步例行user表。

   1. 鼠標懸停至新建，選擇新建節點 > MaxCompute > PyODPS 3。

   2. 復制以下內容到腳本中，完成user_table_preprocess_all_feature_v1例行同步。

      user_table_preprocess_all_feature_v1 同步例行（單擊查看詳情）

      from feature_store_py.fs_client import FeatureStoreClient
      import datetime
      from feature_store_py.fs_datasource import MaxComputeDataSource
      import sys
      
      cur_day = args['dt']
      print('cur_day = ', cur_day)
      
      access_key_id = o.account.access_id
      access_key_secret = o.account.secret_access_key
      fs = FeatureStoreClient(access_key_id=access_key_id, access_key_secret=access_key_secret, region='cn-beijing')
      cur_project_name = 'fs_demo'
      project = fs.get_project(cur_project_name)
      
      feature_view_name = 'user_table_preprocess_all_feature_v1'
      batch_feature_view = project.get_feature_view(feature_view_name)
      task = batch_feature_view.publish_table(partitions={'ds':cur_day}, mode='Overwrite')
      task.wait()
      task.print_summary()

   3. 單擊右側調度配置，在彈出的頁面中配置調度參數。

      參數		取值建議
      調度參數	參數名	dt
      	參數值	$[yyyymmdd-1]
      資源屬性	調度資源組	選擇已創建的獨享資源組。
      調度依賴		選擇已創建的user表。

   4. 節點配置并測試完成后，保存并提交節點配置。

   5. 執行補數據操作。操作詳情請參見同步數據表。

5. 同步例行item表。

   1. 鼠標懸停至新增，選擇新建節點 > MaxCompute > PyODPS 3，在彈出的頁面中配置節點參數。

   2. 單擊確認。

   3. 復制以下內容到腳本中。

      item_table_preprocess_all_feature_v1 同步例行（單擊查看詳情）

      from feature_store_py.fs_client import FeatureStoreClient
      import datetime
      from feature_store_py.fs_datasource import MaxComputeDataSource
      import sys
      
      cur_day = args['dt']
      print('cur_day = ', cur_day)
      
      access_key_id = o.account.access_id
      access_key_secret = o.account.secret_access_key
      fs = FeatureStoreClient(access_key_id=access_key_id, access_key_secret=access_key_secret, region='cn-beijing')
      cur_project_name = 'fs_demo'
      project = fs.get_project(cur_project_name)
      
      feature_view_name = 'item_table_preprocess_all_feature_v1'
      batch_feature_view = project.get_feature_view(feature_view_name)
      task = batch_feature_view.publish_table(partitions={'ds':cur_day}, mode='Overwrite')
      task.wait()
      task.print_summary()

   4. 單擊右側調度配置，在彈出的頁面中配置調度參數。

      參數		取值建議
      調度參數	參數名	dt
      	參數值	$[yyyymmdd-1]
      資源屬性	調度資源組	選擇已創建的獨享資源組。
      調度依賴		選擇已創建的item表。

   5. 節點配置并測試完成后，保存并提交節點配置。

   6. 執行補數據操作。操作詳情請參見同步數據表。

6. 同步完成后，可以在Hologres中查看最新同步的特征。

步驟二：創建與部署EAS模型服務

模型服務是為了接收推薦引擎的請求，根據請求對對應的item進行打分，返回分數。其中EasyRec Processor內部包含了FeatureStore Cpp SDK，可以實現低延時、高性能的取特征操作，EasyRec Processor從Feature Store Cpp SDK取完特征后，送入到模型進行推理，拿到打分后返回給推薦引擎。

部署模型服務的流程如下。

1. 登錄DataWorks控制臺。

2. 在左側導航欄單擊數據開發與治理 > 數據開發。

3. 選擇已創建的DataWorks工作空間后，單擊進入數據開發。

4. 鼠標懸停至新增，選擇新建節點 > MaxCompute > PyODPS 3。

5. 復制以下內容到腳本中。

   import os
   import json
   config = {
     "name": "fs_demo_v1",
     "metadata": {
       "cpu": 4,
       "rpc.max_queue_size": 256,
       "rpc.enable_jemalloc": 1,
       "gateway": "default",
       "memory": 16000
     },
     "model_path": f"oss://beijing0009/EasyRec/deploy/rec_sln_demo_dbmtl_v1/{args['ymd']}/export/final_with_fg",  # 訓練模型路徑，可自定義。
     "model_config": {
       "access_key_id": f'{o.account.access_id}',
       "access_key_secret": f'{o.account.secret_access_key}',
       "region": "cn-beijing",  # 請替換為PAI產品實際部署地域，本文以cn-beijing為例進行說明。
       "fs_project": "fs_demo",  # 請替換為您的FeatureStore項目名稱，本文以fs_demo為例進行說明。
       "fs_model": "fs_rank_v1",  # 請替換為您的FeatureStore模型特征名稱，本文以fs_rank_v1為例進行說明。
       "fs_entity": "item",
       "load_feature_from_offlinestore": True,
       "steady_mode": True,
       "period": 2880,
       "outputs": "probs_is_click,y_ln_playtime,probs_is_praise",
       "fg_mode": "tf"
     },
     "processor": "easyrec-1.9",
     "processor_type": "cpp"
   }
   
   with open("echo.json", "w") as output_file:
       json.dump(config, output_file)
   
   # 第一次部署時運行下面這行
   os.system(f"/home/admin/usertools/tools/eascmd -i {o.account.access_id} -k {o.account.secret_access_key} -e pai-eas.cn-beijing.aliyuncs.com create echo.json")
   
   # 例行更新時運行下面這行
   # os.system(f"/home/admin/usertools/tools/eascmd -i {o.account.access_id} -k {o.account.secret_access_key} -e pai-eas.cn-beijing.aliyuncs.com modify fs_demo_v1 -s echo.json")

6. 單擊右側調度配置，在彈出的頁面中配置調度參數。

   參數		取值建議
   調度參數	參數名	dt
   	參數值	$[yyyymmdd-1]
   資源屬性	調度資源組	選擇已創建的獨享資源組。
   調度依賴		選擇對應的訓練任務和item_table_preprocess_all_feature_v1。

7. 節點配置并測試完成后，運行查看部署情況。

8. 部署完成后，注釋掉第34行代碼，并將37行取消注釋，提交任務例行。

9. （可選）您可以在EAS模型在線服務頁面的推理服務頁簽，查看已部署的服務。操作詳情請參見服務部署：控制臺。

10. （可選）當使用 Hologres 等只能通過指定 VPC 訪問的數據源時，需要打通 EAS 和對應數據源的 VPC 網絡。例如，當使用 Hologres 時，可以在 Hologres 的網絡信息頁面看到指定 VPC 對應的 VPC ID，交換機 ID 等信息，需要在 EAS 服務頁面的右上角點擊配置高速鏈接按鈕，填入對應的 VPC ID 和交換機 ID，最后還需要填寫安全組名稱，可以選擇已有安全組或者新建安全組，注意其放行的端口要符合 Hologres 鏈接的要求，一般 Hologres 鏈接使用80端口，因此選擇的安全組需要開放80端口才能正常連接。都填寫完成后，單擊確定，待服務正常更新完成后即可使用。

步驟三：配置PAI-REC

PAI-REC是推薦引擎服務，其中集成了FeatureStore的Go SDK，可以與FeatureStore和EAS無縫銜接。

具體配置步驟如下。

1. 配置FeatureStoreConfs。

   • RegionId：修改為產品實際所在區域，此處以cn-beijing為例。

   • ProjectName：已創建的FeatureStore項目名稱，fs_demo。

       "FeatureStoreConfs": {
           "pairec-fs": {
               "RegionId": "cn-beijing",
               "AccessId": "${AccessKey}",
               "AccessKey": "${AccessSecret}",
               "ProjectName": "fs_demo"
           }
       },

2. 配置FeatureConfs。

   • FeatureStoreName ：和上一步FeatureStoreConfs中的設置pairec-fs保持一致。

   • FeatureStoreModelName ：已創建的模型特征名稱，fs_rank_v1。

   • FeatureStoreEntityName ：已創建的特征實體名稱，user。表示讓PAI-REC中的FeatureStore Go SDK來取模型fs_rank_v1中特征實體為user側的特征。

       "FeatureConfs": {
           "recreation_rec": {
               "AsynLoadFeature": true,
               "FeatureLoadConfs": [
                   {
                       "FeatureDaoConf": {
                           "AdapterType": "featurestore",
                           "FeatureStoreName": "pairec-fs",
                           "FeatureKey": "user:uid",
                           "FeatureStoreModelName": "fs_rank_v1",
                           "FeatureStoreEntityName": "user",
                           "FeatureStore": "user"
                       }
                   }
               ]
           }
       },

3. 配置AlgoConfs。

   此配置代表告訴PAI-REC去連接哪一個EAS模型打分服務。

   • Name：和部署的EAS服務名稱一致。

   • Url和Auth：EAS服務給出的信息，您可以在EAS模型在線服務頁面單擊服務名稱，然后在服務詳情頁簽單擊查看調用信息獲取URL和Token。更多詳細配置可參見PAI-REC和EAS常見問題。

       "AlgoConfs": [
           {
               "Name": "fs_demo_v1",
               "Type": "EAS",
               "EasConf": {
                   "Processor": "EasyRec",
                   "Timeout": 300,
                   "ResponseFuncName": "easyrecMutValResponseFunc",
                   "Url": "eas_url_xxx",
                   "EndpointType": "DIRECT",
                   "Auth": "eas_token"
               }
           }
       ],

4. 配置完成后，關于如何使用PAI-REC，請參見什么是推薦系統開發平臺PAI-Rec。