配置用戶日志同步至OSS

通過離線數據集成任務，實現從平臺的HttpFile數據源內的獲取用戶日志信息，同步至私有OSS數據源中。

同步HttpFile數據源的日志信息至自建的OSS。

1. 在數據開發頁面，雙擊ods_raw_log_d_2oss_spark節點，進入節點配置頁面。

2. 配置同步網絡鏈接。

   完成以下網絡與資源配置后，單擊下一步，并根據界面提示完成連通性測試。

   參數	描述
   數據來源	數據來源：HttpFile 數據源名稱：user_behavior_analysis_httpfile
   我的資源組	選擇已購買的Serverless資源組。
   數據去向	數據去向：OSS 數據源名稱：選擇前文創建的私有OSS數據源，此處示例為test_g。

3. 配置同步任務。

   參數	描述
   數據來源	文本類型：選擇text類型。 文件路徑：/user_log.txt。 列分隔符：輸入列分隔符為|。 壓縮格式：包括None、Gzip、Bzip2和Zip四種類型，此處選擇None。 是否跳過表頭：選擇No。
   數據去向	文本類型：選擇text類型。 文件名（含路徑）：根據您自建OSS的目錄進行輸入，示例為ods_raw_log_d/log_${bizdate}/log_${bizdate}.txt，其中ods_raw_log_d為您自建的目錄名，$bizdate表示獲取前一天的日期。 列分隔符：輸入列分隔符為|。

4. 調度設置。

   配置頁面單擊右側調度配置，可進入調度配置面板配置調度與節點信息。以下為配置的內容。

   說明

   DataWorks提供調度參數，可實現在調度場景下，將每日數據寫入不同的OSS路徑及文件下，并以業務日期對路徑目錄與文件進行命名。

   在實際場景下，您可以在數據去向的文件名（含目錄）配置中通過${變量名}格式自定義路徑中的變量，并通過在調度配置頁面為變量賦值調度參數的方式，實現調度場景下動態生成數據去向目錄與文件名。

   配置項	配置內容	圖示
   調度參數	在調度參數項中單擊新增參數，添加： 參數名：bizdate 參數值：$[yyyymmdd-1] 詳情可參見：配置調度參數。
   調度依賴	在調度依賴確認產出表已作為本節點輸出。 格式為workspacename.節點名。 詳情可參見：配置調度依賴。

5. 配置完成后，單擊工具欄中的圖標，進行保存。

配置用戶數據同步至OSS

通過離線數據集成任務，實現從平臺的MySQL數據源內的獲取用戶數據信息，同步至私有OSS數據源中。

配置ods_raw_log_d_spark節點

基于通過EMR Spark SQL創建的外部表ods_raw_log_d_spark，用LOCATION來訪問離線數據集成任務寫入私有OSS對象存儲Bucket的日志信息。

1. 代碼配置。

   -- 場景：以下SQL為Spark SQL，通過EMR Spark SQL創建的外部表ods_raw_log_d_spark，用LOCATION來獲取離線數據集成任務寫入私有OSS對象存儲Bucket的日志信息，并添加對應的dt分區。
   -- 補充：
   --      DataWorks提供調度參數，可實現調度場景下，將每日增量數據寫入目標表對應的業務分區內。
   --      在實際開發場景下，您可通過${變量名}格式定義代碼變量，并在調度配置頁面通過變量賦值調度參數的方式，實現調度場景下代碼動態入參。 
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_raw_log_d_spark
   (
     `col` STRING
   ) 
   PARTITIONED BY (
     dt STRING
   )
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/';
   
   ALTER TABLE ods_raw_log_d_spark ADD IF NOT EXISTS PARTITION (dt = '${bizdate}') 
   LOCATION 'oss://dw-emr-demo/ods_raw_log_d/log_${bizdate}/'
   ;

   說明

   上述代碼中的location為示例路徑，與之前配置離線同步任務時的數據去向相同，需要輸入您建立的文件路徑名稱，其中dw-emr-demo是您準備環境時創建的OSS Bucket域名。

2. 配置調度配置。

   為ods_raw_log_d_spark節點配置任務調度，通過配置的調度參數來獲取對應業務日期的私有OSS日志文件，并寫入同樣業務日期分區的Spark表內。

   配置項	配置內容	圖示
   調度參數	在調度參數項中單擊新增參數，添加： 參數名：bizdate 參數值：$[yyyymmdd-1]，詳情可參見：配置調度參數。
   調度依賴	在調度依賴確認產出表已作為本節點輸出。 格式為workspacename.節點名。 詳情可參見：配置調度依賴。

   說明

   本章節在SQL中配置了調度參數${bizdate}，并將其賦值為T-1。在離線計算場景下bizdate為業務交易發生的日期，也常被稱為業務日期。例如，今天統計前一天的營業額，此處的前一天指的是交易發生的日期，也就是業務日期。

3. 完成配置后，單擊保存節點。

配置ods_user_info_d_spark節點

基于通過EMR Spark SQL節點創建的外部表ods_user_info_d_spark，用LOCATION來訪問離線數據集成任務寫入私有OSS對象存儲Bucket的用戶信息。

1. 代碼配置。

   -- 場景：以下SQL為Spark SQL，通過EMR Spark SQL節點創建的外部表ods_user_info_d_spark，用LOCATION來獲取離線數據集成任務寫入私有OSS對象存儲Bucket的用戶信息，并寫入對應的dt分區。
   -- 補充：
   --      DataWorks提供調度參數，可實現調度場景下，將每日增量數據寫入目標表對應的業務分區內。
   --      在實際開發場景下，您可通過${變量名}格式定義代碼變量，并在調度配置頁面通過變量賦值調度參數的方式，實現調度場景下代碼動態入參。
   CREATE EXTERNAL TABLE IF NOT EXISTS ods_user_info_d_spark
   (
       `uid`        STRING COMMENT '用戶ID'
       ,`gender`    STRING COMMENT '性別'
       ,`age_range` STRING COMMENT '年齡段'
       ,`zodiac`    STRING COMMENT '星座'
   )
   PARTITIONED BY 
   (
       dt           STRING
   )
   ROW FORMAT DELIMITED 
   FIELDS
   TERMINATED
   BY'|'
   STORED AS TEXTFILE
   LOCATION 'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/'
   ;
   
   ALTER TABLE ods_user_info_d_spark ADD IF NOT EXISTS PARTITION (dt = '${bizdate}') 
   LOCATION'oss://dw-emr-demo/ods_user_info_d/user_${bizdate}/'
   ;

   說明

   上述代碼中的location為示例路徑，與之前配置離線同步任務時的數據去向相同，需要輸入您建立的文件路徑名稱，其中dw-emr-demo是您準備環境時創建的OSS Bucket域名。

2. 配置調度配置。

   為ods_user_info_d_spark節點配置任務調度，通過配置的調度參數來獲取對應業務日期的私有OSS用戶信息文件，并寫入同樣業務日期分區的Spark表內。

   配置項	配置內容	圖示
   調度參數	在調度參數項中單擊新增參數，添加： 參數名：bizdate 參數值：$[yyyymmdd-1]，詳情可參見：配置調度參數。
   調度依賴	在調度依賴確認產出表已作為本節點輸出。 格式為worksspacename.節點名 詳情可參見：配置調度依賴。

3. 完成配置后，單擊保存節點。