前提條件

• 已創(chuàng)建Serverless資源組。該功能需要與Serverless資源組配合使用，Serverless資源組的更多詳情，請參見新增和使用Serverless資源組。

• （可選）如果任務運行的環(huán)境需要依賴位于公網(wǎng)的第三方包，則Serverless資源組綁定的VPC需要具備公網(wǎng)訪問能力，具體配置詳情，請參見使用公網(wǎng)NAT網(wǎng)關SNAT功能訪問互聯(lián)網(wǎng)。

• 已擁有AliyunDataWorksFullAccess或ModifyResourceGroup權限策略。授權詳情請參見產品及控制臺權限控制詳情：RAM Policy。

使用限制

• 該功能僅支持與新Serverless資源組配合使用。

  說明

  如果您使用舊版獨享調度資源組運行PyODPS任務節(jié)點時，需要依賴第三方包，可使用運維助手，具體請參見獨享調度資源組配置第三方包。

• 不同DataWorks版本，支持創(chuàng)建的自定義鏡像最大個數(shù)存在限制：

  • 基礎版和標準版：10個。

  • 專業(yè)版：50個。

  • 企業(yè)版：100個。

• 僅專業(yè)版以上版本支持鏡像構建能力。

• 每個地域最多支持兩個鏡像同時構建。

操作步驟

配置示例

場景說明

假設需要對MaxCompute表中的某一列數(shù)據(jù)進行分詞，然后將分詞結果存入另一張表中，用于下游調度節(jié)點使用。

可以使用此方案，在自定義鏡像中預裝jieba分詞工具包，然后通過PyODPS任務使用該鏡像對表數(shù)據(jù)進行分詞處理并存儲結果至新表，無縫集成至下游調度流程。

操作步驟

1. 創(chuàng)建測試數(shù)據(jù)。

   1. 創(chuàng)建MaxCompute數(shù)據(jù)源，并在DataWorks數(shù)據(jù)開發(fā)中綁定已創(chuàng)建的MaxCompute數(shù)據(jù)源。詳情請參見創(chuàng)建MaxCompute數(shù)據(jù)源。

   2. 在數(shù)據(jù)開發(fā)中，創(chuàng)建ODPS節(jié)點，新建測試表并添加測試數(shù)據(jù)。

      說明

      如下示例使用了調度參數(shù)，請在右側調度配置中設置參數(shù)名為bday，參數(shù)值為$[yyyymmdd]。

      -- 創(chuàng)建測試表
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT '分區(qū)')
      LIFECYCLE 90;
      
      -- 向表中插入測試數(shù)據(jù)
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, '晚來天欲雪，能飲一杯無？'),
      (2, '月落烏啼霜滿天，江楓漁火對愁眠。'),
      (3, '山重水復疑無路，柳暗花明又一村。'),
      (4, '春眠不覺曉，處處聞啼鳥。'),
      (5, '靜夜思，床前明月光，疑是地上霜。'),
      (6, '海上生明月，天涯共此時。'),
      (7, '舊時王謝堂前燕，飛入尋常百姓家。'),
      (8, '一行白鷺上青天，窗含西嶺千秋雪。'),
      (9, '人生得意須盡歡，莫使金樽空對月。'),
      (10, '天生我材必有用，千金散盡還復來。');

   3. 保存并發(fā)布。

2. 創(chuàng)建自定義鏡像。

   參見步驟二：創(chuàng)建自定義鏡像，關鍵參數(shù)如下：

   • 鏡像名稱/ID：選擇dataworks_pyodps_task_pod，DataWorks PYODPS節(jié)點官方鏡像。

   • 支持任務類型：選擇PyODPS 3。

   • 安裝包：選擇Python3和jieba。

3. 發(fā)布自定義鏡像并修改歸屬項目空間。具體請參見步驟三：發(fā)布鏡像和步驟四：修改鏡像歸屬空間。

4. 在調度任務中使用自定義鏡像。

   1. 在數(shù)據(jù)開發(fā)中，創(chuàng)建PyODPS3節(jié)點，配置如下內容：

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # 讀取表數(shù)據(jù)
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # 對提取的文本進行分詞
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # 創(chuàng)建目標表
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='分詞結果')], partitions=[Column(name='ds', type='string', comment='分區(qū)字段')])
          o.create_table("participle_tb", schema)
      
      # 寫入分詞結果到目標表
      # 定義輸出分區(qū)和表
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # 如果分區(qū)不存在，先創(chuàng)建分區(qū)
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # 將分詞結果寫入表
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. 在右側調度配置中，設置如下關鍵參數(shù)：

      • 調度參數(shù)：參數(shù)名bday，參數(shù)值為$[yyyymmdd]。

      • 調度資源組：選擇Serverless資源組，與發(fā)布鏡像時選擇的測試資源組相同。

      • 鏡像：選擇已發(fā)布并綁定了當前工作空間的自定義鏡像。

   3. 保存并帶參運行。

   4. （可選）新建臨時查詢，使用如下SQL查詢產出表中是否有數(shù)據(jù)。

      SELECT * FROM participle_tb WHERE ds=<分區(qū)日期>;

      

   5. 將PyODPS節(jié)點發(fā)布至生產環(huán)境。

      說明

      數(shù)據(jù)開發(fā)中修改的鏡像不會同步到生產環(huán)境中，您需要通過發(fā)布任務將任務發(fā)布后，才能在生產環(huán)境中生效。

5. 將自定義鏡像構建為持久化鏡像。具體請參見步驟六：構建持久化鏡像。

相關文檔

• 使用自定義鏡像時，調度資源組必須配置為Serverless資源組，Serverless資源組的更多信息，請參見新增和使用Serverless資源組。

• PyODPS的更多用法，請參見PyODPS概述。

• 數(shù)據(jù)開發(fā)中更多參數(shù)配置說明，請參見任務調度屬性配置概述。