步驟

操作

預期結果

Step 0

注冊MaxCompute新功能邀測申請表單

1. 打開MaxCompute新功能邀測申請表單。

2. 選中Delta Table增量表格式、基于增量物化視圖的增量計算、MCQA2.0 SQL引擎查詢加速。

3. 單擊注冊。

開通MaxCompute新功能。

Step 1

初始化MaxCompute新項目

1. 打開MaxCompute控制臺，單擊新建項目。

2. 在新建項目對話框中配置如下參數。

   項目名稱設置為delta_compute_yunqi，項目類型選擇云棲新功能邀測項目，其他參數按需設置或保持默認。

   地域可選擇北京、上海或杭州。

3. 并單擊確定。

1. 在控制臺左側導航欄中，選擇工作區 > SQL分析，打開臨時SQL分析頁面。

2. 在SQL分析頁面左側，可以看到新建項目delta_compute_yunqi。

Step 2

配額（Quota）管理上新購Quota

1. 在MaxCompute控制臺左側導航欄中，選擇工作區 > 配額（Quota）管理，單擊新購Quota。

2. 創建一個包年包月的一級Quota，并根據頁面提示完成支付。

3. 在已創建的一級Quota組下，創建2個不同二級Quota組：

   • 批處理Quota組：batch_demo_yunqi

   • 交互式Quota組：mcqa2_demo_yunqi

   

4. 分別設置批處理Quota組和交互式Quota組資源。

在配額（Quota）管理頁面，確認批處理Quota組和交互式Quota組已成功創建。

Step 3

新建MaxCompute Delta Table增量表

在SQL分析頁面，執行如下示例命令，創建2個MaxCompute內部表：

• 創建yunqi_github_events_odps_cdc表，后續會將數據實時通過FlinkCDC寫入至該表中。

  --設置ODPS SQL支持upsertable
  SET odps.sql.upsertable.table.enable=true;
  SET odps.storage.orc.enable.memcmp.sort.key=true; 
  
  --FlinkCDC
  CREATE TABLE IF NOT EXISTS yunqi_github_events_odps_cdc
  (
      id                     BIGINT NOT NULL COMMENT '事件ID'
      ,actor_id              BIGINT COMMENT '事件發起人ID'
      ,actor_login           STRING COMMENT '事件發起人登錄名'
      ,repo_id               BIGINT COMMENT 'repoID'
      ,repo_name             STRING COMMENT 'repo全名：owner/Repository_name'
      ,org_id                BIGINT COMMENT 'repo所屬組織ID'
      ,org_login             STRING COMMENT 'repo所屬組織名稱'
      ,`type`                STRING COMMENT '事件類型'
      ,created_at            TIMESTAMP NOT NULL COMMENT '事件發生時間'
      ,action                STRING COMMENT '事件行為'
      ,commit_id             STRING COMMENT '提交記錄ID'
      ,member_id             BIGINT COMMENT '成員ID'
      ,language              STRING COMMENT '編程語言'
      ,PRIMARY KEY(id, created_at))
  STORED AS ALIORC  
  TBLPROPERTIES ('acid.data.retain.hours'='24',
       'acid.incremental.query.out.of.time.range.enabled'='true',
       'columnar.nested.type'='true',
       'transactional'='true',
       'write.bucket.num'='64',
       'acid.ingest.commit.num.check.limit'='10',
       'cdc.insert.into.passthrough.enable'='true', 
       'acid.cdc.mode.enable' = 'true',--打開異步的話，就要額外設置
       'acid.cdc.build.async'='true', 
       'acid.cdc.build.interval'='60') 
  LIFECYCLE 36500;
  

• 創建yunqi_github_events_odps_dw表，后續會將數據實時通過DataWorks數據集成寫入至該表中。

  --設置ODPS SQL支持upsertable
  SET odps.sql.upsertable.table.enable=true;
  SET odps.storage.orc.enable.memcmp.sort.key=true; 
  
  --DataWorks實時數據同步
  CREATE TABLE IF NOT EXISTS yunqi_github_events_odps_dw
  (
      id                     BIGINT NOT NULL COMMENT '事件ID'
      ,actor_id              BIGINT COMMENT '事件發起人ID'
      ,actor_login           STRING COMMENT '事件發起人登錄名'
      ,repo_id               BIGINT COMMENT 'repoID'
      ,repo_name             STRING COMMENT 'repo全名：owner/Repository_name'
      ,org_id                BIGINT COMMENT 'repo所屬組織ID'
      ,org_login             STRING COMMENT 'repo所屬組織名稱'
      ,`type`                STRING COMMENT '事件類型'
      ,created_at            TIMESTAMP COMMENT '事件發生時間'
      ,action                STRING COMMENT '事件行為'
      ,commit_id             STRING COMMENT '提交記錄ID'
      ,member_id             BIGINT COMMENT '成員ID'
      ,language              STRING COMMENT '編程語言'
      ,PRIMARY KEY(id))
  STORED AS ALIORC  
  TBLPROPERTIES ('acid.data.retain.hours'='24',
       'acid.incremental.query.out.of.time.range.enabled'='true',
       'columnar.nested.type'='true',
       'transactional'='true',
       'write.bucket.num'='64',
       'acid.ingest.commit.num.check.limit'='10',
       'cdc.insert.into.passthrough.enable'='true', 
       'acid.cdc.mode.enable' = 'true',--默認同步CDC
       'acid.cdc.build.async'='true', --打開異步的話，就要額外設置
       'acid.cdc.build.interval'='60') 
  LIFECYCLE 36500;

在SQL分析頁面，選擇項目delta_compute_yunqi，確認以下兩個Delta Table表已存在：

• yunqi_github_events_odps_cdc

• yunqi_github_events_odps_dw

步驟

操作

預期結果

Step 1

使用交互式資源組-近實時數據分析

1. 在MaxCompute控制臺左側導航欄中，選擇工作區 > SQL分析，打開臨時SQL分析頁面。

2. 選擇步驟一創建的交互式Quota組，進行近實時查詢分析。

具體SQL分析步驟如下：

• Q1：過去24小時最活躍項目

  --Q1:過去24小時最活躍項目
  SELECT
      repo_name,
      COUNT(*) AS events
  FROM
      yunqi_github_events_odps_dw
  WHERE
      date_add(created_at,-1)>'2024-08-26'
  GROUP BY
      repo_name
  ORDER BY
      events DESC
  LIMIT 5;

• Q2：過去24小時最活躍開發者

  --Q2:過去24小時最活躍開發者
  SELECT
      actor_login,
      COUNT(*) AS events
  FROM
      yunqi_github_events_odps_dw
  WHERE
      date_add(created_at,-1)>'2024-08-26'
  GROUP BY
      actor_login
  ORDER BY
      events 
  LIMIT 5;

• Q3：今日公開事件總數

  --Q3:今日公開事件總數
  SELECT count(*) FROM yunqi_github_events_odps_dw WHERE TO_DATE(created_at) >= date_add(now(),-1);

• Q4：實時事件展示

  --Q4:實時事件展示
  SELECT
      cast(created_at as STRING ),
      actor_login,
      type,
      repo_name
  FROM
      yunqi_github_events_odps_dw
  ORDER BY
      created_at DESC
  LIMIT 5;

觀察查詢SQL結果。

Step 2

使用批處理資源組-增量計算-增量物化視圖MV聚合查詢

1. 在MaxCompute控制臺左側導航欄中，選擇工作區 > SQL分析，打開臨時SQL分析頁面。

2. 選擇步驟一創建的批處理Quota組，批量MV應用。

具體SQL分析步驟如下：

1. 確認Delta Table數據表已生成，歷史和增量數據更新中。

   創建跟蹤Delta Table數據表的CDC信息 （可選：默認CDC自動生成）。

   --Q1: 創建跟蹤Delta Table數據表的CDC信息
   ALTER TABLE yunqi_github_events_odps_dw build cdc; --觸發繼續CDC后續流程

2. 支持實時增量物化視圖MV查詢。基于歷史和增量數據，創建輕度聚合-增量MV：按照repo_name/language/create_date聚合統計事件數量。

   --Q2: 生成增量物化視圖MV1-yunqi_incre_mv1
   SET useTunnel=FALSE;
   CREATE materialized VIEW IF NOT EXISTS yunqi_incre_mv1
   refresh every 2 minutes
   tblproperties("enable_auto_refresh"="true", "refresh_mode"="incremental")
   AS SELECT
       repo_name,
       language,
       COUNT(*) AS events,
       to_date(created_at) AS create_date
   FROM
       yunqi_github_events_odps_dw
   WHERE
       date_add(created_at,-1)>'2024-07-26' AND language IS NOT NULL
   GROUP BY
     repo_name,language,to_date(created_at);

   --Q3: 觀測源數據表狀態 - 驗證show history查看表行為 / CDC Build狀態確認
   SHOW history FOR TABLE yunqi_github_events_odps_dw;
   SELECT * FROM table_changes('yunqi_github_events_odps_dw', 1);

3. SQL分析：按照repo_name/language信息，查詢在一定時間內的各repo的總共事件數量和語言。

   --Q4:按照repo_name / language 信息，降序查詢總共事件數據與Language
   SELECT repo_name, language, SUM(events) AS events_sum, COUNT(create_date) AS day_count 
   FROM yunqi_incre_mv1 
   WHERE events > 100 
   GROUP BY repo_name,language ORDER BY events_sum DESC;

   --Q5：增量物化視圖MV1歷史操作變更
   SHOW history FOR TABLE yunqi_incre_mv1;
   --數據更新批次5分鐘間隔，如無變更需執行
   ALTER materialized VIEW yunqi_incre_mv1 rebuild;
   SELECT * FROM table_changes('yunqi_github_events_odps_dw', 1);

4. 構建級聯增量物化視圖MV2。基于已有的增量物化視圖MV1，創建Aggragate重度匯聚層。

   • 生成增量物化視圖MV2-yunqi_incre_mv2。在增量MV1的基礎上，物化SQL分析結果到增量MV2。參考Q4 SQL。

     --Q6:生成級聯增量物化視圖MV2-yunqi_incre_mv2
     SET useTunnel=FALSE;
     CREATE materialized VIEW IF NOT EXISTS yunqi_incre_mv2
     refresh every 2 minutes
     tblproperties("enable_auto_refresh"="true", "refresh_mode"="incremental")
     AS 
     SELECT repo_name, language, SUM(events) AS events_sum, COUNT(create_date) AS day_count 
     FROM yunqi_incre_mv1 
     WHERE events > 100 
     GROUP BY repo_name,language;

   • SQL分析：在一定時間內按照編程language分類，按照Repo數量多少來排序查詢每個語言對應的總共事件數量。

     --Q7: 編程Language熱門排序
     SELECT language, COUNT(repo_name) AS repo_cnt,MAX(events_sum) AS max_events FROM yunqi_incre_mv2 
     GROUP BY language ORDER BY repo_cnt DESC;

     --Q8：觀測增量MV2歷史操作狀態 / 表變化信息
     SHOW history FOR TABLE yunqi_incre_mv2;
     --數據更新批次5分鐘間隔，如無變更需執行
     ALTER materialized VIEW yunqi_incre_mv2 rebuild;
     SELECT * FROM table_changes('yunqi_incre_mv2', 2);

觀察查詢SQL結果。

Step 3

使用批處理資源組-增量計算-Stream&Task應用

1. 在MaxCompute控制臺左側導航欄中，選擇工作區 > SQL分析，打開臨時SQL分析頁面。

2. 選擇步驟一創建的批處理Quota組，增量CDC。

具體SQL分析步驟如下：

1. 創建stream對象，查詢新增的cdc記錄，進行后續的增量計算。

   --Q1: 查詢最新的表數據的版本信息
   SELECT get_latest_version('yunqi_github_events_odps_dw'); 

   創建Stream對象。通過上面get_lastest_version信息，設置開始跟蹤的增量數據的起始版本。選擇小于等于最新版本的一個歷史版本開始跟蹤增量的CDC記錄。

   --Q2：創建Stream對象
   CREATE stream stream_githubs ON TABLE yunqi_github_events_odps_dw version AS OF 10 strmproperties('read_mode'='cdc') ;
   
   DESC stream stream_githubs;

2. 創建并執行Task，Task自動執行增量更新repo_name。

   • 創建聚合表yunqi_github_events_ads。

     --創建聚合表yunqi_github_events_ads
     SET odps.sql.upsertable.table.enable=true;
     CREATE TABLE IF NOT EXISTS 
     yunqi_github_events_ads
     (
         repo_name             STRING COMMENT 'repo全名：owner/Repository_name'
         ,language              STRING COMMENT '編程語言'
         ,events_cnt            BIGINT COMMENT '事件數量'
         ,create_date           DATE COMMENT '事件發生時間'
     )
     STORED AS ALIORC  
     TBLPROPERTIES (
          'transactional'='true',
          'write.bucket.num'='64') 
     LIFECYCLE 36500;

   • Task自動執行增量更新repo_name。

     --Task自動執行增量更新repo_name
     SET odps.sql.periodic.task.enabled=true;
     CREATE task yunqi_incre_task1
     schedule='45 second' 
     taskproperties('schedule_strategy'='200')
     WHEN stream_has_data('stream_githubs')
     AS INSERT overwrite yunqi_github_events_ads SELECT
         repo_name,
         language,
         COUNT(*) AS events_cnt,
         to_date(created_at) AS create_date
     FROM
         yunqi_github_events_odps_dw
     WHERE
         date_add(created_at,-1)>'2024-08-26' AND language IS NOT NULL
     GROUP BY
     repo_name,language,to_date(created_at);
     

     每隔一分鐘，自動查詢出來DWD的CDC增量數據，進行分析處理后寫入ADS表-yunqi_github_events_ads，自定義Pipeline，寫起來復雜但用戶可以靈活通過SQL自定義增量計算分析處理邏輯。（時長設置：1分鐘內可按照秒級設置schdule，超過1分鐘按照分鐘級設置schdule，最長設置為59分鐘）

3. 更新Task狀態，Task自動執行增量更新repo_name。

   --更新Task狀態，Task自動執行增量更新repo_name
   ALTER task  yunqi_incre_task1  suspend;  --暫停
   ALTER task  yunqi_incre_task1  resume; --恢復

4. 查詢CDC build task情況。

   --查詢CDC build task情況
   SHOW history FOR task yunqi_incre_task1;
   SELECT *  FROM stream_githubs

觀察查詢SQL結果。

步驟

操作

預期結果

Step 1

Quota擴容

1. 在MaxCompute控制臺左側導航欄中，選擇工作區 > 配額（Quota）管理，單擊目標一級Quota組右側的Quota配置。

2. 在基礎配置頁面，單擊編輯基礎配置。

3. 修改交互式Quota組mcqa2_demo_yunqi，將其從64CU擴容至128CU。

目標Quota組資源擴容成功。

Step 2

查詢對比分析與性能優化

1. 在MaxCompute控制臺左側導航欄中，選擇工作區 > SQL分析，打開臨時SQL分析頁面。

2. 選擇步驟一創建的交互式Quota組，進行近實時查詢分析，觀測數據變化。

具體SQL分析步驟如下：

• Q1（可選）: 執行Major Compaction操作，優化查詢。

  --Q1: 執行Major Compaction操作，優化查詢
  SET odps.merge.task.mode=service;
  ALTER TABLE yunqi_github_events_odps_dw compact major;

  MCQA2.0 查詢對比性能-交互式資源組。

  --Q2: 近實時查詢-實時事件展示
  SELECT
      cast(created_at AS STRING ),
      actor_login,
      type,
      repo_name
  FROM
      yunqi_github_events_odps_dw
  ORDER BY
      created_at DESC
  LIMIT 5;

• 增量MV1查詢：按照repo_name/language信息，查詢在一定時間內的各repo的總共事件數量和語言。

  --Q3:按照repo_name / language 信息，降序查詢總共事件數據與Language
  SELECT repo_name, language, SUM(events) AS events_sum, COUNT(create_date) AS day_count 
  FROM yunqi_incre_mv1 
  WHERE events > 100 
  GROUP BY repo_name,language ORDER BY events_sum DESC;

• 增量MV2查詢：在一定時間內按照編程language分類，查詢每個語言對應的repo數量與總共事件數量。

  --Q4: 編程Language熱門排序
  SELECT language, COUNT(repo_name) AS repo_cnt,MAX(events_sum) AS max_events FROM yunqi_incre_mv2 
  GROUP BY language;

觀察查詢SQL結果。

步驟

操作

預期結果

Step 1

在DataWorks IDE 數據開發模塊配置MaxCompute計算資源

1. 訪問DataWorks IDE數據開發頁面，在左側導航欄單擊圖標，打開數據目錄頁面。

2. 單擊右上角的工作空間管理，選擇計算資源，單擊綁定計算資源。

3. 在頁面右側配置計算資源、計算配額和資源組。

4. 綁定MaxCompute項目，執行MaxComputeSQL任務。

無

Step 2

在DataWorks IDE數據開發平臺進行數據分析

具體SQL分析步驟如下：

• Q1：過去24小時最活躍項目

  SELECT
      repo_name,
      COUNT(*) AS events
  FROM
      yunqi_github_events_odps_dw
  WHERE
      date_add(created_at,-1)>'2024-08-26'
  GROUP BY
      repo_name
  ORDER BY
      events DESC
  LIMIT 5;

• Q2：過去24小時最活躍開發者

  SELECT
      actor_login,
      COUNT(*) AS events
  FROM
      yunqi_github_events_odps_dw
  WHERE
      date_add(created_at,-1)>'2024-08-26'
  GROUP BY
      actor_login
  ORDER BY
      events 
  LIMIT 5;

• Q3：今日公開事件總數

  SELECT count(*) FROM yunqi_github_events_odps_dw WHERE TO_DATE(created_at) >= date_add(now(),-1);

• Q4：實時事件展示

  SELECT
      cast(created_at AS STRING ),
      actor_login,
      type,
      repo_name
  FROM
      yunqi_github_events_odps_dw
  ORDER BY
      created_at DESC
  LIMIT 5;

觀察查詢SQL結果。