復(fù)制如下代碼到作業(yè)開(kāi)發(fā)文本編輯區(qū)。

-- 通過(guò)DDL語(yǔ)句創(chuàng)建SLS源表，SLS中存放了Github的實(shí)時(shí)數(shù)據(jù)。
CREATE TEMPORARY TABLE gh_event(
  id STRING,                                        -- 每個(gè)事件的唯一ID。
  created_at BIGINT,                                -- 事件時(shí)間，單位秒。
  created_at_ts as TO_TIMESTAMP(created_at*1000),   -- 事件時(shí)間戳（當(dāng)前會(huì)話時(shí)區(qū)下的時(shí)間戳，如：Asia/Shanghai）。
  type STRING,                                      -- Github事件類型，如：。ForkEvent, WatchEvent, IssuesEvent, CommitCommentEvent等。
  actor_id STRING,                                  -- Github用戶ID。
  actor_login STRING,                               -- Github用戶名。
  repo_id STRING,                                   -- Github倉(cāng)庫(kù)ID。
  repo_name STRING,                                 -- Github倉(cāng)庫(kù)名，如：apache/flink, apache/spark, alibaba/fastjson等。
  org STRING,                                       -- Github組織ID。
  org_login STRING                                  -- Github組織名，如： apache,google,alibaba等。
) WITH (
  'connector' = 'sls',                              -- 實(shí)時(shí)采集的Github事件存放在阿里云SLS中。
  'project' = 'github-events-shenzhen',             -- 存放公開(kāi)數(shù)據(jù)的SLS項(xiàng)目。本示例以深圳為例，您需要修改為您的實(shí)際地域信息。
  'endPoint' = 'https://cn-shenzhen-intranet.log.aliyuncs.com', -- 公開(kāi)數(shù)據(jù)僅限VVP通過(guò)私網(wǎng)地址訪問(wèn)。本示例以深圳為例，您需要修改為您的實(shí)際地域信息。
  'logStore' = 'realtime-github-events',            -- 存放公開(kāi)數(shù)據(jù)的SLS logStore。
  'accessId' =  'LTAI5tNF1rP8PKVyYjr9TKgh',         -- 只讀賬號(hào)的AK，無(wú)需修改。
  'accessKey' = 'FDgsh6fjSmkbFsx083tN6HOiqNVWTP',   -- 只讀賬號(hào)的SK，無(wú)需修改。
  'batchGetSize' = '500'                            -- 批量讀取數(shù)據(jù)，每批最多拉取500條。
);

-- 配置開(kāi)啟mini-batch, 每2s處理一次。
SET 'table.exec.mini-batch.enabled'='true'; 
SET 'table.exec.mini-batch.allow-latency'='2s'; 
SET 'table.exec.mini-batch.size'='4096'; 

-- 作業(yè)設(shè)置4個(gè)并發(fā)，聚合更快。
SET 'parallelism.default' = '4';

-- 查看當(dāng)天Github新增star數(shù)Top 10倉(cāng)庫(kù)。
SELECT DATE_FORMAT(created_at_ts, 'yyyy-MM-dd') as `date`, repo_name, COUNT(*) as num
FROM gh_event
WHERE type = 'WatchEvent' AND DATE_FORMAT(created_at_ts, 'yyyy-MM-dd') = DATE_FORMAT(NOW(), 'yyyy-MM-dd')
GROUP BY DATE_FORMAT(created_at_ts, 'yyyy-MM-dd'), repo_name
ORDER BY num DESC
LIMIT 10; 

按照實(shí)際地域配置WITH參數(shù)中的project和endPoint（本示例以深圳地域?yàn)槔渌麉?shù)保持默認(rèn)值，無(wú)需修改。

單擊調(diào)試。

在彈出的對(duì)話框中，選擇調(diào)試集群為flink-sql-test-session（第一步中創(chuàng)建的Session集群），確認(rèn)調(diào)試數(shù)據(jù)狀態(tài)為線上數(shù)據(jù)后，單擊確定。

查看可視化結(jié)果。

如果需要繼續(xù)下一步，請(qǐng)單擊結(jié)果區(qū)域左側(cè)紅色停止按鈕。

因?yàn)檫@是一個(gè)流式作業(yè)，作業(yè)會(huì)持續(xù)運(yùn)行，結(jié)果會(huì)持續(xù)更新。此步驟完成后如果您忘記單擊停止按鈕且繼續(xù)了后續(xù)示例的執(zhí)行，可能會(huì)出現(xiàn)資源不足無(wú)法顯示結(jié)果的情況。這時(shí)，您需要在Session集群頁(yè)面先停止Session集群，再啟動(dòng)Session集群至運(yùn)行狀態(tài)。

復(fù)制如下代碼到作業(yè)開(kāi)發(fā)文本編輯區(qū)。

-- 通過(guò)DDL語(yǔ)句創(chuàng)建SLS源表，SLS中存放了Github的實(shí)時(shí)數(shù)據(jù)。
CREATE TEMPORARY TABLE gh_event(
  id STRING,                                        -- 每個(gè)事件的唯一ID。
  created_at BIGINT,                                -- 事件時(shí)間，單位秒。
  created_at_ts as TO_TIMESTAMP(created_at*1000),   -- 事件時(shí)間戳（當(dāng)前會(huì)話時(shí)區(qū)下的時(shí)間戳，如：Asia/Shanghai）。
  type STRING,                                      -- Github事件類型，如：ForkEvent, WatchEvent, IssuesEvent, CommitCommentEvent等。
  actor_id STRING,                                  -- Github用戶ID。 
  actor_login STRING,                               -- Github用戶名。
  repo_id STRING,                                   -- Github倉(cāng)庫(kù)ID。
  repo_name STRING,                                 -- Github倉(cāng)庫(kù)名，如：apache/flink, apache/spark, alibaba/fastjson等。
  org STRING,                                       -- Github組織ID。
  org_login STRING                                  -- Github組織名，如： apache,google,alibaba等。
) WITH (
  'connector' = 'sls',                              -- 實(shí)時(shí)采集的Github事件存放在阿里云SLS中。
  'project' = 'github-events-shenzhen',             -- 存放公開(kāi)數(shù)據(jù)的SLS項(xiàng)目。本示例以深圳為例，您需要修改為您的實(shí)際地域信息。
  'endPoint' = 'https://cn-shenzhen-intranet.log.aliyuncs.com',  -- 公開(kāi)數(shù)據(jù)僅限VVP通過(guò)私網(wǎng)地址訪問(wèn)。本示例以深圳為例，您需要修改為您的實(shí)際地域信息。
  'logStore' = 'realtime-github-events',            -- 存放公開(kāi)數(shù)據(jù)的SLS logStore。
  'accessId' =  'LTAI5tNF1rP8PKVyYjr9TKgh',         -- 只讀賬號(hào)的AK，無(wú)需修改。
  'accessKey' = 'FDgsh6fjSmkbFsx083tN6HOiqNVWTP',   -- 只讀賬號(hào)的SK，無(wú)需修改。
  'batchGetSize' = '500',                           -- 批量讀取數(shù)據(jù)，每批最多拉取500條。
  'startTime' = '2023-07-24 00:00:00'               -- 開(kāi)始時(shí)間，盡量設(shè)置到需要計(jì)算的時(shí)間附近，否則無(wú)效計(jì)算的時(shí)間較長(zhǎng)。默認(rèn)值為當(dāng)前值。
);

-- 配置開(kāi)啟mini-batch, 每2s處理一次。
SET 'table.exec.mini-batch.enabled'='true'; 
SET 'table.exec.mini-batch.allow-latency'='2s'; 
SET 'table.exec.mini-batch.size'='4096'; 

-- 作業(yè)設(shè)置4個(gè)并發(fā)，聚合更快。
SET 'parallelism.default' = '4'; 

-- 查看某組織(如：apache)最近7天的開(kāi)發(fā)者活躍度實(shí)時(shí)趨勢(shì)。
SELECT NOW() as `current_ts`, COUNT(*) as pr_count
FROM gh_event
WHERE org_login = 'apache' and  type = 'PullRequestEvent' and
created_at_ts >= NOW() - INTERVAL '7' DAY;

按照實(shí)際地域配置WITH參數(shù)中的project和endPoint（本示例以深圳地域?yàn)槔渌麉?shù)保持默認(rèn)值，無(wú)需修改。

單擊調(diào)試。

在彈出的對(duì)話框中，選擇調(diào)試集群為flink-sql-test-session（第一步中創(chuàng)建的Session集群），確認(rèn)調(diào)試數(shù)據(jù)狀態(tài)為線上數(shù)據(jù)后，單擊確定。

查看可視化結(jié)果。

如果需要繼續(xù)下一步，請(qǐng)單擊結(jié)果區(qū)域左側(cè)紅色停止按鈕。

因?yàn)檫@是一個(gè)流式作業(yè)，作業(yè)會(huì)持續(xù)運(yùn)行，結(jié)果會(huì)持續(xù)更新。此步驟完成后如果您忘記單擊停止按鈕且繼續(xù)了后續(xù)示例的執(zhí)行，可能會(huì)出現(xiàn)資源不足無(wú)法顯示結(jié)果的情況。這時(shí)，您需要在Session集群頁(yè)面先停止Session集群，再啟動(dòng)Session集群。

復(fù)制如下代碼到作業(yè)開(kāi)發(fā)文本編輯區(qū)。

-- 通過(guò)DDL語(yǔ)句創(chuàng)建SLS源表，SLS中存放了Github的實(shí)時(shí)數(shù)據(jù)。
CREATE TEMPORARY TABLE gh_event(
  id STRING,                                        -- 每個(gè)事件的唯一ID。
  created_at BIGINT,                                -- 事件時(shí)間，單位秒。
  created_at_ts as TO_TIMESTAMP(created_at*1000),   -- 事件時(shí)間戳（當(dāng)前會(huì)話時(shí)區(qū)下的時(shí)間戳，如：Asia/Shanghai）。
  type STRING,                                      -- Github事件類型，如：ForkEvent, WatchEvent, IssuesEvent, CommitCommentEvent等。
  actor_id STRING,                                  -- Github用戶ID。
  actor_login STRING,                               -- Github用戶名。
  repo_id STRING,                                   -- Github倉(cāng)庫(kù)ID。
  repo_name STRING,                                 -- Github倉(cāng)庫(kù)名，如：apache/flink, apache/spark, alibaba/fastjson等。
  org STRING,                                       -- Github組織ID。
  org_login STRING                                  -- Github組織名，如： apache,google,alibaba等。
) WITH (
  'connector' = 'sls',                              -- 實(shí)時(shí)采集的Github事件存放在阿里云SLS中。
  'project' ='github-events-shenzhen',              -- 存放公開(kāi)數(shù)據(jù)的SLS項(xiàng)目。本示例以深圳為例，您需要修改為您的實(shí)際地域信息。
  'endPoint' = 'https://cn-shenzhen-intranet.log.aliyuncs.com', -- 公開(kāi)數(shù)據(jù)僅限VVP通過(guò)私網(wǎng)地址訪問(wèn)。本示例以深圳為例，您需要修改為您的實(shí)際地域信息。
  'logStore' = 'realtime-github-events',            -- 存放公開(kāi)數(shù)據(jù)的SLS logStore。
  'accessId' =  'LTAI5tNF1rP8PKVyYjr9TKgh',         -- 只讀賬號(hào)的AK，無(wú)需修改。
  'accessKey' = 'FDgsh6fjSmkbFsx083tN6HOiqNVWTP',   -- 只讀賬號(hào)的SK，無(wú)需修改。
  'batchGetSize' = '500',                           -- 批量讀取數(shù)據(jù)，每批最多拉取500條。
  'startTime' = '2023-07-24 00:00:00'               -- 開(kāi)始時(shí)間，盡量設(shè)置到需要計(jì)算的時(shí)間附近，否則無(wú)效計(jì)算的時(shí)間較長(zhǎng)。默認(rèn)值為當(dāng)前值。
);

-- 配置開(kāi)啟mini-batch, 每2s處理一次。
SET 'table.exec.mini-batch.enabled'='true'; 
SET 'table.exec.mini-batch.allow-latency'='2s'; 
SET 'table.exec.mini-batch.size'='4096'; 

-- 作業(yè)設(shè)置4個(gè)并發(fā)，聚合更快。
SET 'parallelism.default' = '4'; 

-- 實(shí)時(shí)統(tǒng)計(jì)過(guò)去一周里Github小時(shí)級(jí)別的評(píng)論熱力圖。
SELECT  DATE_FORMAT(created_at_ts, 'yyyy-MM-dd') as comment_date, HOUR(created_at_ts) AS comment_hour ,COUNT(*) AS comment_count
FROM gh_event
WHERE created_at_ts >= NOW() - INTERVAL '7' DAY AND (type='CommitCommentEvent'
    OR type='IssueCommentEvent' or type = 'PullRequestReviewCommentEvent')
GROUP BY DATE_FORMAT(created_at_ts, 'yyyy-MM-dd'), HOUR(created_at_ts) ;

按照實(shí)際地域配置WITH參數(shù)中的project和endPoint（本示例以深圳地域?yàn)槔渌麉?shù)保持默認(rèn)值，無(wú)需修改。

單擊調(diào)試。

在彈出的對(duì)話框中，選擇調(diào)試集群為flink-sql-test-session（第一步中創(chuàng)建的Session集群），確認(rèn)調(diào)試數(shù)據(jù)狀態(tài)為線上數(shù)據(jù)后，單擊確定。

查看可視化結(jié)果。

完成本示例后，請(qǐng)單擊結(jié)果區(qū)域左側(cè)紅色停止按鈕。

因?yàn)檫@是一個(gè)流式作業(yè)，作業(yè)會(huì)持續(xù)運(yùn)行，結(jié)果會(huì)持續(xù)更新。體驗(yàn)完成之后，請(qǐng)及時(shí)單擊停止按鈕，否則會(huì)繼續(xù)消耗計(jì)算資源。