• 優(yōu)缺點(diǎn)

  • 優(yōu)點(diǎn)：實(shí)時(shí)性好，可以滿足用戶的實(shí)時(shí)UV計(jì)算需求，同時(shí)計(jì)算靈活，可以按需選擇時(shí)間周期進(jìn)行UV計(jì)算，無需預(yù)計(jì)算和調(diào)度等配置即可實(shí)現(xiàn)即席的UV、PV查詢。結(jié)合Hologres內(nèi)置的COUNT DISTINCT自動(dòng)優(yōu)化，計(jì)算效率相比其他產(chǎn)品有顯著提升。

  • 缺點(diǎn)：數(shù)據(jù)量變大時(shí)，計(jì)算時(shí)效可能會(huì)降低，支持的QPS也會(huì)降低。

• 適用場(chǎng)景

  適用于小規(guī)模數(shù)據(jù)量（千萬級(jí)）UV查詢場(chǎng)景。

明細(xì)寬表計(jì)算UV

若只有一張明細(xì)寬表，可以直接對(duì)UID字段使用COUNT DISTINCT實(shí)現(xiàn)UV計(jì)算，示例如下：

1. 準(zhǔn)備一張明細(xì)寬表ods_app_detail。

   --明細(xì)寬表
   BEGIN;
   CREATE TABLE IF NOT EXISTS ods_app_detail (
        uid int,
        country text,
        prov text,
        city text,
        channel text,
        operator text,
        brand text,
        ip text,
        click_time text,
        year text,
        month text,
        day text,
        ymd text NOT NULL
   );
   CALL set_table_property('ods_app_detail', 'orientation', 'column');
   CALL set_table_property('ods_app_detail', 'bitmap_columns', 'country,prov,city,channel,operator,brand,ip,click_time, year, month, day, ymd');
   --distribution_key根據(jù)需求設(shè)置，根據(jù)該表的實(shí)時(shí)查詢需求，從什么維度做分片能夠取得較好效果即可
   CALL set_table_property('ods_app_detail', 'distribution_key', 'uid');
   CALL set_table_property('ods_app_detail', 'clustering_key', 'ymd');
   CALL set_table_property('ods_app_detail', 'event_time_column', 'ymd');
   COMMIT;

2. 使用COUNT DISTINCT計(jì)算UV。

   --查詢一個(gè)月的UV、PV
   SELECT  
    COUNT (DISTINCT uid) AS uv,
     country,
     prov,
     city,
    COUNT(1) AS pv
   FROM public.ods_app_detail
   WHERE ymd >= '20240301' AND ymd <= '20240331'
   GROUP BY country,prov,city;

明細(xì)表和維表JOIN計(jì)算UV

部分業(yè)務(wù)場(chǎng)景可能需要使用維表和明細(xì)表進(jìn)行JOIN才能實(shí)現(xiàn)UV計(jì)算，常見的示例如下：

1. 準(zhǔn)備基礎(chǔ)表。

   --明細(xì)表，記錄用戶的操作明細(xì)
   BEGIN;
   CREATE TABLE IF NOT EXISTS ods_app_detail (
        uid int,
        channel text,
        operator text,
        brand text,
        ip text,
        click_time text,
        year text,
        month text,
        day text,
        ymd text NOT NULL
   );
   CALL set_table_property('ods_app_detail', 'orientation', 'column');
   CALL set_table_property('ods_app_detail', 'bitmap_columns', 'channel,operator,brand,ip,click_time, year, month, day, ymd');
   --distribution_key根據(jù)需求設(shè)置，根據(jù)該表的實(shí)時(shí)查詢需求，從什么維度做分片能夠取得較好效果即可
   CALL set_table_property('ods_app_detail', 'distribution_key', 'uid');
   --用于做where過濾條件，包含完整年月日時(shí)間字段推薦設(shè)為clustering_key和event_time_column
   CALL set_table_property('ods_app_detail', 'clustering_key', 'ymd');
   CALL set_table_property('ods_app_detail', 'event_time_column', 'ymd');
   COMMIT;
   
   --維表，記錄用戶的屬性信息
   BEGIN;
   CREATE TABLE dim_uid_info (
       uid int NOT NULL,
       name text NOT NULL,
       gender text NOT NULL,
       country text,
       prov text,
       city text
   );
   CALL set_table_property('dim_uid_info', 'orientation', 'column');
   CALL set_table_property('dim_uid_info', 'bitmap_columns', 'country,prov,city');
   CALL set_table_property('dim_uid_info', 'distribution_key', 'uid');
   COMMIT;

2. 通過明細(xì)表JOIN維表計(jì)算任意周期的UV。

   --查詢一個(gè)月內(nèi)性別為男的用戶的UV、PV
   SELECT  
    COUNT (DISTINCT B.uid) AS uv,
     country,
     prov,
     city,
     COUNT(1)  AS pv
   FROM 
   ( SELECT uid,country,prov,city FROM dim_uid_info WHERE gender = 'man'
   ) AS A
   LEFT JOIN ods_app_detail  AS B ON A.uid = B.uid
   WHERE B.ymd >= '20240301' AND B.ymd <= '20240331'
   GROUP BY country,prov,city;