日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
輸入文檔關(guān)鍵字查找
首頁 日志服務(wù) 操作指南 查詢與分析 最佳實(shí)踐 關(guān)聯(lián)Logstore與OSS外表進(jìn)行查詢和分析

關(guān)聯(lián)Logstore與OSS外表進(jìn)行查詢和分析

更新時(shí)間：
產(chǎn)品詳情
我的收藏

在進(jìn)行日志數(shù)據(jù)查詢和分析時(shí)，經(jīng)常需要結(jié)合外部表格對(duì)日志數(shù)據(jù)進(jìn)行分析。本文介紹如何在日志服務(wù)中聯(lián)合OSS外表進(jìn)行數(shù)據(jù)分析。

前提條件

說明

關(guān)聯(lián)的OSS文件目前只支持一個(gè)文件，文件最大為10M,不支持壓縮，參數(shù)不支持正則表達(dá)式。

背景信息

某支付公司，想要分析用戶年齡、地域、性別等因素對(duì)支付習(xí)慣的影響。該公司已通過日志服務(wù)實(shí)時(shí)采集用戶支付行為（支付方式、支付費(fèi)用等）日志，并將用戶屬性（地域、年齡、性別等）信息保存在OSS中。針對(duì)該場(chǎng)景，日志服務(wù)查詢和分析引擎提供Logstore和外部數(shù)據(jù)源（ExternalStore，例如MySQL數(shù)據(jù)庫(kù)、OSS等）聯(lián)合查詢和分析功能。您可以使用SQL的JOIN語法把用戶屬性數(shù)據(jù)和行為數(shù)據(jù)進(jìn)行聯(lián)合，分析與用戶屬性相關(guān)的指標(biāo)。

與OSS進(jìn)行關(guān)聯(lián)查詢和分析，具有如下優(yōu)勢(shì)：

  • 節(jié)省費(fèi)用：將更新頻率低的數(shù)據(jù)保存在OSS上，只需要支付少量的存儲(chǔ)費(fèi)用，并且可以通過內(nèi)網(wǎng)讀數(shù)據(jù)，免去流量費(fèi)用。

  • 降低運(yùn)維工作：在輕量級(jí)的聯(lián)合分析平臺(tái)中，不需要將數(shù)據(jù)搬遷到同一個(gè)存儲(chǔ)系統(tǒng)中。

  • 節(jié)省時(shí)間：使用SQL分析數(shù)據(jù)，分析結(jié)果秒級(jí)可見，并可以將常用的分析結(jié)果定義為報(bào)表，打開即可看到結(jié)果。

操作步驟

  1. 創(chuàng)建CSV文件并上傳到OSS。

    1. 創(chuàng)建名為user.csv的文件。

      userid,nick,gender,province,age
1,用戶A,male,上海,18
2,用戶B,female,浙江,19
3,用戶C,male,廣東,18

    2. 上傳user.csv文件到OSS。具體操作，請(qǐng)參見控制臺(tái)上傳文件。

  2. 登錄日志服務(wù)控制臺(tái)。

  3. 在Project列表區(qū)域，單擊目標(biāo)Project。

    image

  4. 在控制臺(tái)左側(cè)，單擊日志存儲(chǔ)，在日志庫(kù)列表中單擊目標(biāo)Logstore。

    image

  5. 輸入查詢和分析語句，然后選擇時(shí)間范圍。

    通過SQL定義虛擬外部存儲(chǔ)（此處以u(píng)ser_meta1為例），映射到OSS文件，如果執(zhí)行結(jié)果中的result為true，表示執(zhí)行成功。

    * | create table user_meta1 ( userid bigint, nick varchar, gender varchar, province varchar, age bigint) with ( endpoint='oss-cn-hangzhou.aliyuncs.com',accessid='LTAI5t8y9c113M7V****',accesskey='Y45H7bqvvgapWZR****',bucket='testoss',objects=ARRAY['user.csv'],type='oss')

    外部存儲(chǔ)

    在查詢和分析語句中定義外部存儲(chǔ)名稱、表的Schema等信息，并通過WITH語法指定OSS訪問信息及文件信息，詳細(xì)信息如下表所示。

    配置項(xiàng)

    說明

    示例

    外部存儲(chǔ)名稱

    外部存儲(chǔ)名稱，即虛擬表的名稱。

    user_meta1

    表的Schema

    定義表的屬性，包括表的列名及格式，例如(userid bigint, nick varchar, gender varchar, province varchar, age bigint)。

    (userid bigint, nick varchar, gender varchar, province varchar, age bigint)

    endpoint

    OSS內(nèi)網(wǎng)訪問域名。更多信息，請(qǐng)參見訪問域名和數(shù)據(jù)中心。

    oss-cn-hangzhou.aliyuncs.com

    accessid

    您的AccessKey ID。更多信息，請(qǐng)參見訪問密鑰。

    LT****7V

    accesskey

    您的AccessKey Secret。更多信息，請(qǐng)參見訪問密鑰。

    Y4****ZR

    bucket

    CSV文件所在的OSS Bucket名稱。

    testoss

    objects

    CSV文件路徑。

    說明

    objects為array類型，目前只支持一個(gè)OSS文件。

    user.csv

    type

    固定為oss，表示外部存儲(chǔ)類型為OSS。

    oss

  6. 驗(yàn)證是否成功定義外部存儲(chǔ)。

    執(zhí)行如下語句，如果返回結(jié)果為您之前定義的表內(nèi)容，則表示定義外部存儲(chǔ)成功。其中，user_meta1為您定義的外部存儲(chǔ)，請(qǐng)根據(jù)實(shí)際情況替換。 

    * | select * from user_meta1

    驗(yàn)證結(jié)果

  7. 通過JOIN語法完成Logstore和OSS外表的聯(lián)合查詢。

    執(zhí)行如下查詢和分析語句關(guān)聯(lián)日志服務(wù)中日志的ID和OSS文件中的userid，補(bǔ)全日志信息。其中，test_accesslog為L(zhǎng)ogstore名稱，l為L(zhǎng)ogstore別名，user_meta1為您定義的外部存儲(chǔ)表，請(qǐng)根據(jù)實(shí)際情況替換。

    * | select * from test_accesslog l join user_meta1 u on l.userid = u.userid

    聯(lián)合查詢示例：

    • 統(tǒng)計(jì)不同性別用戶的訪問情況。

      * | select u.gender, count(1) from test_accesslog l join user_meta1 u on l.userid = u.userid group by u.gender

      性別訪問

    • 統(tǒng)計(jì)不同年齡段用戶的訪問情況。

      * | select u.age, count(1) from test_accesslog l join user_meta1 u on l.userid = u.userid group by u.age

      年齡訪問

    • 統(tǒng)計(jì)不同年齡段在時(shí)間維度上的訪問趨勢(shì)。

      * | select date_trunc('minute',__time__) as minute, count(1) ,u.age from test_accesslog l join user_meta1 u on l.userid = u.userid group by u.age,minute

      時(shí)間訪問