日志服務提供外部存儲功能，可用于日志服務與MySQL數(shù)據(jù)庫、阿里云對象存儲OSS、托管的CSV文件進行關聯(lián)。本文介紹日志服務外部存儲功能的應用場景、功能優(yōu)勢等信息。

應用場景

在日志分析場景中，您可能經常遇到數(shù)據(jù)分散存儲的問題，例如用戶操作、行為等相關數(shù)據(jù)存儲在日志服務中，用戶屬性、注冊信息、資金、道具等相關數(shù)據(jù)存儲在數(shù)據(jù)庫中。類似場景下，您需要對用戶進行分層統(tǒng)計，將最后的計算結果寫入到數(shù)據(jù)庫提供的報表系統(tǒng)中。

針對上述場景，傳統(tǒng)做法是將數(shù)據(jù)遷移到統(tǒng)一的存儲系統(tǒng)中，再進行分析。在遷移過程中既涉及網絡傳輸，又涉及數(shù)據(jù)的清洗和格式化，耗時又耗精力。日志服務提供的外部存儲API支持以下功能：
  • 通過API為外部存儲定義映射，不需要遷移數(shù)據(jù)。
  • 提供統(tǒng)一的查詢分析引擎，支持通過JOIN語法對日志、外部存儲等多種數(shù)據(jù)源進行聯(lián)合查詢。
  • 支持將多種分析結果保存到外部存儲中。

功能優(yōu)勢

  • 節(jié)省成本
    • 節(jié)省數(shù)據(jù)遷移成本。不同存儲系統(tǒng)的格式和API都不同，在遷移過程中涉及到復雜的數(shù)據(jù)轉換。使用日志服務外部存儲無需搬遷數(shù)據(jù)。
    • 節(jié)省數(shù)據(jù)維護成本。如果采用遷移數(shù)據(jù)方式，如果有數(shù)據(jù)更新，需及時維護。
  • 方便快捷
    • 通過SQL語句分析數(shù)據(jù)，實現(xiàn)秒級別獲得分析結果。
    • 將常用視圖添加到儀表盤，打開儀表盤頁面即可快速查看相關信息。

支持的外部存儲

外部存儲功能支持日志服務與MySQL數(shù)據(jù)庫、阿里云OSS、托管的CSV文件建立關聯(lián)，詳細信息如下表所示。

外部存儲名稱從外部數(shù)據(jù)源讀取寫入外部數(shù)據(jù)源創(chuàng)建方式地域
MySQL支持支持API、SDK、CLI所有地域
OSS支持支持SQL create table所有地域
托管的CSV文件支持不支持SDK華東2（上海）