關聯外部數據源
日志服務提供外部存儲功能,可用于日志服務與MySQL數據庫、阿里云對象存儲OSS、托管的CSV文件進行關聯。本文介紹日志服務外部存儲功能的應用場景、功能優勢等信息。
應用場景
在日志分析場景中,您可能經常遇到數據分散存儲的問題,例如用戶操作、行為等相關數據存儲在日志服務中,用戶屬性、注冊信息、資金、道具等相關數據存儲在數據庫中。類似場景下,您需要對用戶進行分層統計,將最后的計算結果寫入到數據庫提供的報表系統中。
針對上述場景,傳統做法是將數據遷移到統一的存儲系統中,再進行分析。在遷移過程中既涉及網絡傳輸,又涉及數據的清洗和格式化,耗時又耗精力。日志服務提供的外部存儲API支持以下功能:
通過API為外部存儲定義映射,不需要遷移數據。
提供統一的查詢分析引擎,支持通過JOIN語法對日志、外部存儲等多種數據源進行聯合查詢。
支持將多種分析結果保存到外部存儲中。
功能優勢
節省成本
節省數據遷移成本。不同存儲系統的格式和API都不同,在遷移過程中涉及到復雜的數據轉換。使用日志服務外部存儲無需搬遷數據。
節省數據維護成本。如果采用遷移數據方式,如果有數據更新,需及時維護。
方便快捷
通過SQL語句分析數據,實現秒級別獲得分析結果。
將常用視圖添加到儀表盤,打開儀表盤頁面即可快速查看相關信息。
支持的外部存儲
外部存儲功能支持日志服務與MySQL數據庫、阿里云OSS、托管的CSV文件建立關聯,詳細信息如下表所示。
外部存儲名稱 | 從外部數據源讀取 | 寫入外部數據源 | 創建方式 | 地域 |
MySQL | 支持 | 支持 | API、SDK、CLI | 所有地域 |
OSS | 支持 | 支持 | SQL create table | 所有地域 |
托管的CSV文件 | 支持 | 不支持 | SDK | 華東2(上海) |