關(guān)聯(lián)MySQL數(shù)據(jù)源
本文介紹如何創(chuàng)建外部存儲,建立日志服務(wù)與MySQL數(shù)據(jù)庫的關(guān)聯(lián)。
前提條件
已采集數(shù)據(jù)到日志服務(wù)。具體操作,請參見數(shù)據(jù)采集。
已將數(shù)據(jù)存儲到阿里云RDS MySQL數(shù)據(jù)庫、阿里云ADB MySQL數(shù)據(jù)庫或阿里云ECS上自建的MySQL數(shù)據(jù)庫。
MySQL數(shù)據(jù)庫在阿里云VPC內(nèi)網(wǎng)域內(nèi),RDS實(shí)例、ADB實(shí)例或ECS實(shí)例必須與日志服務(wù)Project處于同一地域。
背景信息
日志服務(wù)外部存儲功能支持日志服務(wù)與阿里云RDS MySQL數(shù)據(jù)庫、阿里云ADB MySQL數(shù)據(jù)庫、在阿里云ECS上自建的MySQL數(shù)據(jù)庫關(guān)聯(lián),您還可以將查詢分析結(jié)果寫入MySQL數(shù)據(jù)庫中,便于進(jìn)一步處理結(jié)果。
操作步驟
1. 設(shè)置白名單
RDS MySQL數(shù)據(jù)庫
需添加白名單地址100.104.0.0/16、11.194.0.0/16和11.201.0.0/16。更多信息,請參見設(shè)置IP白名單。
ECS上自建的MySQL數(shù)據(jù)庫
需設(shè)置安全組規(guī)則,允許100.104.0.0/16、11.194.0.0/16和11.201.0.0/16網(wǎng)段訪問。具體操作,請參見添加安全組規(guī)則。
ADB MySQL數(shù)據(jù)庫
需添加白名單地址100.104.0.0/16、11.194.0.0/16和11.201.0.0/16。更多信息,請參見設(shè)置白名單。
2. 創(chuàng)建ExternalStore
- 說明
阿里云云命令行Cloud Shell已經(jīng)集成日志服務(wù)CLI,無需部署配置,您也可以直接使用云命令行管理日志服務(wù)資源和下載日志服務(wù)數(shù)據(jù)。
在命令行執(zhí)行
touch
命令,創(chuàng)建配置文件/home/shell/config.json。在config.json中添加如下腳本。根據(jù)實(shí)際情況您需要替換region
、vpc-id
、host
、port
、username
、password
、db
和table
的值。{ "externalStoreName":"sls_join_meta_store", "storeType":"rds-vpc", "parameter":{ "region":"cn-qingdao", "vpc-id":"vpc-m5eq4irc1pucp*******", "host":"localhost", "port":"3306", "username":"user", "password":"****", "db":"scmc", "table":"join_meta" } }
參數(shù)
說明
externalStoreName
ExternalStore名稱,必須小寫。
storeType
數(shù)據(jù)源類型,固定為
rds-vpc
。region
地域。詳細(xì)說明如下:
如果是RDS MySQL數(shù)據(jù)庫,則配置region為RDS實(shí)例所在地域。
如果是ADB MySQL數(shù)據(jù)庫,則配置region為ADB實(shí)例所在地域。
如果是專有網(wǎng)絡(luò)下ECS上自建的MySQL數(shù)據(jù)庫,則配置region為ECS實(shí)例所在地域。
重要RDS實(shí)例、ADB實(shí)例或ECS實(shí)例必須與日志服務(wù)Project處于同一地域。
vpc-id
VPC ID。詳細(xì)說明如下:
如果是專有網(wǎng)絡(luò)下的RDS MySQL數(shù)據(jù)庫,則配置vpc-id為RDS實(shí)例所屬專有網(wǎng)絡(luò)的ID。
如果是專有網(wǎng)絡(luò)下的ADB MySQL數(shù)據(jù)庫,則配置vpc-id為ADB實(shí)例所屬專有網(wǎng)絡(luò)的ID。
如果是專有網(wǎng)絡(luò)下ECS上自建的MySQL數(shù)據(jù)庫,則配置vpc-id為ECS實(shí)例所屬專有網(wǎng)絡(luò)的ID。
如果數(shù)據(jù)庫host可以通過公網(wǎng)訪問,則vpc-id無需提供。
host
數(shù)據(jù)庫地址。詳細(xì)說明如下:
如果是專有網(wǎng)絡(luò)下的RDS MySQL數(shù)據(jù)庫,則配置host為RDS實(shí)例的內(nèi)網(wǎng)地址(內(nèi)網(wǎng)域名或內(nèi)網(wǎng)IP地址)。
如果是專有網(wǎng)絡(luò)下的ADB MySQL數(shù)據(jù)庫,則配置host為ADB實(shí)例的內(nèi)網(wǎng)地址(內(nèi)網(wǎng)域名或內(nèi)網(wǎng)IP地址)。
如果是專有網(wǎng)絡(luò)下ECS上自建的MySQL數(shù)據(jù)庫,則配置host為ECS的私網(wǎng)IP地址。
如果數(shù)據(jù)庫通過公網(wǎng)可以訪問,則配置對應(yīng)的公網(wǎng)域名或公網(wǎng)IP地址。
port
端口號。詳細(xì)說明如下:
如果是RDS MySQL數(shù)據(jù)庫,則配置port為RDS實(shí)例的端口號。
如果是ADB MySQL數(shù)據(jù)庫,則配置port為ADB實(shí)例的端口號。
如果是專有網(wǎng)絡(luò)下ECS上自建的MySQL數(shù)據(jù)庫,則配置port為ECS上MySQL的服務(wù)端口。
username
數(shù)據(jù)庫用戶名。
password
數(shù)據(jù)庫密碼。
db
數(shù)據(jù)庫名。
table
數(shù)據(jù)庫表名。
在命令行執(zhí)行如下命令,創(chuàng)建ExternalStore。其中project_name為日志服務(wù)Project名稱,請根據(jù)實(shí)際情況替換,本文以
log-rds-demo
為例。aliyunlog log create_external_store --project_name="log-rds-demo" --config="file:///home/shell/config.json"
查詢ExternalStore信息。命令執(zhí)行成功后,無響應(yīng)消息。您可以執(zhí)行
aliyunlog log get_external_store --project_name="log-rds-demo" --store_name="sls_join_meta_store" --format-output=json
查詢RDS MySQL外部數(shù)據(jù)源詳細(xì)信息。查詢信息如下:{ "externalStoreName": "sls_join_meta_store", "parameter": { "db": "scmc", "host": "rm-bp1******rm76.mysql.rds.aliyuncs.com", "instance-id": "", "port": "3306", "region": "cn-qingdao", "table": "join_meta", "timezone": "", "username": "user", "vpc-id": "vpc-m5eq4irc1pucp*******" }, "storeType": "rds-vpc" }
3. 查詢關(guān)聯(lián)的MySQL數(shù)據(jù)
關(guān)聯(lián)外部數(shù)據(jù)源后,您可以在日志服務(wù)控制臺,名為log-rds-demo
的Project下,單擊任意Logstore,通過查詢分析語句* | select * from sls_join_meta_store
查詢關(guān)聯(lián)的MySQL數(shù)據(jù)。
相關(guān)操作
更新MySQL外部存儲。
aliyunlog log update_external_store --project_name="log-rds-demo" --config="file:///home/shell/config.json"
刪除MySQL外部存儲。
aliyunlog log delete_external_store --project_name="log-rds-demo" --store_name=sls_join_meta_store
獲取RDS實(shí)例的VpcCloudInstanceId。
使用RDS實(shí)例所在的阿里云賬號登錄RDS控制臺。
打開DescribeDBInstanceAttribute - 查詢實(shí)例詳情調(diào)試頁面。
配置DBInstanceId,然后單擊發(fā)起調(diào)用。
在返回結(jié)果中,獲取VpcCloudInstanceId。
相關(guān)文檔
通過JOIN語法將Logstore和MySQL聯(lián)合查詢分析。
創(chuàng)建外部MySQL存儲的最佳實(shí)踐,請參見關(guān)聯(lián)Logstore與MySQL數(shù)據(jù)庫進(jìn)行查詢分析。
在阿里云ECS上自建MySQL數(shù)據(jù)庫,請參見部署MySQL數(shù)據(jù)庫(Linux)。
快速創(chuàng)建ADB MySQL數(shù)據(jù)庫,請參見快速入門概覽。
快速創(chuàng)建RDS MySQL數(shù)據(jù)庫,請參見快捷創(chuàng)建RDS MySQL實(shí)例與配置數(shù)據(jù)庫。