create_external_store
調(diào)用CLI命令關(guān)聯(lián)外部數(shù)據(jù)源。當前支持關(guān)聯(lián)RDS MySQL、OSS、本地CSV文件作為外部數(shù)據(jù)源。
注意事項
在進行日志數(shù)據(jù)查詢分析時,日志中的部分信息需要和外部存儲(ExternalStore)的信息進行關(guān)聯(lián)查詢,從而進一步豐富日志服務(wù)中的日志數(shù)據(jù)。更多信息,請參見關(guān)聯(lián)外部數(shù)據(jù)源簡介、關(guān)聯(lián)Logstore與OSS外表進行查詢和分析。
在使用CLI命令之前,您需要注意以下事項:
已開通日志服務(wù)。具體操作,請參見如何開始使用日志服務(wù)?。
已采集日志。更多信息,請參見數(shù)據(jù)采集。
已開啟并配置索引。更多信息,請參見創(chuàng)建索引。
確定關(guān)聯(lián)的外部數(shù)據(jù)源。
若是關(guān)聯(lián)OSS數(shù)據(jù)源,則已經(jīng)上傳CSV格式文件到OSS Bucket。更多信息,請參見控制臺上傳文件。
若是關(guān)聯(lián)RDS MySQL數(shù)據(jù)源,則已經(jīng)存儲數(shù)據(jù)到RDS MySQL數(shù)據(jù)庫,并已獲取RDS MySQL的實例ID、訪問域名、端口、數(shù)據(jù)庫賬號和密碼等。更多信息,請參見創(chuàng)建數(shù)據(jù)庫和賬號。
若是關(guān)聯(lián)本地CSV數(shù)據(jù)源,則已經(jīng)創(chuàng)建本地CSV文件。更多信息,請參見關(guān)聯(lián)托管的CSV數(shù)據(jù)源。
命令格式
aliyunlog log create_external_store --project_name=<value> --config=<value> [--access-id=<value>] [--access-key=<value>] [--sts-token=<value>] [--region-endpoint=<value>] [--client-name=<value>] [--jmes-filter=<value>] [--format-output=<value>] [--decode-output=<value>] [--profile=<value>]
命令參數(shù)
該命令的必選和特有參數(shù)描述如下。
參數(shù)名稱 | 數(shù)值類型 | 是否必選 | 示例值 | 描述 |
--project_name | String | 是 | ali-test-project | Project名稱。 |
--config | String | 是 | file://./external_store_config.json | 關(guān)聯(lián)外部數(shù)據(jù)源的配置文件路徑。您需要在執(zhí)行該命令前,創(chuàng)建該文件,指定外部存儲名稱、表的Schema、OSS訪問信息或者RDS MySQL等信息。 您可以參考命令示例中說明創(chuàng)建該文件。 |
關(guān)于該命令的全局參數(shù),請參見全局參數(shù)。
命令示例
創(chuàng)建external_store_config.json文件,用于指定關(guān)聯(lián)OSS外部數(shù)據(jù)源,其內(nèi)容示例如下:
{ "externalStoreName": "oss-store-demo", "storeType": "oss", "parameter": { "endpoint": "oss-cn-hangzhou.aliyuncs.com", "accessid": "your_accesskey_id", "accesskey": "your_accesskey_secret", "bucket": "doc-test", "objects": [ "external-store-test/user.csv" ], "columns": [ { "name": "userid", "type": "bigint" }, { "name": "nick", "type": "varchar" }, { "name": "gender", "type": "varchar" }, { "name": "province", "type": "varchar" }, { "name": "age", "type": "bigint" } ] } }
該CSV文件的內(nèi)容示例如下:更多信息,請參見關(guān)聯(lián)OSS數(shù)據(jù)源和關(guān)聯(lián)Logstore與OSS外表進行查詢和分析。
使用默認賬號關(guān)聯(lián)一個名為oss-store-demo的外部數(shù)據(jù)源。
命令示例
aliyunlog log create_external_store --project_name="ali-test-project" --config="file://./external_store_config.json"
返回示例
命令執(zhí)行成功后,無響應(yīng)消息。您可以執(zhí)行
aliyunlog log get_external_store --project_name="ali-test-project" --store_name="oss-store-demo" --format-output=json
查詢OSS外部數(shù)據(jù)源詳細信息。{ "externalStoreName": "oss-store-demo", "parameter": { "accessid": "your_accesskey_id", "accesskey": "your_accesskey_secret", "bucket": "doc-test", "columns": [ { "name": "userid", "type": "bigint" }, { "name": "nick", "type": "varchar" }, { "name": "gender", "type": "varchar" }, { "name": "province", "type": "varchar" }, { "name": "age", "type": "bigint" } ], "endpoint": "oss-cn-hangzhou.aliyuncs.com", "objects": [ "external-store-test/user.csv" ] }, "storeType": "oss" }
關(guān)聯(lián)外部數(shù)據(jù)源后,您可以在日志服務(wù)控制臺通過查詢分析語句
*|select * from oss-store-demo
查詢關(guān)聯(lián)的OSS外部數(shù)據(jù)源數(shù)據(jù)。
創(chuàng)建rds-mysql-external-store.json文件,用于指定關(guān)聯(lián)RDS MySQL外部數(shù)據(jù)源,其內(nèi)容示例如下:
{ "externalStoreName": "rds-vpc-mysql-store", "storeType": "rds-vpc", "parameter": { "region": "cn-hangzhou", "vpc-id": "vpc-bp1c******p6kgvv", "instance-id": "rm-bp1t4******rm76", "host": "rm-bp1******rm76.mysql.rds.aliyuncs.com", "port": "3306", "username": "testuser", "password": "******", "db": "dbtest", "table": "chiji_user" } }
該table表的內(nèi)容示例如下:更多信息,請參見關(guān)聯(lián)MySQL數(shù)據(jù)源和關(guān)聯(lián)Logstore與MySQL數(shù)據(jù)庫進行查詢分析。
使用默認賬號關(guān)聯(lián)一個名為rds-vpc-mysql-store的外部數(shù)據(jù)源。
命令示例
aliyunlog log create_external_store --project_name="ali-test-project" --config="file://./rds-mysql-external-store.json"
返回示例
命令執(zhí)行成功后,無響應(yīng)消息。您可以執(zhí)行
aliyunlog log get_external_store --project_name="ali-test-project" --store_name="rds-vpc-mysql-store" --format-output=json
查詢RDS MySQL外部數(shù)據(jù)源詳細信息。{ "externalStoreName": "rds-vpc-mysql-store", "parameter": { "db": "dbtest", "host": "rm-bp1******rm76.mysql.rds.aliyuncs.com", "instance-id": "rm-bp1t4******rm76", "port": "3306", "region": "cn-hangzhou", "table": "chiji_user", "timezone": "", "username": "testuser", "vpc-id": "vpc-bp1c******p6kgvv" }, "storeType": "rds-vpc" }
關(guān)聯(lián)外部數(shù)據(jù)源后,您可以在日志服務(wù)控制臺通過查詢分析語句
*|select * from rds-vpc-mysql-store
查詢關(guān)聯(lián)的RDS MySQL外部數(shù)據(jù)源數(shù)據(jù)。
創(chuàng)建external_store_config_local.json文件,用于指定關(guān)聯(lián)本地CSV外部數(shù)據(jù)源,其內(nèi)容示例如下:
{ "externalStoreName": "doctest-local-csvfile", "storeType": "csv", "parameter": { "endpoint": "cn-hangzhou.aliyuncs.com", "externalStoreCsvFile": "./user2.csv", "columns": [ {"name": "userid", "type" : "bigint"}, {"name": "nick", "type" : "varchar"}, {"name": "gender", "type" : "varchar"}, {"name": "province", "type" : "varchar"}, {"name": "age", "type" : "bigint"}], "objects": "./user2.csv" } }
該CSV文件的內(nèi)容示例如下:更多信息,請參見關(guān)聯(lián)托管的CSV數(shù)據(jù)源。
使用默認賬號關(guān)聯(lián)一個名為doctest-local-csvfile的外部數(shù)據(jù)源。
命令示例
aliyunlog log create_external_store --project_name="ali-test-project" --config="file://./external_store_config_local.json"
返回示例
命令執(zhí)行成功后,無響應(yīng)消息。您可以執(zhí)行
aliyunlog log get_external_store --project_name="ali-test-project" --store_name="doctest-local-csvfile" --format-output=json
查詢本地CSV文件外部數(shù)據(jù)源詳細信息。{ "externalStoreName": "doctest-local-csvfile", "parameter": { "accessid": "", "accesskey": "", "bucket": "", "columns": [ { "name": "userid", "type": "bigint" }, { "name": "nick", "type": "varchar" }, { "name": "gender", "type": "varchar" }, { "name": "province", "type": "varchar" }, { "name": "age", "type": "bigint" } ], "endpoint": "", "objects": [ "table.csv" ] }, "storeType": "csv" }
關(guān)聯(lián)外部數(shù)據(jù)源后,您可以在日志服務(wù)控制臺通過查詢分析語句
*|select * from doctest-local-csvfile
查詢關(guān)聯(lián)的本地CSV文件外部數(shù)據(jù)源數(shù)據(jù)。
相關(guān)文檔
在調(diào)用API接口過程中,若服務(wù)端返回結(jié)果中包含錯誤信息,則表示調(diào)用API接口失敗。您可以參考API錯誤碼對照表查找對應(yīng)的解決方法。更多信息,請參見API錯誤處理對照表。
阿里云OpenAPI開發(fā)者門戶提供調(diào)試、SDK、示例和配套文檔。通過OpenAPI,您無需手動封裝請求和簽名操作,就可以快速對日志服務(wù)API進行調(diào)試。更多信息,請參見OpenAPI開發(fā)者門戶。
使用日志服務(wù)關(guān)聯(lián)OSS進行數(shù)據(jù)關(guān)聯(lián)查詢的最佳實踐,請參見關(guān)聯(lián)Logstore與OSS外表進行查詢和分析。
使用日志服務(wù)關(guān)聯(lián)RDS MySQL進行數(shù)據(jù)關(guān)聯(lián)查詢的最佳實踐,請參見關(guān)聯(lián)Logstore與MySQL數(shù)據(jù)庫進行查詢分析。