本文介紹通過Python SDK使用SQL獨享版的代碼示例。
前提條件
已創建RAM用戶并完成授權。具體操作,請參見創建RAM用戶并完成授權。
已配置環境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具體操作,請參見在Linux、macOS和Windows系統配置環境變量。
重要阿里云賬號的AccessKey擁有所有API的訪問權限,建議您使用RAM用戶的AccessKey進行API訪問或日常運維。
強烈建議不要把AccessKey ID和AccessKey Secret保存到工程代碼里,否則可能導致AccessKey泄露,威脅您賬號下所有資源的安全。
已安裝0.7.5及以上版本的Python SDK。更多信息,請參見安裝Python SDK。
背景信息
日志服務提供SQL獨享版,用于增強SQL分析能力,支持千億行數據的計算。更多信息,請參見開啟SQL獨享版。
日志服務提供execute_logstore_sql接口和execute_project_sql接口,幫助您更簡單的使用SQL獨享版。
execute_logstore_sql接口:在指定Logstore中使用SQL獨享版。該接口支持的查詢和分析語法兼容標準的SQL92語法,格式為
查詢語句|分析語句
,其中分析語句采用標準的SQL92語法。execute_project_sql接口:在指定Project中使用SQL獨享版。該接口支持的查詢和分析語法為標準的SQL92語法,即您的過濾條件和查詢時間要寫在SQL分析語句的WHERE語句中。
如果您執行分析操作時,需要先過濾一部分數據再分析,建議您使用查詢語句|分析語句
語法,效率更高,即推薦使用execute_logstore_sql接口。
使用SQL獨享版的代碼示例
代碼示例如下,更多信息,請參見Aliyun Log Python SDK。
# encoding: utf-8
from __future__ import print_function
import time
import os
from aliyun.log import *
def main():
# 日志服務的服務接入點。此處以杭州為例,其它地域請根據實際情況填寫。
endpoint = 'cn-hangzhou.log.aliyuncs.com'
# 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。
access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Project名稱。
project_name = 'aliyun-test-project'
# Logstore名稱。
logstore_name = 'aliyun-test-logstore'
# 創建日志服務Client。
client = LogClient(endpoint, access_key_id, access_key)
# 在指定的Logstore內執行SQL分析。
print("===sample_execute_logstore_sql===")
res = client.execute_logstore_sql(project_name, logstore_name,
int(time.time() - 60),int(time.time()),
"* | select count(1) as cnt",True)
# 打印計算結果的統計信息。
res.log_print()
# 處理的日志行數。
print("processed_rows: %s" % res.get_processed_rows())
# SQL分析執行的時長。
print("elapsed_mills: %s" % res.get_elapsed_mills())
# 是否使用了SQL語句。
print("has_sql: %s" % res.get_has_sql())
# 豎線(|)前的WHERE語句。
print("where_query: %s" % res.get_where_query())
# 豎線(|)后的SELECT聚合計算語句。
print("agg_query: %s" % res.get_agg_query())
# 開啟SQL獨享版后,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多信息,請參見計費項。
print("cpu_sec: %s" % res.get_cpu_sec())
# 開啟SQL獨享版后,執行SQL分析所使用的CPU核數。
print("cpu_cores: %s" % res.get_cpu_cores())
# 在指定的Project內執行SQL分析。
print("===sample_execute_project_sql===")
res = client.execute_project_sql(project_name,"select count(1) as cnt from %s where __time__ > %s"
% (logstore_name, int(time.time() - 60)),True)
# 打印計算結果的統計信息。
res.log_print()
# 處理的日志行數。
print("processed_rows: %s" % res.get_processed_rows())
# SQL分析執行的時長。
print("elapsed_mills: %s" % res.get_elapsed_mills())
# 是否使用了SQL語句。
print("has_sql: %s" % res.get_has_sql())
# 豎線(|)前的WHERE語句。
print("where_query: %s" % res.get_where_query())
# 豎線(|)后的SELECT聚合計算語句。
print("agg_query: %s" % res.get_agg_query())
# 開啟SQL獨享版后,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多信息,請參見計費項。
print("cpu_sec: %s" % res.get_cpu_sec())
# 開啟SQL獨享版后,執行SQL分析所使用的CPU核數。
print("cpu_cores: %s" % res.get_cpu_cores())
if __name__ == '__main__':
main()
execute_logstore_sql接口
調用execute_logstore_sql接口使用SQL獨享版,格式為
res = client.execute_logstore_sql(project, logstoreName, from, to, query, powerSql)
,各個參數說明如下表所示。參數名稱
類型
是否必選
示例
說明
project_name
String
是
不涉及
Project名稱。
在創建Client時,已定義project_name,此處無需配置。
logstore_name
String
是
不涉及
Logstore名稱。
在創建Client時,已定義logstore_name,此處無需配置。
from
Long
是
int(time.time() - 60)
查詢起始時間。Unix時間戳格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。
to
Long
是
int(time.time())
查詢結束時間點。Unix時間戳格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。
query
String
是
"* | select count(1) as cnt"
日志服務查詢和分析語句,格式為
查詢語句|分析語句
。更多信息,請參見基礎語法。日志服務默認返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多信息,請參見LIMIT子句。
powerSql
Boolean
否
True
是否使用SQL獨享版。更多信息,請參見開啟SQL獨享版。
True:使用SQL獨享版。
False(默認值):使用SQL普通版。
execute_project_sql接口
調用execute_project_sql接口使用SQL獨享版,格式為
res = client.execute_project_sql(project, query, powerSql)
,各個參數說明如下表所示。參數名稱
類型
是否必選
示例
說明
project_name
String
是
aliyun-test-project
Project名稱。
在創建Client時,已定義project_name,此處無需配置。
query
String
是
"select count(1) as cnt from %s where __time__ > %s" % (logstore_name, int(time.time() - 60))
標準的SQL語句,即您的查詢語句要寫在SQL分析語句的WHERE語句中。
日志服務默認返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多信息,請參見LIMIT子句。
powerSql
Boolean
否
True
是否使用SQL獨享版。更多信息,請參見開啟SQL獨享版。
True:使用SQL獨享版。
False(默認值):使用SQL普通版。
創建、更新和獲取SQL Instance的代碼示例
開啟SQL獨享版后,您還可以創建SQL Instance,用于指定SQL獨享版CU數。日志服務通過SQL獨享版的CU數來控制SQL獨享版的費用。代碼示例如下,更多信息,請參見Aliyun Log Python SDK。
# encoding: utf-8
from __future__ import print_function
import time
import os
from aliyun.log import *
def main():
# 日志服務的服務入口。更多信息,請參見服務入口。此處以杭州為例,其它地域請根據實際情況填寫。
endpoint = 'cn-hangzhou.log.aliyuncs.com'
# 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。
access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Project名稱。
project_name = 'aliyun-test-project'
# Logstore名稱。
logstore_name = 'aliyun-test-logstore'
# 創建日志服務Client。
client = LogClient(endpoint, access_key_id, access_key)
# 創建SQL Instance配置,支持配置SQL獨享版CU數。CU數的取值范圍為0~1000。
print("===sample_create_sql_instance===")
res = client.create_sql_instance(project_name, 500)
res.log_print()
# 更新SQL Instance配置,支持更新SQL獨享版CU數。CU數的取值范圍為0~1000。
print("===sample_update_sql_instance===")
res = client.update_sql_instance(project_name, 800)
res.log_print()
# 獲取SQL Instance配置。
print("===sample_list_sql_instance===")
res = client.list_sql_instance(project_name)
res.log_print()
if __name__ == '__main__':
main()