索引是一種倒排的數據存儲結構,由關鍵詞和指向實際數據的邏輯指針組成,用于快速根據關鍵詞定位到具體數據行,類似于數據的目錄。您只有配置索引后,才能進行查詢和分析操作。本文通過代碼示例介紹如何創建、修改、查詢、刪除索引。
前提條件
已開通日志服務。更多信息,請參見開通日志服務。
已創建RAM用戶并完成授權。具體操作,請參見創建RAM用戶并完成授權。
已配置環境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具體操作,請參見在Linux、macOS和Windows系統配置環境變量。
重要阿里云賬號的AccessKey擁有所有API的訪問權限,建議您使用RAM用戶的AccessKey進行API訪問或日常運維。
強烈建議不要把AccessKey ID和AccessKey Secret保存到工程代碼里,否則可能導致AccessKey泄露,威脅您賬號下所有資源的安全。
已安裝日志服務Python SDK。具體操作,請參見安裝Python SDK。
已創建日志服務Project、Logstore并完成日志采集。具體操作,請參見創建項目Project、創建Logstore和數據采集概述。
注意事項
本示例以華東1(杭州)的公網Endpoint為例,其公網Endpoint為https://cn-hangzhou.log.aliyuncs.com
。如果您通過與Project同地域的其他阿里云產品訪問日志服務,請使用內網Endpointhttps://cn-hangzhou-intranet.log.aliyuncs.com
。關于日志服務支持的地域與Endpoint的對應關系,請參見服務入口。
計費說明
Logstore的計費方式,包含按寫入數據量計費和按使用功能計費。具體信息,請參見管理Logstore、按使用功能計費模式計費項和按寫入數據量計費模式計費項。
按寫入數據量計費的logstore
創建的索引會占用存儲空間,存儲類型請參見管理智能存儲分層。
重建索引不產生費用。
按使用功能計費的logstore
創建的索引會占用存儲空間,存儲類型請參見管理智能存儲分層。
創建索引會產生流量,索引流量計費請參見按使用功能計費模式計費項中的索引流量-日志索引和索引流量-日志索引-查詢型。降低索引流量的建議,請參見文末的相關文檔。
重建索引會產生費用。計費項、計費價格和創建索引相同。
原始日志樣例
body_bytes_sent:1750
host:www.example.com
http_referer:www.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.XX.XX
remote_addr:203.0.XX.XX
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
http_code:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66
創建索引示例代碼
控制臺界面支持界面化配置索引,操作更便捷。具體操作,請參見創建索引。
以下代碼用于創建索引。該示例中,基于原始日志樣例,開啟全文索引,為request_method、status字段開啟字段索引。
from aliyun.log import LogClient, IndexConfig
import os
# 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服務的服務接入點。此處以杭州為例,其它地域請根據實際情況填寫。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 創建日志服務Client。
client = LogClient(endpoint, accessKeyId, accessKey)
# Project名稱。
project_name = "ali-test-project"
# Logstore名稱。
logstore_name = "ali-test-logstore"
if __name__ == '__main__':
# 創建索引前,必須規劃好全文索引、字段索引配置。該示例中,開啟全文索引,為request_method、status字段開啟字段索引。
logstore_index = {'line': {
'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n',
'\t',
'\r'], 'caseSensitive': False, 'chn': False}, 'keys': {'request_method': {'type': 'text',
'token': [',', ' ', "'", '"', ';', '=',
'(', ')', '[', ']', '{', '}',
'?', '@', '&', '<', '>', '/',
':', '\n', '\t', '\r'],
'caseSensitive': False, 'alias': '',
'doc_value': True, 'chn': False},
'status': {'type': 'long', 'alias': '',
'doc_value': True}},
'log_reduce': False,
'max_text_len': 2048}
print("ready to create index")
index_config = IndexConfig()
index_config.from_json(logstore_index)
client.create_index(project_name, logstore_name, index_config)
print("create index success ")
預期結果如下:
ready to create index
create index success
更新索引示例代碼
控制臺界面支持界面化配置索引,操作更便捷。具體操作,請參見創建索引。
以下代碼用于更新索引。該示例中,基于原始日志樣例,開啟全文索引,為request_method、status開啟字段索引,并設置request_method字段大小寫敏感為True。
from aliyun.log import LogClient, IndexConfig
import os
# 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服務的服務接入點。此處以杭州為例,其它地域請根據實際情況填寫。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 創建日志服務Client。
client = LogClient(endpoint, accessKeyId, accessKey)
# Project名稱。
project_name = "ali-test-project"
# Logstore名稱。
logstore_name = "ali-test-logstore"
if __name__ == '__main__':
# 設置request_method字段大小寫敏感為True。
logstore_index = {'line': {
'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n',
'\t',
'\r'], 'caseSensitive': False, 'chn': False}, 'keys': {'request_method': {'type': 'text',
'token': [',', ' ', "'", '"', ';', '=',
'(', ')', '[', ']', '{', '}',
'?', '@', '&', '<', '>', '/',
':', '\n', '\t', '\r'],
'caseSensitive': True, 'alias': '',
'doc_value': True, 'chn': False},
'status': {'type': 'long', 'alias': '',
'doc_value': True}},
'log_reduce': False,
'max_text_len': 2048}
print("ready to update index")
index_config = IndexConfig()
index_config.from_json(logstore_index)
client.update_index(project_name, logstore_name, index_config)
print("update index success ")
預期結果如下:
ready to update index
update index success
查詢索引示例代碼
以下代碼用于查詢指定Logstore的索引信息。
from aliyun.log import LogClient, IndexConfig
import os
# 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服務的服務接入點。此處以杭州為例,其它地域請根據實際情況填寫。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 創建日志服務Client。
client = LogClient(endpoint, accessKeyId, accessKey)
# Project名稱。
project_name = "ali-test-project"
# Logstore名稱。
logstore_name = "ali-test-logstore"
if __name__ == '__main__':
# 查詢索引。
print("ready to list index")
res = client.get_index_config(project_name, logstore_name)
print("The index config is :%s" % res.get_index_config().to_json())
print("list index success ")
預期結果如下:
ready to list index
The index config is :{'line': {'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n', '\t', '\r'], 'caseSensitive': False, 'chn': False}, 'keys': {'request_method': {'type': 'text', 'token': [',', ' ', "'", '"', ';', '=', '(', ')', '[', ']', '{', '}', '?', '@', '&', '<', '>', '/', ':', '\n', '\t', '\r'], 'caseSensitive': True, 'alias': '', 'doc_value': True, 'chn': False}, 'status': {'type': 'long', 'alias': '', 'doc_value': True}}, 'log_reduce': False, 'max_text_len': 2048}
list index success
刪除索引示例代碼
以下代碼用于刪除指定Logstore的索引信息。
from aliyun.log import LogClient, IndexConfig
import os
# 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# 日志服務的服務接入點。此處以杭州為例,其它地域請根據實際情況填寫。
endpoint = "cn-hangzhou.log.aliyuncs.com"
# 創建日志服務Client。
client = LogClient(endpoint, accessKeyId, accessKey)
# Project名稱。
project_name = "ali-test-project"
# Logstore名稱。
logstore_name = "ali-test-logstore2"
if __name__ == '__main__':
# 刪除索引。
print("ready to delete index")
client.delete_index(project_name, logstore_name)
print("delete index success ")
預期結果如下:
ready to delete index
delete index success
相關文檔
阿里云OpenAPI開發者門戶提供調試、SDK、示例和配套文檔。通過OpenAPI,您無需手動封裝請求和簽名操作,就可以快速對日志服務API進行調試。更多信息,請參見OpenAPI開發者門戶。
控制臺操作索引請參見創建索引。
為滿足越來越多的自動化日志服務配置需求,日志服務提供命令行工具CLI(Command Line Interface)。更多信息,請參見日志服務命令行工具CLI。
關于Index API接口說明,請參見如下:
更多示例代碼,請參見Aliyun Log Python SDK on GitHub。