開啟SQL獨(dú)享版
當(dāng)您使用SQL分析時(shí),如果數(shù)據(jù)量較大,SQL普通版無法在一次查詢中完整掃描指定時(shí)間段內(nèi)的所有日志,返回的結(jié)果可能不包括所有匹配的數(shù)據(jù),增加Shard可以提升讀寫能力,但只對新寫入的數(shù)據(jù)生效。您可以通過開啟SQL獨(dú)享版,增加計(jì)算資源,提升單次分析的數(shù)據(jù)量。本文為您介紹SQL獨(dú)享版的概念和如何開啟SQL獨(dú)享版。
前提條件
已創(chuàng)建Standard Logstore。具體操作,請參見創(chuàng)建Logstore。
已采集日志。具體操作,請參見數(shù)據(jù)采集。
已配置索引。具體操作,請參見配置索引。
背景信息
日志服務(wù)中的數(shù)據(jù)必定保存在某一個(gè)分區(qū)(Shard)。日志服務(wù)通過限制每個(gè)Shard掃描的數(shù)據(jù)量,控制Logstore、EventStore、MetricStore的讀寫數(shù)據(jù)的能力。當(dāng)使用SQL分析時(shí),如果數(shù)據(jù)量較大,日志服務(wù)可能只返回部分匹配的結(jié)果。增加Shard數(shù)量可以提升讀寫能力,但只對新寫入的數(shù)據(jù)生效,而且會導(dǎo)致實(shí)時(shí)消費(fèi)的客戶端過多。SQL獨(dú)享版支持更強(qiáng)大的SQL分析能力,可以解決這一問題,典型場景包括:
分析性能要求高的場景,例如實(shí)時(shí)數(shù)據(jù)分析。
長周期的數(shù)據(jù)分析場景,例如月維度的數(shù)據(jù)分析。
大規(guī)模業(yè)務(wù)的數(shù)據(jù)分析場景,例如千億行數(shù)據(jù)的分析。
通過日志服務(wù)實(shí)現(xiàn)多指標(biāo)多維度(SQL并發(fā)數(shù)大于15個(gè))的報(bào)表需求場景。
SQL獨(dú)享版和SQL普通版的能力對比,請參見分析概述。
計(jì)費(fèi)信息
按照查詢和分析時(shí)所使用的CPU時(shí)間計(jì)算。單位為核×小時(shí),即1核計(jì)算資源獨(dú)享使用1小時(shí)的費(fèi)用。更多信息,請參見SQL獨(dú)享版計(jì)費(fèi)案例。
按量付費(fèi):SQL獨(dú)享版費(fèi)用=CPU時(shí)間(小時(shí))×每小時(shí)單價(jià)
資源包:新版資源包(預(yù)付計(jì)劃2.0),換算成資源額度(CU)進(jìn)行抵扣。
開啟SQL獨(dú)享版
日志服務(wù)支持如下兩種開啟方式。
單次開啟:僅當(dāng)前Logstore下的查詢和分析操作,使用SQL獨(dú)享版。
默認(rèn)開啟:當(dāng)前Project下的所有查詢和分析操作(包括告警、儀表盤等),都使用SQL獨(dú)享版。
單次開啟SQL獨(dú)享版
登錄日志服務(wù)控制臺。
在Project列表區(qū)域,單擊目標(biāo)Project。
在控制臺左側(cè),單擊日志存儲,在日志庫列表中單擊目標(biāo)Logstore。
單擊圖標(biāo)。
默認(rèn)開啟SQL獨(dú)享版
登錄日志服務(wù)控制臺。
在Project列表區(qū)域,單擊目標(biāo)Project。
單擊圖標(biāo)。
將鼠標(biāo)懸浮在SQL獨(dú)享版CU數(shù)上,然后單擊設(shè)置。
在編輯SQL獨(dú)享版CU數(shù)面板中,打開是否默認(rèn)開啟的開關(guān),然后單擊確定。
SDK示例
常見問題
如何通過API開啟SQL獨(dú)享版?
您可以在GetLogs接口中,通過powerSql參數(shù)或query參數(shù)開啟SQL獨(dú)享版。更多信息,請參見GetLogs。
如何獲取CPU時(shí)間?
執(zhí)行查詢和分析操作后,將鼠標(biāo)懸浮在分析結(jié)果上,查看CPU時(shí)間,如下圖所示。
SQL獨(dú)享版的費(fèi)用是否可控?
日志服務(wù)通過SQL獨(dú)享版的CU數(shù)來控制SQL獨(dú)享版的費(fèi)用。您可以在目標(biāo)Project的概覽頁面中,配置SQL獨(dú)享版CU數(shù),如下圖所示。
說明CU(ComputeUnit)是SQL獨(dú)享版運(yùn)行過程中可以并行使用的計(jì)算核數(shù)。
使用一次SQL獨(dú)享版的費(fèi)用是多少?
在不同的數(shù)據(jù)量中執(zhí)行不同的查詢和分析語句,會產(chǎn)生不同的SQL獨(dú)享版費(fèi)用,案例如下表所示。
查詢和分析語句
數(shù)據(jù)量(行)
平均每次的費(fèi)用(元)
* | select avg(double_0) from stress_s1_mil1
40億
0.030
* | select avg(double_0), sum(double_0), max(double_0), min(double_0), count(double_0) from stress_s1_mil1
40億
0.044
* | select avg(double_0), sum(double_1), max(double_2), min(double_3), count(double_4) from stress_s1_mil1
40億
0.092
* | select key_0 , avg(double_0) as pv from stress_s1_mil1 group by key_0 order by pv desc limit 1000
40億
0.080
* | select long_0, avg(double_0) as pv from stress_s1_mil1 group by long_0 order by pv desc limit 1000
40億
0.075
* | select long_0, long_1, avg(double_0) as pv from stress_s1_mil1 group by long_0,long_1 order by pv desc limit 1000
3億
0.073
* | select avg(double_0) from stress_s1_mil1 where key_0='key_987'
40億
0.0005