統(tǒng)計聚合
使用統(tǒng)計聚合功能可以實現(xiàn)求最小值、求最大值、求和、求平均值、統(tǒng)計行數(shù)、去重統(tǒng)計行數(shù)、百分位統(tǒng)計、按字段值分組、按范圍分組、按地理位置分組、按過濾條件分組、直方圖統(tǒng)計、獲取統(tǒng)計聚合分組內(nèi)的行、嵌套查詢等;同時多個統(tǒng)計聚合功能可以組合使用,滿足復(fù)雜的查詢需求。
流程
統(tǒng)計聚合的完整執(zhí)行流程如下圖所示。
統(tǒng)計聚合是在服務(wù)端的“查詢”結(jié)束后執(zhí)行,服務(wù)端會將“查詢”階段命中的所有文檔根據(jù)查詢請求進行統(tǒng)計聚合,因此統(tǒng)計聚合請求相比沒有統(tǒng)計聚合的請求會復(fù)雜。
背景信息
統(tǒng)計聚合的詳細(xì)功能請參見下表。
功能 | 說明 |
最小值 | 返回一個字段中的最小值,類似于SQL中的min。 |
最大值 | 返回一個字段中的最大值,類似于SQL中的max。 |
和 | 返回數(shù)值字段的總數(shù),類似于SQL中的sum。 |
平均值 | 返回數(shù)值字段的平均值,類似于SQL中的avg。 |
統(tǒng)計行數(shù) | 返回指定字段值的數(shù)量或者多元索引數(shù)據(jù)總行數(shù),類似于SQL中的count。 |
去重統(tǒng)計行數(shù) | 返回指定字段不同值的數(shù)量,類似于SQL中的count(distinct)。 |
百分位統(tǒng)計 | 百分位統(tǒng)計常用來統(tǒng)計一組數(shù)據(jù)的百分位分布情況,例如在日常系統(tǒng)運維中統(tǒng)計每次請求訪問的耗時情況時,需要關(guān)注系統(tǒng)請求耗時的P25、P50、P90、P99值等分布情況。 |
字段值分組 | 根據(jù)一個字段的值對查詢結(jié)果進行分組,相同的字段值放到同一分組內(nèi),返回每個分組的值和該值對應(yīng)的個數(shù)。 說明 當(dāng)分組較大時,按字段值分組可能會存在誤差。 |
范圍分組 | 根據(jù)一個字段的范圍對查詢結(jié)果進行分組,字段值在某范圍內(nèi)放到同一分組內(nèi),返回每個范圍中相應(yīng)的item個數(shù)。 |
地理位置分組 | 根據(jù)距離某一個中心點的范圍對查詢結(jié)果進行分組,距離差值在某范圍內(nèi)放到同一分組內(nèi),返回每個范圍中相應(yīng)的item個數(shù)。 |
過濾條件分組 | 按照過濾條件對查詢結(jié)果進行分組,獲取每個過濾條件匹配到的數(shù)量,返回結(jié)果的順序和添加過濾條件的順序一致。 |
直方圖統(tǒng)計 | 按照指定數(shù)據(jù)間隔對查詢結(jié)果進行分組,字段值在相同范圍內(nèi)放到同一分組內(nèi),返回每個分組的值和該值對應(yīng)的個數(shù)。 |
獲取統(tǒng)計聚合分組中的行 | 對查詢結(jié)果進行分組后,獲取每個分組內(nèi)的一些行數(shù)據(jù),可實現(xiàn)和MySQL中ANY_VALUE(field)類似的功能。 |
嵌套 | 分組類型的統(tǒng)計聚合功能支持嵌套,其內(nèi)部可以添加子統(tǒng)計聚合。 |
多個統(tǒng)計聚合 | 多個統(tǒng)計聚合功能可以組合使用。 說明 當(dāng)多個統(tǒng)計聚合的復(fù)雜度較高時可能會影響響應(yīng)速度。 |
前提條件
- 已初始化OTSClient。具體操作,請參見初始化。
- 已創(chuàng)建數(shù)據(jù)表并寫入數(shù)據(jù)。
- 已在數(shù)據(jù)表上創(chuàng)建多元索引。具體操作,請參見創(chuàng)建多元索引。
最小值
返回一個字段中的最小值,類似于SQL中的min。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double和Date類型。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 最小值。 /// </summary> /// <param name="otsClient"></param> public static void MinAggregation(OTSClient otsClient) { MinAggregation minAggregation = new MinAggregation(); minAggregation.AggName = "Min_Agg"; minAggregation.FieldName = "pk1"; RangeQuery rangeQuery = new RangeQuery(); rangeQuery.FieldName = "pk1"; rangeQuery.From = new ColumnValue(0); rangeQuery.To = new ColumnValue(100); SearchQuery seachQuery = new SearchQuery { Limit = 0, Query = rangeQuery, AggregationList = new List<IAggregation> { minAggregation } }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, seachQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse.AggregationResults.GetAsMinAggregationResult("Min_Agg"))); }
最大值
返回一個字段中的最大值,類似于SQL中的max。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double和Date類型。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 最大值。 /// </summary> /// <param name="otsClient"></param> public static void MaxAggregation(OTSClient otsClient) { MaxAggregation maxAggregation = new MaxAggregation(); maxAggregation.AggName = "Max_Agg"; maxAggregation.FieldName = "pk1"; RangeQuery rangeQuery = new RangeQuery(); rangeQuery.FieldName = "pk1"; rangeQuery.From = new ColumnValue(0); rangeQuery.To = new ColumnValue(100); SearchQuery seachQuery = new SearchQuery { Limit = 0, Query = rangeQuery, AggregationList = new List<IAggregation> { maxAggregation } }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, seachQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse.AggregationResults.GetAsMaxAggregationResult("Max_Agg"))); }
和
返回數(shù)值字段的總數(shù),類似于SQL中的sum。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long和Double類型。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 求和。 /// </summary> /// <param name="otsClient"></param> public static void SumAggregation(OTSClient otsClient) { SumAggregation sumAggregation = new SumAggregation(); sumAggregation.AggName = "Sum_Agg"; sumAggregation.FieldName = "pk1"; RangeQuery rangeQuery = new RangeQuery(); rangeQuery.FieldName = "pk1"; rangeQuery.From = new ColumnValue(0); rangeQuery.To = new ColumnValue(100); SearchQuery seachQuery = new SearchQuery { Limit = 0, Query = rangeQuery, AggregationList = new List<IAggregation> { sumAggregation } }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, seachQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse.AggregationResults.GetAsSumAggregationResult("Sum_Agg"))); }
平均值
返回數(shù)值字段的平均值,類似于SQL中的avg。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double和Date類型。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 求平均值。 /// </summary> /// <param name="otsClient"></param> public static void AvgAggregation(OTSClient otsClient) { AvgAggregation avgAggregation = new AvgAggregation(); avgAggregation.AggName = "Avg_Agg"; avgAggregation.FieldName = "pk1"; RangeQuery rangeQuery = new RangeQuery(); rangeQuery.FieldName = "pk1"; rangeQuery.From = new ColumnValue(0); rangeQuery.To = new ColumnValue(100); SearchQuery seachQuery = new SearchQuery { Limit = 0, Query = rangeQuery, AggregationList = new List<IAggregation> { avgAggregation } }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, seachQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse.AggregationResults.GetAsAvgAggregationResult("Avg_Agg"))); }
統(tǒng)計行數(shù)
返回指定字段值的數(shù)量或者多元索引數(shù)據(jù)總行數(shù),類似于SQL中的count。
通過如下方式可以統(tǒng)計多元索引數(shù)據(jù)總行數(shù)或者某個query匹配的行數(shù)。
使用統(tǒng)計聚合的count功能,在請求中設(shè)置count(*)。
使用query功能的匹配行數(shù),在query中設(shè)置setGetTotalCount(true);如果需要統(tǒng)計多元索引數(shù)據(jù)總行數(shù),則使用MatchAllQuery。
如果需要獲取多元索引數(shù)據(jù)某列出現(xiàn)的次數(shù),則使用count(列名),可應(yīng)用于稀疏列的場景。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double、Boolean、Keyword、Geo_point和Date類型。
示例
/// <summary> /// 統(tǒng)計行數(shù)。 /// </summary> /// <param name="otsClient"></param> public static void CountAggregation(OTSClient otsClient) { CountAggregation countAggregation = new CountAggregation(); countAggregation.AggName = "Count_Agg"; countAggregation.FieldName = "pk1"; RangeQuery rangeQuery = new RangeQuery(); rangeQuery.FieldName = "pk1"; rangeQuery.From = new ColumnValue(0); rangeQuery.To = new ColumnValue(100); SearchQuery seachQuery = new SearchQuery { Limit = 0, Query = rangeQuery, AggregationList = new List<IAggregation> { countAggregation } }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, seachQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse.AggregationResults.GetAsCountAggregationResult("Count_Agg"))); }
去重統(tǒng)計行數(shù)
返回指定字段不同值的數(shù)量,類似于SQL中的count(distinct)。
去重統(tǒng)計行數(shù)的計算結(jié)果是個近似值。
當(dāng)去重統(tǒng)計行數(shù)小于1萬時,計算結(jié)果接近精確值。
當(dāng)去重統(tǒng)計行數(shù)達(dá)到1億時,計算結(jié)果的誤差為2%左右。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double、Boolean、Keyword、Geo_point和Date類型。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 去重統(tǒng)計行數(shù)。 /// </summary> /// <param name="otsClient"></param> public static void DistinctCountAggregation(OTSClient otsClient) { DistinctCountAggregation distinctCountAggregation = new DistinctCountAggregation(); distinctCountAggregation.AggName = "DistinctCount_Agg"; distinctCountAggregation.FieldName = "pk1"; TermsQuery termsQuery = new TermsQuery(); termsQuery.FieldName = "pk0"; termsQuery.Terms = new List<ColumnValue> { new ColumnValue("Sample"), new ColumnValue("SearchIndex") }; SearchQuery seachQuery = new SearchQuery { Limit = 0, Query = termsQuery, AggregationList = new List<IAggregation> { distinctCountAggregation } }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, seachQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse.AggregationResults.GetAsDistinctCountAggregationResult("DistinctCount_Agg"))); }
百分位統(tǒng)計
百分位統(tǒng)計常用來統(tǒng)計一組數(shù)據(jù)的百分位分布情況,例如在日常系統(tǒng)運維中統(tǒng)計每次請求訪問的耗時情況時,需要關(guān)注系統(tǒng)請求耗時的P25、P50、P90、P99值等分布情況。
百分位統(tǒng)計為非精確統(tǒng)計,對不同百分位數(shù)值的計算精確度不同,較為極端的百分位數(shù)值更加準(zhǔn)確,例如1%或99%的百分位數(shù)值會比50%的百分位數(shù)值準(zhǔn)確。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double和Date類型。
Percentiles
百分位分布例如50、90、99,可根據(jù)需要設(shè)置一個或者多個百分位。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 百分位統(tǒng)計。 /// </summary> /// <param name="otsClient"></param> public static void PercentilesAggregation(OTSClient otsClient) { PercentilesAggregation percentilesAggregation = new PercentilesAggregation(); percentilesAggregation.AggName = "Percentiles_Agg"; percentilesAggregation.FieldName = "pk1"; percentilesAggregation.Missing = new ColumnValue(10); percentilesAggregation.Percentiles = new List<double> { 10.0, 30.0, 60.0, 90.0, 100.0 }; MatchAllQuery matchAllQuery = new MatchAllQuery(); SearchQuery searchQuery = new SearchQuery(); searchQuery.AggregationList = new List<IAggregation> { percentilesAggregation }; searchQuery.Query = matchAllQuery; searchQuery.Limit = 0; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse)); }
字段值分組
根據(jù)一個字段的值對查詢結(jié)果進行分組,相同的字段值放到同一分組內(nèi),返回每個分組的值和該值對應(yīng)的個數(shù)。
當(dāng)分組較大時,按字段值分組可能會存在誤差。
參數(shù)
參數(shù)
說明
GroupByName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long、Double、Boolean、Keyword和Date類型。
Size
返回的分組數(shù)量,默認(rèn)值為10。最大值為2000。當(dāng)分組數(shù)量超過2000時,只會返回前2000個分組。
GroupBySorters
分組中的item排序規(guī)則,默認(rèn)按照分組中item的數(shù)量降序排序,多個排序則按照添加的順序進行排列。支持的參數(shù)如下:
按照值的字典序升序排列
按照值的字典序降序排列
按照行數(shù)升序排列
按照行數(shù)降序排列
按照子統(tǒng)計聚合結(jié)果中值升序排列
按照子統(tǒng)計聚合結(jié)果中值降序排列
SubAggregation和SubGroupBy
子統(tǒng)計聚合,子統(tǒng)計聚合會根據(jù)分組內(nèi)容再進行一次統(tǒng)計聚合分析。
場景
統(tǒng)計每個類別的商品數(shù)量,且統(tǒng)計每個類別價格的最大值和最小值。
方法
最外層的統(tǒng)計聚合是根據(jù)類別進行分組,再添加兩個子統(tǒng)計聚合求價格的最大值和最小值。
結(jié)果示例
水果:5個(其中價格的最大值為15,最小值為3)
洗漱用品:10個(其中價格的最大值為98,最小值為1)
電子設(shè)備:3個(其中價格的最大值為8699,最小值為2300)
其它:15個(其中價格的最大值為1000,最小值為80)
示例
/// <summary> /// 字段值分組。 /// </summary> /// <param name="otsClient"></param> public static void GroupByField(OTSClient otsClient) { GroupByField groupByField = new GroupByField { GroupByName = "GroupBy_Field", FieldName = "pk0", GroupBySorters = new List<GroupBySorter>{ new GroupBySorter() { RowCountSort = new RowCountSort{ Order = SortOrder.DESC } }, new GroupBySorter() { GroupKeySort = new GroupKeySort{ Order = SortOrder.DESC } } } }; MatchAllQuery matchAllQuery = new MatchAllQuery(); SearchQuery searchQuery = new SearchQuery(); searchQuery.GroupByList = new List<IGroupBy> { groupByField }; searchQuery.Query = matchAllQuery; searchQuery.Limit = 0; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse)); }
范圍分組
根據(jù)一個字段的范圍對查詢結(jié)果進行分組,字段值在某范圍內(nèi)放到同一分組內(nèi),返回每個范圍中相應(yīng)的item個數(shù)。
參數(shù)
參數(shù)
說明
GroupByName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long和Double類型。
Range[double_from, double_to)
分組的范圍。
起始值double_from可以使用最小值double.MinValue,結(jié)束值double_to可以使用最大值double.MaxValue。
SubAggregation和SubGroupBy
子統(tǒng)計聚合,子統(tǒng)計聚合會根據(jù)分組內(nèi)容再進行一次統(tǒng)計聚合分析。
例如按銷量分組后再按省份分組,即可獲得某個銷量范圍內(nèi)哪個省比重比較大,實現(xiàn)方法是GroupByRange下添加一個GroupByField。
示例
/// <summary> /// 范圍分組。 /// </summary> /// <param name="otsClient"></param> public static void GroupByRange(OTSClient otsClient) { GroupByRange groupByRange = new GroupByRange(); groupByRange.GroupByName = "GroupBy_Range"; groupByRange.FieldName = "pk1"; groupByRange.Ranges = new List<Range> { new Range(double.MinValue, 5.0), new Range(5.0, 50.0), new Range(50.0, 100.0), new Range(100.0, double.MaxValue) }; MatchAllQuery matchAllQuery = new MatchAllQuery(); SearchQuery searchQuery = new SearchQuery(); searchQuery.GroupByList = new List<IGroupBy> { groupByRange }; searchQuery.Query = matchAllQuery; searchQuery.Limit = 0; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse)); }
地理位置分組
根據(jù)距離某一個中心點的范圍對查詢結(jié)果進行分組,距離差值在某范圍內(nèi)放到同一分組內(nèi),返回每個范圍中相應(yīng)的item個數(shù)。
參數(shù)
參數(shù)
說明
GroupByName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Geo_point類型。
Origin(double latitude, double longitude)
起始中心點的經(jīng)緯度。
latitude是起始中心點坐標(biāo)緯度,longitude是起始中心點坐標(biāo)經(jīng)度。
Range[double_from, double_to)
分組的范圍,單位為米。
起始值double_from可以使用最小值double.MinValue,結(jié)束值double_to可以使用最大值double.MaxValue。
SubAggregation和SubGroupBy
子統(tǒng)計聚合,子統(tǒng)計聚合會根據(jù)分組內(nèi)容再進行一次統(tǒng)計聚合分析。
示例
/// <summary> /// 地理位置分組。 /// </summary> /// <param name="otsClient"></param> public static void GroupByGeoDistance(OTSClient otsClient) { GroupByGeoDistance groupByGeoDistance = new GroupByGeoDistance { GroupByName = "GroupBy_GeoDistance", FieldName = "geo_col", Origin = new GeoPoint(0, 0), Ranges = new List<Range> { new Range(double.MinValue , 1000.0), new Range(1000.0, 5000.0), new Range(5000.0, double.MaxValue) } }; MatchAllQuery matchAllQuery = new MatchAllQuery(); SearchQuery searchQuery = new SearchQuery(); searchQuery.GroupByList = new List<IGroupBy> { groupByGeoDistance }; searchQuery.Query = matchAllQuery; searchQuery.Limit = 0; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse)); }
過濾條件分組
按照過濾條件對查詢結(jié)果進行分組,獲取每個過濾條件匹配到的數(shù)量,返回結(jié)果的順序和添加過濾條件的順序一致。
參數(shù)
參數(shù)
說明
GroupByName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
Filters
過濾條件,返回結(jié)果的順序和添加過濾條件的順序一致。
SubAggregation和SubGroupBy
子統(tǒng)計聚合,子統(tǒng)計聚合會根據(jù)分組內(nèi)容再進行一次統(tǒng)計聚合分析。
示例
/// <summary> /// 過濾條件分組。 /// </summary> /// <param name="otsClient"></param> public static void GroupByFilter(OTSClient otsClient) { GroupByFilter groupByFilter = new GroupByFilter { GroupByName = "GroupBy_Filter", Filters = new List<IQuery> { new RangeQuery { FieldName = "pk1", From = new ColumnValue(0.0), To = new ColumnValue(5.0) }, } }; TermsQuery termsQuery = new TermsQuery(); termsQuery.FieldName = "pk0"; termsQuery.Terms = new List<ColumnValue> { new ColumnValue("Tablestore SearchIndex"), new ColumnValue("SearchIndex") }; SearchQuery searchQuery = new SearchQuery(); searchQuery.GroupByList = new List<IGroupBy> { groupByFilter }; searchQuery.Query = termsQuery; searchQuery.Limit = 0; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); Console.WriteLine(JsonConvert.SerializeObject(searchResponse)); }
直方圖統(tǒng)計
按照指定數(shù)據(jù)間隔對查詢結(jié)果進行分組,字段值在相同范圍內(nèi)放到同一分組內(nèi),返回每個分組的值和該值對應(yīng)的個數(shù)。
參數(shù)
參數(shù)
說明
GroupByName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
FieldName
用于統(tǒng)計聚合的字段,僅支持Long和Double類型。
Interval
統(tǒng)計間隔。
FieldRange[min,max]
統(tǒng)計范圍,與Interval參數(shù)配合使用限制分組的數(shù)量。
(FieldRange.max-FieldRange.min)/Interval
的值不能超過2000。MinDocCount
最小行數(shù)。當(dāng)分組中的行數(shù)小于最小行數(shù)時,不會返回此分組的統(tǒng)計結(jié)果。
Missing
當(dāng)某行數(shù)據(jù)中的字段為空時,字段值的默認(rèn)值。
如果未設(shè)置Missing值,則在統(tǒng)計聚合時會忽略該行。
如果設(shè)置了Missing值,則使用Missing值作為字段值的默認(rèn)值參與統(tǒng)計聚合。
示例
/// <summary> /// 直方圖統(tǒng)計。 /// </summary> /// <param name="otsClient"></param> public static void HistogramAggregation(OTSClient otsClient) { GroupByHistogram groupByHistogram = new GroupByHistogram(); groupByHistogram.GroupByName = "GroupBy_Histogram"; groupByHistogram.FieldName = "pk1"; groupByHistogram.Interval = new ColumnValue(5); groupByHistogram.Missing = new ColumnValue(100); groupByHistogram.FieldRange = new FieldRange(new ColumnValue(0), new ColumnValue(1000)); MatchAllQuery matchAllQuery = new MatchAllQuery(); ; SearchQuery searchQuery = new SearchQuery(); searchQuery.Query = matchAllQuery; searchQuery.Limit = 0; searchQuery.GroupByList = new List<IGroupBy> { groupByHistogram }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); foreach (GroupByHistogramResultItem item in searchResponse.GroupByResults.GetAsGroupByHistogramResult("GroupBy_Histogram").GroupByHistogramResultItems) { Console.WriteLine(JsonConvert.SerializeObject(item)); } }
獲取統(tǒng)計聚合分組中的行
對查詢結(jié)果進行分組后,獲取每個分組內(nèi)的一些行數(shù)據(jù),可實現(xiàn)和MySQL中ANY_VALUE(field)類似的功能。
獲取統(tǒng)計聚合分組中的行時,如果多元索引中包含嵌套類型、地理位置類型或者數(shù)組類型的字段,則返回結(jié)果中只會包含主鍵信息,請手動反查數(shù)據(jù)表獲取所需字段。
參數(shù)
參數(shù)
說明
AggName
自定義的統(tǒng)計聚合名稱,用于區(qū)分不同的統(tǒng)計聚合,可根據(jù)此名稱獲取本次統(tǒng)計聚合結(jié)果。
Limit
每個分組內(nèi)最多返回的數(shù)據(jù)行數(shù),默認(rèn)返回1行數(shù)據(jù)。
Sort
分組內(nèi)數(shù)據(jù)的排序方式。
ColumnsToGet
指定返回的字段,僅支持多元索引中的字段,且不支持?jǐn)?shù)組、Date、Geopoint和Nested類型的字段。
該參數(shù)復(fù)用SearchRequest中的columnsToGet參數(shù),在SearchRequest中指定columnsToGet即可。
示例
/// <summary> /// 獲取統(tǒng)計聚合分組中的行。 /// </summary> /// <param name="otsClient"></param> public static void TopRowsAggregation(OTSClient otsClient) { GroupByField groupByField = new GroupByField(); groupByField.GroupByName = "GroupBy_Field"; groupByField.FieldName = "pk0"; groupByField.SubAggregations = new List<IAggregation> { new TopRowsAggregation { AggName = "TopRows_Agg", Sort = new Sort(new List<ISorter> { new FieldSort("pk1", SortOrder.DESC) }), Limit = 2 } }; MatchAllQuery matchAllQuery = new MatchAllQuery(); ; SearchQuery searchQuery = new SearchQuery(); searchQuery.Query = matchAllQuery; searchQuery.Limit = 0; searchQuery.GroupByList = new List<IGroupBy> { groupByField }; SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery); SearchResponse searchResponse = otsClient.Search(searchRequest); foreach (GroupByFieldResultItem item in searchResponse.GroupByResults.GetAsGroupByFieldResult("GroupBy_Field").GroupByFieldResultItems) { foreach (Row row in item.SubAggregationResults.GetAsTopRowsAggregationResult("TopRows_Agg").Rows) { Console.WriteLine(JsonConvert.SerializeObject(row)); } } }
嵌套
分組類型的統(tǒng)計聚合功能支持嵌套,其內(nèi)部可以添加子統(tǒng)計聚合。
主要用于在分組內(nèi)再次進行統(tǒng)計聚合,以兩層的嵌套為例:
GroupBy+SubGroupBy:按省份分組后再按照城市分組,獲取每個省份下每個城市的數(shù)據(jù)。
GroupBy+SubAggregation:按照省份分組后再求某個指標(biāo)的最大值,獲取每個省的某個指標(biāo)最大值。
為了性能、復(fù)雜度等綜合考慮,嵌套的層級只開放了一定的層數(shù)。更多信息,請參見多元索引限制。
/// <summary>
/// 嵌套。
/// </summary>
/// <param name="otsClient"></param>
public static void SubGroupBy(OTSClient otsClient)
{
GroupByField groupByField = new GroupByField();
groupByField.GroupByName = "Field_GroupBy";
groupByField.FieldName = "pk0";
groupByField.SubGroupBys = new List<IGroupBy>
{
new GroupByRange
{
GroupByName = "Range_GroupBy",
FieldName = "pk1",
Ranges = new List<Range>
{
new Range(double.MinValue, 5),
new Range(5,100),
new Range(100, double.MaxValue)
}
}
};
MatchAllQuery matchAllQuery = new MatchAllQuery();
SearchQuery searchQuery = new SearchQuery();
searchQuery.GroupByList = new List<IGroupBy>
{
groupByField
};
searchQuery.GetTotalCount = true;
searchQuery.Limit = 0;
searchQuery.Query = matchAllQuery;
SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery);
SearchResponse searchResponse = otsClient.Search(searchRequest);
foreach (GroupByFieldResultItem item in searchResponse.GroupByResults.GetAsGroupByFieldResult("Field_GroupBy").GroupByFieldResultItems)
{
Console.WriteLine(JsonConvert.SerializeObject(item.SubGroupByResults.GetAsGroupByRangeResult("Range_GroupBy")));
}
}
多個統(tǒng)計聚合
多個統(tǒng)計聚合功能可以組合使用。
當(dāng)多個統(tǒng)計聚合的復(fù)雜度較高時可能會影響響應(yīng)速度。
/// <summary>
/// 多個統(tǒng)計聚合。
/// </summary>
/// <param name="otsClient"></param>
public static void MultipleAggregation(OTSClient otsClient)
{
MaxAggregation maxAggregation = new MaxAggregation();
maxAggregation.AggName = "Max_Agg";
maxAggregation.FieldName = "pk1";
MinAggregation minAggregation = new MinAggregation();
minAggregation.AggName = "Min_Agg";
minAggregation.FieldName = "pk1";
SumAggregation sumAggregation = new SumAggregation();
sumAggregation.AggName = "Sum_Agg";
sumAggregation.FieldName = "pk1";
SearchQuery searchQuery = new SearchQuery();
searchQuery.Limit = 0;
searchQuery.Query = new MatchAllQuery();
searchQuery.AggregationList = new List<IAggregation>
{
maxAggregation,
minAggregation,
sumAggregation
};
SearchRequest searchRequest = new SearchRequest(TableName, IndexName, searchQuery);
SearchResponse searchResponse = otsClient.Search(searchRequest);
Console.WriteLine(JsonConvert.SerializeObject(searchResponse));
}