日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

統計聚合

使用統計聚合功能可以實現求最小值、求最大值、求和、求平均值、統計行數、去重統計行數、按字段值分組、按范圍分組、按地理位置分組、按過濾條件分組等操作;同時多個統計聚合功能可以組合使用,滿足復雜的查詢需求。

說明

Python SDK 5.2.1及以上版本開始支持統計聚合功能。

背景信息

統計聚合的詳細功能請參見下表。

功能

說明

最小值

返回一個字段中的最小值,類似于SQL中的min。

最大值

返回一個字段中的最大值,類似于SQL中的max。

返回數值字段的總數,類似于SQL中的sum。

平均值

返回數值字段的平均值,類似于SQL中的avg。

統計行數

返回指定字段值的數量或者多元索引數據總行數,類似于SQL中的count。

去重統計行數

返回指定字段不同值的數量,類似于SQL中的count(distinct)。

百分位統計

百分位統計常用來統計一組數據的百分位分布情況,例如在日常系統運維中統計每次請求訪問的耗時情況時,需要關注系統請求耗時的P25、P50、P90、P99值等分布情況。

字段值分組

根據一個字段的值對查詢結果進行分組,相同的字段值放到同一分組內,返回每個分組的值和該值對應的個數。

說明

當分組較大時,按字段值分組可能會存在誤差。

范圍分組

根據一個字段的范圍對查詢結果進行分組,字段值在某范圍內放到同一分組內,返回每個范圍中相應的item個數。

地理位置分組

根據距離某一個中心點的范圍對查詢結果進行分組,距離差值在某范圍內放到同一分組內,返回每個范圍中相應的item個數。

過濾條件分組

按照過濾條件對查詢結果進行分組,獲取每個過濾條件匹配到的數量,返回結果的順序和添加過濾條件的順序一致。

直方圖統計

按照指定數據間隔對查詢結果進行分組,字段值在相同范圍內放到同一分組內,返回每個分組的值和該值對應的個數。

前提條件

  • 已初始化OTSClient。具體操作,請參見初始化
  • 已創建數據表并寫入數據。
  • 已在數據表上創建多元索引。具體操作,請參見創建多元索引

最小值

返回一個字段中的最小值,類似于SQL中的min。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、DoubleDate類型。

    missing

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置missing值,則在統計聚合時會忽略該行。

    • 如果設置了missing值,則使用missing值作為字段值的默認值參與統計聚合。

  • 示例

    統計年齡為18歲的人中得分的最低分數。

    query = TermQuery('age', 18)
    agg = Min('score', name = 'min')
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=0, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('{\n"name":"%s",\n"value":%s\n}\n' % (agg_result.name, str(agg_result.value)))

最大值

返回一個字段中的最大值,類似于SQL中的max。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、DoubleDate類型。

    missing

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置missing值,則在統計聚合時會忽略該行。

    • 如果設置了missing值,則使用missing值作為字段值的默認值參與統計聚合。

  • 示例

    統計年齡為18歲的人中得分的最高分數。如果某人沒有分數,則對應分數的默認值為0。

    query = TermQuery('age', 18)
    agg = Max('score', missing_value = 0, name = 'max')
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=0, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('{\n"name":"%s",\n"value":%s\n}\n' % (agg_result.name, str(agg_result.value)))

返回數值字段的總數,類似于SQL中的sum。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持LongDouble類型。

    missing

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置missing值,則在統計聚合時會忽略該行。

    • 如果設置了missing值,則使用missing值作為字段值的默認值參與統計聚合。

  • 示例

    統計年齡為18歲的所有人得分的總和。

    query = TermQuery('age', 18)
    agg = Sum('score', name = 'sum')
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('{\n"name":"%s",\n"value":%s\n}\n' % (agg_result.name, str(agg_result.value)))

平均值

返回數值字段的平均值,類似于SQL中的avg。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、DoubleDate類型。

    missing

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置missing值,則在統計聚合時會忽略該行。

    • 如果設置了missing值,則使用missing值作為字段值的默認值參與統計聚合。

  • 示例

    統計年齡為18歲的所有人得分的平均分。

    query = TermQuery('age', 18)
    agg = Avg('score', name = 'avg')
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('{\n"name":"%s",\n"value":%s\n}\n' % (agg_result.name, str(agg_result.value)))

統計行數

返回指定字段值的數量或者多元索引數據總行數,類似于SQL中的count。

說明

通過如下方式可以統計多元索引數據總行數或者某個query匹配的行數。

  • 使用統計聚合的count功能,在請求中設置count(*)。

  • 使用query功能的匹配行數,在query中設置setGetTotalCount(true);如果需要統計多元索引數據總行數,則使用MatchAllQuery。

如果需要獲取多元索引數據某列出現的次數,則使用count(列名),可應用于稀疏列的場景。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、Double、Boolean、Keyword、Geo_pointDate類型。

  • 示例

    統計年齡為18歲的人中參加考試有分數的人數。

    
    query = TermQuery('age', 18)
    agg = Count('score', name = 'count')
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('{\n"name":"%s",\n"value":%s\n}\n' % (agg_result.name, str(agg_result.value)))

去重統計行數

返回指定字段不同值的數量,類似于SQL中的count(distinct)。

說明

去重統計行數的計算結果是個近似值。

  • 當去重統計行數小于1萬時,計算結果接近精確值。

  • 當去重統計行數達到1億時,計算結果的誤差為2%左右。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、Double、Boolean、Keyword、Geo_pointDate類型。

    missing

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置Missing值,則在統計聚合時會忽略該行。

    • 如果設置了Missing值,則使用Missing值作為字段值的默認值參與統計聚合。

  • 示例

    去重統計年齡為18歲的人中一共有多少種不同的姓名。

    query = TermQuery('age', 18)
    agg = DistinctCount('name', name = 'distinct_name')
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('{\n"name":"%s",\n"value":%s\n}\n' % (agg_result.name, str(agg_result.value)))

百分位統計

百分位統計常用來統計一組數據的百分位分布情況,例如在日常系統運維中統計每次請求訪問的耗時情況時,需要關注系統請求耗時的P25、P50、P90、P99值等分布情況。

說明

百分位統計為非精確統計,對不同百分位數值的計算精確度不同,較為極端的百分位數值更加準確,例如1%或99%的百分位數值會比50%的百分位數值準確。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、DoubleDate類型。

    percentiles

    百分位分布例如50、90、99,可根據需要設置一個或者多個百分位。

    missing_value

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置missing_value值,則在統計聚合時會忽略該行。

    • 如果設置了missing_value值,則使用missing_value值作為字段值的默認值參與統計聚合。

  • 示例

    query = TermQuery('product', '10010')
    agg = Percentiles('latency', percentiles_list = [50, 90, 95])
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, aggs=[agg]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for agg_result in search_response.agg_results:
        print('percentiles:%s' % agg_result.name)
        for item in agg_result.value:
            print('%s:%s' % (str(item.key), str(item.value)))

字段值分組

根據一個字段的值對查詢結果進行分組,相同的字段值放到同一分組內,返回每個分組的值和該值對應的個數。

說明

當分組較大時,按字段值分組可能會存在誤差。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Long、Double、Boolean、KeywordDate類型。

    size

    返回的分組數量,默認值為10。最大值為2000。當分組數量超過2000時,只會返回前2000個分組。

    group_by_sort

    分組中的item排序規則,默認按照分組中item的數量降序排序,多個排序則按照添加的順序進行排列。支持的參數如下:

    • 按照值的字典序升序排列

    • 按照值的字典序降序排列

    • 按照行數升序排列

    • 按照行數降序排列

    • 按照子統計聚合結果中值升序排列

    • 按照子統計聚合結果中值降序排列

    sub_aggssub_group_bys

    子統計聚合,子統計聚合會根據分組內容再進行一次統計聚合分析。

    • 場景

      統計每個類別的商品數量,且統計每個類別價格的最大值和最小值。

    • 方法

      最外層的統計聚合是根據類別進行分組,再添加兩個子統計聚合求價格的最大值和最小值。

    • 結果示例

      • 水果:5個(其中價格的最大值為15,最小值為3)

      • 洗漱用品:10個(其中價格的最大值為98,最小值為1)

      • 電子設備:3個(其中價格的最大值為8699,最小值為2300)

      • 其它:15個(其中價格的最大值為1000,最小值為80)

  • 示例1

    將年齡為18歲的人按分數分組,并獲取人數最多的10個分數值以及每個分數的人數。

    query = TermQuery('age', 18)
    group_by = GroupByField('score', size = 10)
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=20, group_bys = [group_by]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("key:%s, count:%d" % (item.key, item.row_count))
  • 示例2

    將年齡為18歲的人按分數分組,并獲取人數最少的2個分數值以及每個分數的人數。

    group_by = GroupByField('score', size = 2, group_by_sort = [RowCountSort(sort_order=SortOrder.ASC)])
    search_response = client.search(table_name, index_name,
                                    SearchQuery(TermQuery('age', 18), limit=100, get_total_count=True, group_bys = [group_by]),
                                    ColumnsToGet(return_type=ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("key:%s, count:%d" % (item.key, item.row_count))
  • 示例3

    將年齡為18歲的人按分數分組,并獲取人數最多的2個分數值、每個分數的人數以及按主鍵排序前三的人的信息。

    sort = RowCountSort(sort_order = SortOrder.DESC)
    sub_agg = [TopRows(limit=3,sort=Sort([PrimaryKeySort(sort_order=SortOrder.DESC)]), name = 't1')]
    
    group_by = GroupByField('l', size = 2, group_by_sort = [sort], sub_aggs = sub_agg)
    search_response = client.search(table_name, index_name,
                                    SearchQuery(TermQuery('age', 18), limit=100, get_total_count=True, group_bys = [group_by]),
                                    ColumnsToGet(return_type=ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("\tkey:%s, count:%d" % (item.key, item.row_count))
            for sub_agg in item.sub_aggs:
                print("\t\tname:%s:" % sub_agg.name)
                for entry in sub_agg.value:
                    print("\t\t\tvalue:%s" % str(entry))
  • 示例4

    將年齡為18歲的人按分數和性別分組。

    sort = RowCountSort(sort_order = SortOrder.ASC)
    sub_group = GroupByField('sex', size = 10, group_by_sort = [sort])
    
    group_by = GroupByField('score', size = 10, group_by_sort = [sort], sub_group_bys = [sub_group])
    search_response = client.search(table_name, index_name,
                                    SearchQuery(TermQuery('age', 18), limit=100, get_total_count=True, group_bys = [group_by]),
                                    ColumnsToGet(return_type=ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("\tkey:%s, count:%d" % (item.key, item.row_count))
            for sub_group in item.sub_group_bys:
                print("\t\tname:%s:" % sub_group.name)
                for sub_item in sub_group.items:
                    print("\t\t\tkey:%s, count:%s" % (str(sub_item.key), str(sub_item.row_count)))

范圍分組

根據一個字段的范圍對查詢結果進行分組,字段值在某范圍內放到同一分組內,返回每個范圍中相應的item個數。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持LongDouble類型。

    range[double_from, double_to)

    分組的范圍。

    起始值double_from可以使用最小值Double.MIN_VALUE,結束值double_to可以使用最大值Double.MAX_VALUE。

    sub_aggssub_group_bys

    子統計聚合,子統計聚合會根據分組內容再進行一次統計聚合分析。

    例如按銷量分組后再按省份分組,即可獲得某個銷量范圍內哪個省比重比較大,實現方法是GroupByRange下添加一個GroupByField。

  • 示例

    統計年齡為18歲的人中得分的分數在[80, 90)[90, 100)兩個區間段的人數。

    query = TermQuery('age', 18)
    group_by = GroupByRange(field_name = 'score', ranges = [(80, 90),(90, 100)])
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=0, group_bys = [group_by]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("range:%.1f~%.1f, count:%d" % (item.range_from, item.range_to, item.row_count))

地理位置分組

根據距離某一個中心點的范圍對查詢結果進行分組,距離差值在某范圍內放到同一分組內,返回每個范圍中相應的item個數。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持Geo_point類型。

    origin(double lat, double lon)

    起始中心點的經緯度。

    lat是起始中心點坐標緯度,lon是起始中心點坐標經度。

    range[double_from, double_to)

    分組的范圍,單位為米。

    起始值double_from可以使用最小值Double.MIN_VALUE,結束值double_to可以使用最大值Double.MAX_VALUE。

    sub_aggssub_group_bys

    子統計聚合,子統計聚合會根據分組內容再進行一次統計聚合分析。

  • 示例

    統計年齡為18歲的人中家庭住址在距離學校一公里以內和一公里到兩公里內的人數。其中學校經緯度為(31,116)。

    query = TermQuery('age', 18)
    group_by = GroupByGeoDistance(field_name = 'address', origin=GeoPoint(31, 116), ranges = [(0, 1000), (1000,2000)])
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, group_bys = [group_by]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("range:%.1f~%.1f, count:%d" % (item.range_from, item.range_to, item.row_count))

過濾條件分組

按照過濾條件對查詢結果進行分組,獲取每個過濾條件匹配到的數量,返回結果的順序和添加過濾條件的順序一致。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    filter

    過濾條件,返回結果的順序和添加過濾條件的順序一致。

    sub_aggssub_group_bys

    子統計聚合,子統計聚合會根據分組內容再進行一次統計聚合分析。

  • 示例

    分別統計年齡為18歲的人中數學考了100分和語文考了100分的人數。

    query = TermQuery('age', 18)
    filter1 = TermQuery('math', 100)
    filter2 = TermQuery('chinese', 100)
    filters = [filter1, filter2]
    group_by = GroupByFilter(filters)
    
    search_response = client.search(
        table_name, index_name,
        SearchQuery(query, next_token = None, limit=2, group_bys = [group_by]),
        columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        i = 0
        for item in group_by.items:
            print("filter:%s=%s, count:%d" % (str(filters[i].field_name), str(filters[i].column_value), item.row_count))
            i=i+1

直方圖統計

按照指定數據間隔對查詢結果進行分組,字段值在相同范圍內放到同一分組內,返回每個分組的值和該值對應的個數。

  • 參數

    參數

    說明

    name

    自定義的統計聚合名稱,用于區分不同的統計聚合,可根據此名稱獲取本次統計聚合結果。

    field

    用于統計聚合的字段,僅支持LongDouble類型。

    interval

    統計間隔。

    field_range[min,max]

    統計范圍,與interval參數配合使用限制分組的數量。(fieldRange.max-fieldRange.min)/interval的值不能超過2000。

    min_doc_count

    最小行數。當分組中的行數小于最小行數時,不會返回此分組的統計結果。

    missing_value

    當某行數據中的字段為空時,字段值的默認值。

    • 如果未設置missing_value值,則在統計聚合時會忽略該行。

    • 如果設置了missing_value值,則使用missing_value值作為字段值的默認值參與統計聚合。

  • 示例

    query = TermQuery('product', '10010')
    group_by = GroupByHistogram(field_name = 'latency', interval = 100, field_range = FieldRange(0, 10000), missing_value = 0)
    
    search_response = client.search(table_name, index_name,
                                    SearchQuery(query, next_token = None, limit=2, group_bys = [group_by]),
                                    columns_to_get = ColumnsToGet(return_type = ColumnReturnType.ALL_FROM_INDEX))
    
    for group_by in search_response.group_by_results:
        print("name:%s" % group_by.name)
        print("groups:")
        for item in group_by.items:
            print("%s:%s" % (item.key, item.value))