日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

索引結構

重要

本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。

索引表結構介紹

每個Document都是由多個field組成,每個field中包含一系列的詞語,構建索引的目的是為了加快檢索的速度,根據映射關系方向的不同,索引可以分為:

  • 字段(field):用于定義索引表的字段名及字段類型。

  • 倒排索引(index):倒排索引存儲了從單詞到DocID的映射關系,形如:詞:(Doc1,Doc2,...,DocN),倒排索引主要用在檢索中,它能快速的定位用戶查詢到關鍵字對應的Document。

  • 正排索引(attribute):正排索引存儲從DocID到field的映射關系,形如:DocID-->(term1,term2,...termn),正排索引分單值和多值兩種,單值attribute由于長度是固定的(不包括string類型),因此查找效率高,而且可以支持更新。多值attribute表示某個field中有多個數據(數量不固定),由于長度不確定,因此查找效率相較于單值更慢,而且不能支持更新。

    正排索引主要是在查詢到了某個Document后,根據docid值能快速獲取到其attribute用來統計、排序、過濾中。目前引擎支持的正排字段基本類型包括:

    INT8(8位有符號數字類型), UINT8(8位無符號數字類型),

    INT16(16位有符號數字類型),

    UINT16(16位無符號數字類型),

    INTEGER(32位有符號數字類型),

    UINT32(32位無符號數字類型), INT64(64位有符號數字類型),

    UINT64(64位無符號數字類型),

    FLOAT(32位浮點數),

    DOUBLE(64位浮點數),

    STRING(字符串類型)

  • 摘要(summary):summary的存儲形式與attribute類似,但是summary是將一個Document對應的多個field存儲在一起,并且建立映射,所以能很快從docid定位到對應的summary內容。summary主要是用于結果的展示,一般而言summary的內容都比較大,對于每次查詢而言不適合取過多的summary,只有最終需要展示結果的Document會取到對應的summary。由于summary過大,引擎在存儲summary時提供壓縮的機制,在schema中配置summary壓縮,那么引擎在存儲時會用zlib壓縮后再存儲,讀取時引擎會先解壓,再返回給用戶。

說明

有關索引表配置的詳細介紹的文章可參考索引表配置

索引schema示例

{
  "file_compress": [
    {
      "name": "file_compressor",
      "type": "zstd"
    },
    {
      "name": "no_compressor",
      "type": ""
    }
  ],
  "table_name": "test",
  "summarys": {
    "summary_fields": [
      "id",
      "fb_boolean",
      "fb_datetime",
      "fb_string",
      "fb_decimal",
      "fb_bigint",
      "fb_text"
    ],
    "parameter": {
      "file_compressor": "zstd"
    }
  },
  "indexs": [
    {
      "index_name": "id",
      "index_type": "PRIMARYKEY64",
      "index_fields": "id",
      "has_primary_key_attribute": true,
      "is_primary_key_sorted": false
    },
    {
      "index_name": "fb_boolean",
      "index_type": "STRING",
      "index_fields": "fb_boolean",
      "file_compress": "file_compressor",
      "format_version_id": 1
    },
    {
      "index_name": "fb_datetime",
      "index_type": "STRING",
      "index_fields": "fb_datetime",
      "file_compress": "file_compressor",
      "format_version_id": 1
    },
    {
      "index_name": "fb_string",
      "index_type": "STRING",
      "index_fields": "fb_string"
    },
    {
      "index_name": "fb_text",
      "index_type": "TEXT",
      "index_fields": "fb_text"
    }
  ],
  "attributes": [
    {
      "field_name": "id",
      "file_compress": "no_compressor"
    },
    {
      "field_name": "fb_boolean",
      "file_compress": "file_compressor"
    },
    {
      "field_name": "fb_datetime",
      "file_compress": "no_compressor"
    },
    {
      "field_name": "fb_string",
      "file_compress": "file_compressor"
    },
    {
      "field_name": "fb_decimal",
      "file_compress": "no_compressor"
    },
    {
      "field_name": "fb_bigint",
      "file_compress": "no_compressor"
    }
  ],
  "fields": [
    {
      "user_defined_param": {},
      "field_name": "id",
      "field_type": "INT64",
      "compress_type": "equal"
    },
    {
      "field_name": "fb_boolean",
      "field_type": "STRING",
      "compress_type": "uniq"
    },
    {
      "field_name": "fb_datetime",
      "field_type": "STRING",
      "compress_type": "uniq"
    },
    {
      "user_defined_param": {
        "multi_value_sep": ","
      },
      "field_name": "fb_string",
      "field_type": "STRING",
      "compress_type": "equal",
      "multi_value": true
    },
    {
      "field_name": "fb_decimal",
      "field_type": "DOUBLE"
    },
    {
      "field_name": "fb_bigint",
      "field_type": "INT64",
      "compress_type": "equal"
    },
    {
      "field_name": "fb_text",
      "field_type": "TEXT",
      "analyzer": "chn_standard"
    }
  ]
}

添加索引表

  1. 在實例管理界面,進入配置中心>索引結構頁面,點擊添加索引表

image

  1. 設置索引表,選擇數據源,設置數據分片

image.png

  1. 字段設置:

image

多值字段分隔設置

image

默認為ha3分隔符^] ,用戶也可根據業務需求自定義分隔符。

屬性和字段內容壓縮

  • 屬性字段可以選擇是否壓縮,默認為不壓縮,選擇file_compressor表示開啟壓縮

  • 字段內容可以選擇是否壓縮,默認為不壓縮,默認多值和STRING類型選擇uniq,單值數值類型是equal

說明

如果開啟了屬性壓縮,建議前往「部署管理-數據節點-在線表配置」編輯索引加載方式,以此降低對性能的影響

  1. 索引設置:

image

索引字段設置壓縮

  • 索引字段可以選擇是否壓縮,默認為不壓縮,選擇file_compressor表示開啟壓縮

說明
  • 主鍵索引不支持壓縮

  • 如果開啟了索引壓縮,建議前往「部署管理-數據節點-在線表配置」編輯索引加載方式,以此降低對性能的影響

  1. 配置完成后,點擊保存版本,并在彈框后填寫備注(可選),點擊發布

image

  1. 索引表添加成功后,可在運維中心>部署管理中查看新加的索引表的拓撲:

image.png

  1. 若需要新加的索引表在集群中生效,需要在運維中心>運維管理中手動觸發配置更新并全量,“配置更新”操作中執行“推送配置并觸發索引重建”:

image.png

image.png

  1. 索引重建時,可以在運維中心>變更歷史中的數據源變更中查看全量進度:

image

索引重建完成后,即可對新索引表進行查詢。

重要
  • 字段設置有且僅有一個主鍵;

  • 字段設置中,至少需要有一個字段勾選搜索結果展示;

  • TEXT類型的字段需要設置分析方式,且不支持多值;

  • 索引設置有且僅有一個主鍵索引;

  • 多值分割符除默認分割符外,只支持單字符,且不支持全角字符;

  • 在設置數據分片時需要注意,假設集群的副本個數為2,數據分片設置為2,那么在購買實例時數據節點數量需要大于副本個數*數據分片,新加的索引表才能正常使用。

  • 分片數設置時參考下面幾個規則:單個分片數據量不要超過6億(最大21億);單個分片的索引大小不要超過300G;如果有實時更新需求,單個分片數據更新tps不要超過4000(add命令的文檔,如果只是update可以達到1w tps)。

編輯索引表

索引表版本介紹

新創建的索引表默認有2個版本:

  • index_config_v1:初次配置的索引表版本,若已推送配置并索引重建,狀態變為“使用中”,若未推送配置并索引重建,狀態則為“未使用”;

  • index_config_edit:正在編輯中的索引表版本,狀態一直為“編輯中”;

隨著索引表版本的連續發布版本名稱會依次遞增,比如第二個版本名為“index_config_v2”,第三個版本名為“index_config_v3”依次類推,為明顯區分各個版本,每個版本的備注是必須填寫的。

image.png

編輯并發布新的索引表版本

  1. 找到版本狀態為“編輯中”的版本,點擊編輯:

image

說明

cluster.json配置補充說明

平臺支持配置索引整理策略,可以對customized_merge_configsegment_customize_metrics_updater(僅新實例支持)進行配置,如圖:

image.png

參數詳解參考:離線cluster配置

  1. 修改后,點擊保存版本:

image

也可以切換到開發者模式手動編輯schema:

image

  1. 找到版本狀態為“編輯中”的版本,點擊發布,并填寫備注,點擊確定

image.png

此時系統會為該索引表生成一個新的索引表版本,版本狀態為“未使用”。

image.png

  1. 若需要將新添加的索引表版本在集群中生效,則需要在運維中心>運維管理>更新配置中執行推送配置并觸發索引重建

image.png

刪除索引表版本

狀態為“未使用”的索引表版本可以直接刪除:

image.png

查看索引表版本

點擊“查看”后,可跳轉到索引表版本的只讀配置界面:

  • 管理員模式:

image.png

  • 開發者模式:

image

刪除索引表

若索引表中的索引表版本沒有“使用中”的狀態,可以直接刪除索引表:

image

若索引表中的索引表版本有“使用中”的狀態:

image

則需要按如下步驟操作,才可刪除:

  1. 在運維管理>部署管理中,點擊索引表,‘取消訂閱’,如圖:

    image.png

  2. 然后在配置中心--->索引結構中,刪除對應的索引表:

    image.png

警告

如果在部署管理中,索引表取消訂閱,一定要在索引結構中刪除對應的索引表,否則會影響線上集群。

注意事項

  • 添加索引表時,數據源為必選項,若無數據源,則需要先添加數據源再添加索引表;

  • 索引表名稱創建后不可修改;

  • 索引表中如有“使用中”的索引表版本,則無法直接刪除索引表;

  • 每個索引表只能存在一個編輯中的索引表版本;