功能介紹

在云數(shù)據(jù)庫SelectDB版的倒排索引實現(xiàn)中，表的一行對應一個文檔，一列對應文檔中的一個字段。倒排索引可以根據(jù)關鍵詞快速定位包含它的行，從而提高了WHERE子查詢的效率。

倒排索引與普通索引的不同之處在于，它的存儲層采用獨立的倒排文件，與主數(shù)據(jù)文件Segment只存在邏輯對應關系，而非與主數(shù)據(jù)文件集成在一起。這使得對索引的更新和刪除操作不需要重寫主數(shù)據(jù)文件，從而大幅降低了處理開銷。

云數(shù)據(jù)庫SelectDB版倒排索引的功能如下。

• 支持字符串類型的全文檢索。

  • 支持字符串全文檢索。全文檢索有以下關鍵字，均可與邏輯關鍵字AND、OR、NOT組合使用。

    • MATCH_ALL：同時匹配多個關鍵字。

    • MATCH_ANY：匹配任意一個關鍵字。

    • MATCH_PHRASE：匹配短語詞組。

  • 支持字符串數(shù)組類型的全文檢索。

  • 支持英文、中文以及Unicode多語言分詞。

• 支持字符串、數(shù)值、日期時間類型的=、!=、>、>=、<、<=快速過濾。

• 支持完善的邏輯組合。

  • 新增索引對OR、NOT邏輯的下推。

  • 支持多個條件的任意AND、OR、NOT組合。

• 靈活、快速的索引管理。

  • 支持在創(chuàng)建表時創(chuàng)建倒排索引。

  • 支持在已有的表中增加倒排索引。

  • 支持刪除表中已有的倒排索引。

分詞函數(shù)

分詞函數(shù)可以將一段連續(xù)的文本拆分成一個個獨立的詞語或短語。它是構建和使用倒排索引的核心，二者是密切相關的，分詞質(zhì)量和方法的選擇會直接影響倒排索引的質(zhì)量和性能。

如果您不了解一段連續(xù)文本的分詞結果，可以使用函數(shù)TOKENIZE查看文本分詞結果。

SELECT TOKENIZE('I love CHINA','"parser"="english"');
+------------------------------------------------+
| tokenize('I love CHINA', '"parser"="english"') |
+------------------------------------------------+
| ["i", "love", "china"]                         |
+------------------------------------------------+
1 row in set (0.02 sec)

SELECT TOKENIZE('武漢長江大橋','"parser"="chinese","parser_mode"="fine_grained"');
+-----------------------------------------------------------------------------------+
| tokenize('武漢長江大橋', '"parser"="chinese","parser_mode"="fine_grained"')       |
+-----------------------------------------------------------------------------------+
| ["武漢", "武漢長江大橋", "長江", "長江大橋", "大橋"]                              |
+-----------------------------------------------------------------------------------+
1 row in set (0.02 sec)

SELECT TOKENIZE('武漢市長江大橋','"parser"="chinese","parser_mode"="fine_grained"');
+--------------------------------------------------------------------------------------+
| tokenize('武漢市長江大橋', '"parser"="chinese","parser_mode"="fine_grained"')        |
+--------------------------------------------------------------------------------------+
| ["武漢", "武漢市", "市長", "長江", "長江大橋", "大橋"]                               |
+--------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

SELECT TOKENIZE('武漢市長江大橋','"parser"="chinese","parser_mode"="coarse_grained"');
+----------------------------------------------------------------------------------------+
| tokenize('武漢市長江大橋', '"parser"="chinese","parser_mode"="coarse_grained"')        |
+----------------------------------------------------------------------------------------+
| ["武漢市", "長江大橋"]                                                                 |
+----------------------------------------------------------------------------------------+
1 row in set (0.02 sec)

SELECT TOKENIZE('I love CHINA 我愛我的祖國','"parser"="unicode"');
+-------------------------------------------------------------------+
| tokenize('I love CHINA 我愛我的祖國', '"parser"="unicode"')       |
+-------------------------------------------------------------------+
| ["i", "love", "china", "我", "愛", "我", "的", "祖", "國"]        |
+-------------------------------------------------------------------+
1 row in set (0.02 sec)

建表時創(chuàng)建索引

此操作為同步過程，建表成功后索引即完成創(chuàng)建。

語法

CREATE TABLE  [IF NOT EXISTS] [db_name.]<table_name>
(
  <column_definition_list>,
  [<index_definition_list>] 
)
table_properties;

參數(shù)說明

建表參數(shù)說明

index_definition_list說明

在創(chuàng)建表時定義索引，可以定義多個索引。其格式為index_definition[, index_definition][, index_definition]...。

index_definition定義

INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")] [COMMENT '<comment>']

index_definition參數(shù)說明

建表并創(chuàng)建索引示例

--   創(chuàng)建表的同時創(chuàng)建了comment的倒排索引idx_comment
--   USING INVERTED 指定索引類型是倒排索引
--   PROPERTIES("parser" = "english") 指定采用english分詞，還支持"chinese"中文分詞和"unicode"中英文多語言混合分詞，如果不指定"parser"參數(shù)表示不分詞
CREATE TABLE hackernews_1m
(
    `id` BIGINT,
    `deleted` TINYINT,
    `type` String,
    `author` String,
    `timestamp` DateTimeV2,
    `comment` String,
    `dead` TINYINT,
    `parent` BIGINT,
    `poll` BIGINT,
    `children` Array<BIGINT>,
    `url` String,
    `score` INT,
    `title` String,
    `parts` Array<INT>,
    `descendants` INT,
    INDEX idx_comment (`comment`) USING INVERTED PROPERTIES("parser" = "english") COMMENT 'inverted index for comment'
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10;

已有表增加索引

此操作為異步操作，可通過SHOW ALTER TABLE COLUMN;查看索引增加進度。

語法

ALTER TABLE <table_name> ADD INDEX <index_name>(<column_name>) <index_type> [PROPERTIES("<key>" = "<value>")];

參數(shù)說明

此處參數(shù)與建表時的參數(shù)相同。

示例

添加一個不進行分詞的索引。

ALTER TABLE user_tb ADD INDEX index_userId(user_id) USING INVERTED ;

添加一個按照english方式進行分詞的索引。

ALTER TABLE user_tb ADD INDEX index_city(city) USING INVERTED PROPERTIES("parser" = "english");

查看索引

查看索引變更進度

通過ALTER和DROP變更索引，是異步過程，可通過以下語句查看變更進度。

SHOW ALTER TABLE COLUMN;

查看表的所有索引

語法

SHOW INDEXES FROM <table_name>;

示例

SHOW INDEXES FROM user_tb;

刪除索引

刪除索引是異步過程，查看刪除進度，請參見查看索引。

語法

-- 語法1
DROP INDEX <index_name> ON <table_name>;
-- 語法2
ALTER TABLE <table_name> DROP INDEX <index_name>;

示例

DROP INDEX index_userId ON user_tb;
ALTER TABLE user_tb DROP INDEX index_city;

全文檢索

語法

SELECT * FROM <table_name> WHERE <column_name> <conditional_logic> '<keywords>';

參數(shù)說明

示例

-- 檢索log_tb表中，logmsg字段包含keyword1的所有行。
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1';

-- 檢索log_tb表中，logmsg字段包含keyword1或者keyword2的所有行。
SELECT * FROM log_tb WHERE logmsg MATCH_ANY 'keyword1 keyword2';

-- 檢索log_tb表中，logmsg字段同時包含keyword1和keyword2的所有行。
SELECT * FROM log_tb WHERE logmsg MATCH_ALL 'keyword1 keyword2';

-- 檢索log_tb表中,logmsg字段同時包含keyword1和keyword2的所有行，并且按照keyword1在前，keyword2在后的順序。
SELECT * FROM log_tb WHERE logmsg MATCH_PHRASE 'keyword1 keyword2';

普通數(shù)值和日期類型的等值或范圍查詢

此種場景下，查詢語法與標準查詢SQL語法并無差異。

示例

-- 普通等值、范圍、IN、NOT IN
SELECT * FROM user_tb WHERE id = 123;
SELECT * FROM user_tb WHERE ts > '2023-01-01 00:00:00';
SELECT * FROM user_tb WHERE op_type IN ('add', 'delete');

查詢性能對比

使用hackernews100萬條數(shù)據(jù)，驗證使用倒排索引與無倒排索引的查詢的性能對比。