應用場景

INSERT ON CONFLICT命令適用于通過SQL方式導入數據的場景。

命令介紹

INSERT INTO <table_name> [ AS <alias> ] [ ( <column_name> [, ...] ) ]
    {  VALUES ( { <expression> } [, ...] ) [, ...] | <query> }
    [ ON CONFLICT [ conflict_target ] conflict_action ]

where conflict_target is pk

    ON CONSTRAINT constraint_name

and conflict_action is one of:

    DO NOTHING
    DO UPDATE SET { <column_name> = { <expression> } |
                    ( <column_name> [, ...] ) = ( { <expression> } [, ...] ) |
                  } [, ...]
              [ WHERE condition ]

技術原理

使用限制

• INSERT ON CONFLICT語句的條件必須包含所有主鍵。

• Hologres HQE在執行INSERT ON CONFLICT時，本身不會保序（保證順序），因此不能實現keep first、keep last的效果，都是keep any。但在實際應用中，如果數據源有主鍵重復數據需要去重，建議使用keep last，命令如下：

  --保留重復數據的最后一條數據
  set hg_experimental_affect_row_multiple_times_keep_last = on;

使用示例

• INSERT ON CONFLICT語句的示例用法：

  說明

  Hologres從V2.1.17版本起支持Serverless Computing能力，針對大數據量離線導入、大型ETL作業、外表大數據量查詢等場景，使用Serverless Computing執行該類任務可以直接使用額外的Serverless資源，避免使用實例自身資源，無需為實例預留額外的計算資源，顯著提升實例穩定性、減少OOM概率，且僅需為任務單獨付費。Serverless Computing詳情請參見Serverless Computing概述，Serverless Computing使用方法請參見Serverless Computing使用指南。

  1. 準備表和數據：

     begin ;
     create table test1 (
         a int NOT NULL PRIMARY KEY,
         b int,
         c int
     );
     commit ;
     
     insert into test1 values (1,2,3);
     

  2. 不同場景下的使用示例：

     說明

     下面的每個場景示例結果不相互依賴，沒有順序關系，都是基于上述已創建的表和數據的結果。

     • 場景1：實現InsertOrIgnore，即主鍵重復不更新。

       INSERT INTO test1 (a, b, c) VALUES (1, 1, 1)
       ON CONFLICT (a)
       DO NOTHING;
       
       --更新后test1表的數據為：
       a	b	c
       1	2	3

     • 場景2：實現InsertOrUpdate的整行更新，可以通過如下兩種方式實現。

       • 方式1：在SET..EXCLUDED中列出所有的列。

         INSERT INTO test1 (a, b, c) VALUES (1, 1, 1)
         ON CONFLICT (a)
         DO UPDATE SET b = EXCLUDED.b, c = EXCLUDED.c;
         
         --更新后test1表的數據為：
         a	b	c
         1	1	1

       • 方式2：使用ROW(EXCLUDED.*)代表更新所有列。

         INSERT INTO test1 (a, b, c)VALUES (1, 1, 1)
         ON CONFLICT (a)
         DO UPDATE SET (a,b,c) = ROW(EXCLUDED.*);
         
         --更新后test1表的數據為：
         a	b	c
         1	1	1

     • 場景3：實現InsertOrUpdate的部分列更新，即只更新指定列，缺失的列不更新。

       --要實現部分列更新的效果，需要在set后列出想要更新的列
       INSERT INTO test1 (a, b, c) VALUES (1, 1, 1)
       ON CONFLICT (a)
       DO UPDATE SET b = EXCLUDED.b;
       
       --表中c列不更新，更新后test1表的數據為:
       a	b	c
       1	1	3

     • 場景4：實現InsertOrReplace，即整行覆蓋，如果有缺失的列，缺失的列補null。

       --如果要實現InsertOrReplace，且缺失的列補null，則需要在insert的值中手動補null。
       INSERT INTO test1 (a, b,c) VALUES (1, 1,null)
       ON CONFLICT (a)
       DO UPDATE SET b = EXCLUDED.b,c = EXCLUDED.c;
       
       --更新后test1表的數據為：
       a	b	c
       1	1	\N

     • 場景5：從另外一張test2表更新test1表數據。

       --準備test2表和數據
       CREATE TABLE test2 (
           d int NOT NULL PRIMARY KEY,
           e int,
           f int
       );
       INSERT INTO test2 VALUES (1, 5, 6);
       
       
       --將test2整表替換test1表相同主鍵的行
       INSERT INTO test1 (a, b, c) SELECT d,e,f FROM test2 ON CONFLICT (a) DO UPDATE SET
       (a,b,c) = ROW (excluded.*);
       
       --更新后test1表數據如下：
       a	b	c
       1	5	6
       
       --將test2整表替換test1表相同主鍵的行,但調整了更新映射關系，即test2的e列更新到c列，f列更新到b列
       INSERT INTO test1 (a, b, c) SELECT d,e,f FROM test2 ON CONFLICT (a) DO UPDATE SET
       (a,c,b) = ROW (excluded.*);
       --更新后test1表數據如下：       
       a	b	c
       1	6	5

• 行存表INSERT ON CONFLICT語句的優化：

  Hologres對行存表的更新場景實行了優化，建議您在使用時將UPDATE列的順序與INSERT的順序保持一致，并且更新為整行更新。

  INSERT INTO test1 (a, b, c) 
  SELECT
      d,e,f
  FROM
      test2
  ON CONFLICT (a)
      DO UPDATE SET
          a = excluded.a,
          b = excluded.b,
          c = excluded.c;
          
  INSERT INTO test1 (a, b, c)
  SELECT d,e,f FROM test2
  ON CONFLICT (a)
  DO UPDATE SET(a,b,c) = ROW (excluded.*)

常見報錯