支持的版本

目前僅支持配置PostgreSQL數(shù)據(jù)源為PostgreSQL10、11、12、13、14、15版本。您可以通過如下語句查看PostgreSQL數(shù)據(jù)庫的版本。

SHOW SERVER_VERSION;

使用限制

離線讀寫

PostgreSQL數(shù)據(jù)源支持Password認(rèn)證方式（支持SCRAM-SHA-256認(rèn)證方式），如果PostgreSQL數(shù)據(jù)庫端更改了密碼和密碼認(rèn)證方式，則需要更新數(shù)據(jù)源配置，并且重新測試連通性和手動運行相關(guān)任務(wù)驗證。

當(dāng)PostgreSQL中表名稱、字段名稱是以數(shù)字開頭，或者名稱中包含大小寫英文字母、中劃線（-）時需要使用雙引號（""）進(jìn)行轉(zhuǎn)義，不進(jìn)行轉(zhuǎn)義會導(dǎo)致PostgreSQL插件讀取或?qū)懭隤ostgreSQL數(shù)據(jù)失敗。但是在PostgreSQL Reader和Writer插件中，雙引號（""）為JSON關(guān)鍵字，因此，您需要使用反斜線（\）再次對雙引號（""）進(jìn)行轉(zhuǎn)義。例如，表名稱為123Test，則轉(zhuǎn)義后表名稱為\"123Test\"。

使用腳本模式進(jìn)行轉(zhuǎn)義的代碼示例如下。

"parameter": {
    "datasource": "abc",
    "column": [
        "id",
        "\"123Test\"", //添加轉(zhuǎn)義符
],
"where": "",
"splitPk": "id",
"table": "public.wpw_test"
},

實時讀

數(shù)據(jù)集成實時同步任務(wù)存在如下約束與限制：

• 數(shù)據(jù)集成對ADD COLUMN進(jìn)行了特別支持：

  • 約束：ADD COLUMN時不能有ADD COLUMN和DROP COLUMN或者其他DDL的組合。

    重要

    ADD COLUMN時其他DROP COLUMN、 RNAME COLUMN等ALTER COLUMN的行為將使數(shù)據(jù)同步任務(wù)不能正常工作。

  • 限制：除了ADD COLUMN外，無法識別用戶的其他DDL操作。

• 不支持ALTER TABLE/CREATE TABLE。

• 不支持TEMPORARY表、UNLOGGED表和Hyper表復(fù)制，PostgreSQL數(shù)據(jù)庫沒有提供機制來對這兩種類型的表進(jìn)行l(wèi)og解析訂閱。

• 不支持Sequences復(fù)制（serial/bigserial/identity）。

• 不支持TRUNCATE操作。

• 不支持大對象復(fù)制（Bytea）。

• 不支持視圖、物化視圖、外部表復(fù)制。

支持的字段類型

離線讀寫

支持大部分PostgreSQL類型，但也存在部分類型沒有支持的情況，請注意檢查您的數(shù)據(jù)類型。

針對PostgreSQL的類型轉(zhuǎn)換列表，如下所示。

數(shù)據(jù)同步前準(zhǔn)備

在DataWorks上進(jìn)行數(shù)據(jù)同步前，您需要參考本文提前在PostgreSQL側(cè)進(jìn)行數(shù)據(jù)同步環(huán)境準(zhǔn)備，以便在DataWorks上進(jìn)行PostgreSQL數(shù)據(jù)同步任務(wù)配置與執(zhí)行時服務(wù)正常。以下為您介紹PostgreSQL同步前的相關(guān)環(huán)境準(zhǔn)備。

-- 查詢 max_wal_senders
show max_wal_senders;

-- 查詢 pg_stat_replication 數(shù)量
select count(*) from pg_stat_replication

創(chuàng)建數(shù)據(jù)源

在進(jìn)行數(shù)據(jù)同步任務(wù)開發(fā)時，您需要在DataWorks上創(chuàng)建一個對應(yīng)的數(shù)據(jù)源，操作流程請參見創(chuàng)建并管理數(shù)據(jù)源，詳細(xì)的配置參數(shù)解釋可在配置界面查看對應(yīng)參數(shù)的文案提示。

如果您的PostgreSQL數(shù)據(jù)庫開啟了SSL認(rèn)證，那么您在添加DataWorks的PostgreSQL數(shù)據(jù)源時也需要開啟SSL認(rèn)證，具體操作流程請參見附錄二：PostgreSQL數(shù)據(jù)源增加SSL認(rèn)證。

數(shù)據(jù)同步任務(wù)開發(fā)：PostgreSQL同步流程引導(dǎo)

數(shù)據(jù)同步任務(wù)的配置入口和通用配置流程可參見下文的配置指導(dǎo)。

常見問題

• 主備同步數(shù)據(jù)恢復(fù)問題

  主備同步問題指PostgreSQL使用主從災(zāi)備，備庫從主庫不間斷恢復(fù)數(shù)據(jù)。由于主備數(shù)據(jù)同步存在一定的時間差，特別在于某些特定情況，例如網(wǎng)絡(luò)延遲等問題，導(dǎo)致備庫同步恢復(fù)的數(shù)據(jù)與主庫有較大差別，從備庫同步的數(shù)據(jù)不是一份當(dāng)前時間的完整鏡像。

• 一致性約束

  PostgreSQL在數(shù)據(jù)存儲劃分中屬于RDBMS系統(tǒng)，對外可以提供強一致性數(shù)據(jù)查詢接口。例如一次同步任務(wù)啟動運行過程中，當(dāng)該庫存在其他數(shù)據(jù)寫入方寫入數(shù)據(jù)時，由于數(shù)據(jù)庫本身的快照特性，PostgreSQL Reader完全不會獲取到寫入的更新數(shù)據(jù)。

  上述是在PostgreSQL Reader單線程模型下數(shù)據(jù)同步一致性的特性，PostgreSQL Reader可以根據(jù)您配置的信息使用并發(fā)數(shù)據(jù)抽取，因此不能嚴(yán)格保證數(shù)據(jù)一致性。

  當(dāng)PostgreSQL Reader根據(jù)splitPk進(jìn)行數(shù)據(jù)切分后，會先后啟動多個并發(fā)任務(wù)完成數(shù)據(jù)同步。多個并發(fā)任務(wù)相互之間不屬于同一個讀事務(wù)，同時多個并發(fā)任務(wù)存在時間間隔，因此這份數(shù)據(jù)并不是完整的、一致的數(shù)據(jù)快照信息。

  針對多線程的一致性快照需求，目前在技術(shù)上無法實現(xiàn)，只能從工程角度解決。工程化的方式存在取舍，在此提供以下解決思路，您可以根據(jù)自身情況進(jìn)行選擇。

  • 使用單線程同步，即不再進(jìn)行數(shù)據(jù)切片。缺點是速度比較慢，但是能夠很好保證一致性。

  • 關(guān)閉其它數(shù)據(jù)寫入方，保證當(dāng)前數(shù)據(jù)為靜態(tài)數(shù)據(jù)，例如鎖表、關(guān)閉備庫同步等。缺點是可能影響在線業(yè)務(wù)。

• 數(shù)據(jù)庫編碼問題

  PostgreSQL在服務(wù)器端僅支持EUC_CN和UTF-8兩種簡體中文編碼，PostgreSQL Reader底層使用JDBC進(jìn)行數(shù)據(jù)抽取，JDBC天然適配各類編碼，并在底層進(jìn)行了編碼轉(zhuǎn)換。因此PostgreSQL Reader不需您指定編碼，可以自動獲取編碼并轉(zhuǎn)碼。

  對于PostgreSQL底層寫入編碼和其設(shè)定的編碼不一致的混亂情況，PostgreSQL Reader對此無法識別，也無法提供解決方案，導(dǎo)出結(jié)果有可能為亂碼。

• 增量數(shù)據(jù)同步的方式

  PostgreSQL Reader使用JDBC SELECT語句完成數(shù)據(jù)抽取工作，因此可以使用SELECT…WHERE…進(jìn)行增量數(shù)據(jù)抽取，方式如下：

  • 數(shù)據(jù)庫在線應(yīng)用寫入數(shù)據(jù)庫時，填充modify字段為更改時間戳，包括新增、更新、刪除（邏輯刪除）。對于該類應(yīng)用，PostgreSQL Reader只需要where條件后跟上一同步階段時間戳即可。

  • 對于新增流水型數(shù)據(jù)，PostgreSQL Reader在where條件后跟上一階段最大自增ID即可。

  對于業(yè)務(wù)上無字段區(qū)分新增、修改數(shù)據(jù)的情況，PostgreSQL Reader無法進(jìn)行增量數(shù)據(jù)同步，只能同步全量數(shù)據(jù)。

• SQL安全性

  PostgreSQL Reader提供querySql語句交給您自己實現(xiàn)SELECT抽取語句，PostgreSQL Reader本身對querySql不進(jìn)行任何安全性校驗。

附錄一：腳本Demo與參數(shù)說明

{
    "type":"job",
    "version":"2.0",//版本號。
    "steps":[
        {
            "stepType":"postgresql",//插件名。
            "parameter":{
                "datasource":"",//數(shù)據(jù)源。
                "column":[//字段。
                    "col1",
                    "col2"
                ],
                "where":"",//篩選條件。
                "splitPk":"",//用splitPk代表的字段進(jìn)行數(shù)據(jù)分片，數(shù)據(jù)同步會啟動并發(fā)任務(wù)進(jìn)行數(shù)據(jù)同步。
                "table":""http://表名。
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"http://錯誤記錄數(shù)。
        },
        "speed":{
            "throttle":true, //當(dāng)throttle值為false時，mbps參數(shù)不生效，表示不限流；當(dāng)throttle值為true時,表示限流。
            "concurrent":1, //作業(yè)并發(fā)數(shù)。
            "mbps":"12"http://限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

{
  "type":"job",
  "version":"2.0",//版本號。
  "steps":[ 
    {
      "stepType":"stream",
      "parameter":{},
      "name":"Reader",
      "category":"reader"
    },
    {
      "stepType":"postgresql",//插件名。
      "parameter":{
        "datasource":"",//數(shù)據(jù)源。
        "column":[// 字段。
          "col1",
          "col2"
        ],
        "table":"",//表名。
        "preSql":[],//執(zhí)行數(shù)據(jù)同步任務(wù)之前率先執(zhí)行的SQL語句。
        "postSql":[],//執(zhí)行數(shù)據(jù)同步任務(wù)之后率先執(zhí)行的SQL語句。
      },
      "name":"Writer",
      "category":"writer"
    }
  ],
  "setting":{
    "errorLimit":{
      "record":"0"http://錯誤記錄數(shù)
    },
    "speed":{
      "throttle":true,//當(dāng)throttle值為false時，mbps參數(shù)不生效，表示不限流；當(dāng)throttle值為true時,表示限流。
      "concurrent":1, //作業(yè)并發(fā)數(shù)。
      "mbps":"12"http://限流，此處1mbps = 1MB/s。
    }
  },
  "order":{
    "hops":[
      {
        "from":"Reader",
        "to":"Writer"
      }
    ]
  }
}

{
    "job":
    {
        "content":
        [{
            "reader": {...},
            "writer":
            {
                "parameter":
                {
                    "column":
                    [
                        // 目標(biāo)表字段列表
                        "bigint_arr",
                        "double_arr",
                        "text_arr",
                        "jsonb_obj",
                        "json_obj"
                    ],
                    "pgType":
                    {
                        // 特殊的類型設(shè)置，key為目標(biāo)表的字段名，value為字段類型。
                        "bigint_arr": "bigint[]",
                        "double_arr": "double[]",
                        "text_arr": "text[]",
                        "jsonb_obj": "jsonb",
                        "json_obj": "json"
                    }

                }
            }
        }]
    }
}

附錄二：PostgreSQL數(shù)據(jù)源增加SSL認(rèn)證