準備工作1：創(chuàng)建賬號并配置賬號權限

您需要規(guī)劃一個數據庫的登錄賬號用于后續(xù)執(zhí)行操作，此賬號需要擁有數據庫的REPLICATION、 LOGIN權限。

1. 創(chuàng)建賬號。

   操作詳情請參見創(chuàng)建賬號和數據庫。

2. 配置權限。

   檢查賬號是否有replication權限。

   select userepl from pg_user where usename='xxx'

   預期返回結果為True，返回False則表示無權限，您可以通過如下語句進行授權。

   ALTER USER <user> REPLICATION;

準備工作2：檢查是否支持備庫

SELECT pg_is_in_recovery()

目前僅支持主庫，預期返回結果為False，返回True時表示是備庫，實時同步不支持備庫，需修改數據源配置信息為主庫的信息，請參見配置PostgreSQL數據源。

準備工作3：檢查wal_level是否為logical

show wal_level

wal_level指定了wal_log的級別，預期返回結果為logical，否則不支持邏輯復制機制。

準備工作4：檢查是否可以啟動wal_sender進程

-- 查詢 max_wal_senders
show max_wal_senders;

-- 查詢 pg_stat_replication 數量
select count(*) from pg_stat_replication

當max_wal_senders不為空，且max_wal_senders值大于pg_stat_replication數量時，則表示有空閑可用的wal_sender進程。PostgreSQL數據庫會為同步數據程序啟動wal_sender進程來給訂閱者發(fā)送日志。

對于每一個需要同步的表，需要手動執(zhí)行ALTER TABLE [tableName] REPLICA IDENTITY FULL語句進行授權，否則實時同步任務會報錯。

PostgreSQL實時同步任務啟動后，會在數據庫中自動創(chuàng)建slot、publications，slot名稱格式為：di_slot_ + 解決方案ID ，publication名稱格式為：di_pub_ + 解決方案ID，當實時同步任務停止或下線后，需手動刪除，否則可能會導致PostgreSQL WAL持續(xù)增長。

單表離線同步任務配置指導

• 操作流程請參見通過向導模式配置離線同步任務、通過腳本模式配置離線同步任務。

• 腳本模式配置的全量參數和腳本Demo請參見下文的附錄一：腳本Demo與參數說明。

整庫離線讀、單表/整庫全增量實時讀等同步任務配置指導

操作流程請參見數據集成側同步任務配置。

離線任務腳本配置方式

如果您配置離線任務時使用腳本模式的方式進行配置，您需要按照統(tǒng)一的腳本格式要求，在任務腳本中編寫相應的參數，詳情請參見通過腳本模式配置離線同步任務，以下為您介紹腳本模式下數據源的參數配置詳情。

PostgreSQL SSL認證文件說明

在DataWorks上創(chuàng)建或修改PostgreSQL數據源連接方式，支持配置SSL認證方式，SSL認證相關的配置項說明，具體如下。

獲取PostgreSQL SSL認證文件

本文將以RDS PostgreSQL實例為例生成SSL認證證書。

1. Truststore證書文件獲取方式。

   Truststore 證書文件獲取的具體信息可以參考使用云端證書快速開啟SSL加密。

   1. 進入RDS實例列表，單擊查看對應區(qū)域的RDS實例，并點擊目標實例ID，進入實例信息頁面。

   2. 選擇需要保護的連接串，具體操作如下圖所示：

   

   說明

   • 如果已開啟外網地址，系統(tǒng)將同時顯示內網和外網兩個連接地址。云端證書只能對一個連接地址進行保護，而內網連接地址相對更安全，推薦您對外網連接地址進行保護。查看內網和外網地址的具體方法。請參考查看內外網地址。

   • 如果您需要同時對內網和外網連接地址進行保護，可以參考使用自定義證書開啟SSL加密。

   • 配置云端證書后，實例的運行狀態(tài)將會變成修改SSL中，該狀態(tài)持續(xù)三分鐘左右，請耐心等待運行狀態(tài)變更為運行中后再進行后續(xù)操作。

   c. 單擊下載CA證書，即可獲取到Truststore證書文件。

   

   下載的CA證書包含3個文件，在DataWorks配置PostgreSQL數據源時，將后綴為.pem的文件或后綴為.p7b文件上傳到Truststore 證書文件配置項中。

2. Keystore證書文件、私鑰文件、私鑰密碼的獲取與配置。

   前提條件：已完成使用云端證書快速開啟SSL加密或使用自定義證書開啟SSL加密以及擁有OpenSSL工具。

   說明

   如果您使用的是Linux系統(tǒng)，則系統(tǒng)已自帶OpenSSL工具，無需進行安裝。如果您使用Windows系統(tǒng)，請獲取OpenSSL軟件包并安裝。

   Keystore證書文件、私鑰文件、私鑰密碼獲取與配置的具體信息可以參考配置客戶端CA證書。

   1. 在Linux系統(tǒng)上的OpenSSL工具或在Windows系統(tǒng)上安裝OpenSSL軟件，生成自簽名證書（ca1.crt）和自簽名證書密鑰（ca1.key）。

      openssl req -new -x509 -days 3650 -nodes -out ca1.crt -keyout ca1.key -subj "/CN=root-ca1"

   2. 生成客戶端證書請求文件（client.csr）和客戶端證書私鑰（client.key）。

      openssl req -new -nodes -text -out client.csr -keyout client.key -subj "/CN=<客戶端用戶名>"

      該命令中-subj參數后的CN取值請配置為客戶端訪問數據庫的用戶名。

   3. 生成客戶端證書（client.crt）。

      openssl x509 -req -in client.csr -text -days 365  -CA ca1.crt -CAkey ca1.key -CAcreateserial  -out client.crt

   4. 如果您的RDS PostgreSQL服務器需要驗證客戶端CA證書，那么您需要打開生成的客戶端自簽名證書ca1.crt文件，復制證書內容粘貼在請?zhí)顚懣蛻舳俗C書授權機構公鑰內容對話框內，作為客戶端CA證書。

   5. 在RDS側配置好客戶端CA證書后，在DataWorks上配置PostgreSQL數據源時，需要將客戶端證書私鑰client.key轉換為client.pk8文件，并將client.pk8上傳至DataWorks的PostgreSQL數據源配置的私鑰文件配置項中。

      cp client.key client.pk8

   6. 配置私鑰密碼。

      openssl pkcs8 -topk8 -inform PEM -in client.key -outform der -out client.pk8 -v1 PBE-MD5-DES

      說明

      在執(zhí)行配置私鑰密碼命令時，必須輸入密碼。如果您設置了密碼，則在DataWorks的PostgreSQL數據源配置中的私鑰密碼也需要使用相同的密碼。

配置 PostgreSQL SSL 認證文件

在將獲取到的證書文件上傳到DataWorks的PostgreSQL配置項時，其對應操作如下：

• Truststore 證書文件：上傳Truststore證書文件獲取步驟獲取到的后綴為.pem的文件或后綴為.p7b文件。

• Keystore 證書文件：上傳生成客戶端證書步驟獲取到的客戶端證書文件client.crt。

• 私鑰文件：上傳轉換私鑰文件步驟獲取到的客戶端證書私鑰文件轉換成的client.pk8文件。

• 私鑰密碼：指的是配置私鑰密碼步驟配置的密碼。

配置ACL：進入RDS實例列表，單擊查看對應區(qū)域的RDS實例，并點擊目標實例ID，進入實例信息頁面后，點擊數據安全性 > 配置ACL單擊修改后，可以選擇不同SSL認證方法，可參考強制客戶端開啟SSL連接。