進(jìn)入ClickHouse產(chǎn)品控制臺(tái)。找到您要進(jìn)行數(shù)據(jù)同步的ClickHouse集群，在集群信息頁(yè)面獲取ClickHouse集群的外網(wǎng)地址、內(nèi)網(wǎng)地址、HTTP端口號(hào)、VPC ID、Vswitch ID、可用區(qū)。

在進(jìn)行數(shù)據(jù)同步前，需要完成您的資源組和ClickHouse集群配置網(wǎng)絡(luò)連通。

在DataWorks數(shù)據(jù)源管理頁(yè)面，單擊新建數(shù)據(jù)源，根據(jù)界面提示新建ClickHouse數(shù)據(jù)源。配置要點(diǎn)如下。

• JDBC URL：格式為jdbc:clickhouse://<ip>:<port>/<dbname>，其中：

  • <ip>：需替換為您ClickHouse集群的內(nèi)網(wǎng)地址或外網(wǎng)地址。

    • 如果您選擇使用VPC內(nèi)網(wǎng)聯(lián)通資源組和ClickHouse，則此處填寫(xiě)ClickHouse內(nèi)網(wǎng)地址。

    • 如果您選擇使用公網(wǎng)聯(lián)通資源組和ClickHouse，則此處填寫(xiě)ClickHouse外網(wǎng)地址。

  • <port>：需替換為您ClickHouse集群的HTTP端口號(hào)（通常為8123）。

  • <dbname>：需替換為您要同步的ClickHouse庫(kù)名。

• 用戶名、密碼：為對(duì)應(yīng)ClickHouse庫(kù)有訪問(wèn)權(quán)限的用戶名和密碼。

• 測(cè)試連通性：選擇您已經(jīng)完成與ClickHouse網(wǎng)絡(luò)聯(lián)通的資源組，確保連通狀態(tài)為可連通。

  說(shuō)明

  如果您使用的是獨(dú)享數(shù)據(jù)集成資源組，完成上述步驟中的網(wǎng)絡(luò)連通后，僅可實(shí)現(xiàn)ClickHouse與對(duì)應(yīng)獨(dú)享數(shù)據(jù)集成資源組的網(wǎng)絡(luò)聯(lián)通。如您期望完成ClickHouse與數(shù)據(jù)服務(wù)資源組、調(diào)度資源組的網(wǎng)絡(luò)聯(lián)通，需分別進(jìn)行網(wǎng)絡(luò)連通的配置與連通測(cè)試。

配置離線同步節(jié)點(diǎn)的數(shù)據(jù)來(lái)源相關(guān)參數(shù)。本實(shí)踐將MaxCompute數(shù)據(jù)增量同步至ClickHouse，數(shù)據(jù)來(lái)源為MaxCompute表，配置要點(diǎn)如下所示。

其他參數(shù)保持默認(rèn)即可。

本實(shí)踐將數(shù)據(jù)同步至ClickHouse，數(shù)據(jù)去向是ClickHouse。配置要點(diǎn)如下。

如果您在并發(fā)調(diào)大后同步速率增長(zhǎng)不明顯，可以嘗試手工調(diào)整同步任務(wù)內(nèi)存參數(shù)。調(diào)整方式如下。

1. 轉(zhuǎn)換任務(wù)為腳本模式。

2. 在腳本JSON段的setting中增加jvmOption參數(shù)，參數(shù)形如-Xms${heapMem} -Xmx${heapMem} -Xmn${newMem}。

向?qū)Ｊ较孪到y(tǒng)計(jì)算的${heapMem}的取值為768MB+(并發(fā)數(shù)-1)*256 MB。建議您在腳本模式中將${heapMem}設(shè)置為更大值，并將${newMem}設(shè)置為${heapMem}的三分之一。如并發(fā)數(shù)為8時(shí)，向?qū)Ｊ侥J(rèn)計(jì)算的${heapMem}為2560MB，腳本模式中可設(shè)置更大值，如設(shè)置jvmOption為-Xms3072m -Xmx3072m -Xmn1024m。

單擊右側(cè)的調(diào)度配置，本實(shí)踐示例涉及的調(diào)度配置要點(diǎn)如下。通用的調(diào)度配置指導(dǎo)及全量調(diào)度相關(guān)參數(shù)的介紹請(qǐng)參見(jiàn)調(diào)度配置。

• 重跑屬性。

  可根據(jù)業(yè)務(wù)需求設(shè)置不同的重跑策略，設(shè)置失敗可重跑策略可以有效降低因?yàn)榫W(wǎng)絡(luò)抖動(dòng)等偶發(fā)問(wèn)題導(dǎo)致的任務(wù)失敗。

• 配置調(diào)度依賴。

  可根據(jù)業(yè)務(wù)需求設(shè)置不同的調(diào)度依賴。您可以通過(guò)設(shè)置依賴上一周期的本節(jié)點(diǎn)，保證本節(jié)點(diǎn)多個(gè)調(diào)度周期的任務(wù)實(shí)例是依次執(zhí)行完成的，避免多任務(wù)實(shí)例同時(shí)調(diào)度運(yùn)行。

選擇在創(chuàng)建數(shù)據(jù)源時(shí)，與ClickHouse數(shù)據(jù)源、MaxCompute數(shù)據(jù)源都完成連通性檢查的數(shù)據(jù)集成資源組。

單擊頂部的運(yùn)行或帶參運(yùn)行，可以試運(yùn)行并查看同步結(jié)果是否符合預(yù)期。

• 帶參運(yùn)行可以針對(duì)任務(wù)配置中使用的調(diào)度系統(tǒng)參數(shù)進(jìn)行替換。

• 如果是標(biāo)準(zhǔn)項(xiàng)目，此時(shí)會(huì)在開(kāi)發(fā)環(huán)境運(yùn)行同步任務(wù)，源端使用MaxCompute的開(kāi)發(fā)項(xiàng)目開(kāi)發(fā)表，目標(biāo)端使用ClickHouse的開(kāi)發(fā)環(huán)境JDBC URL和庫(kù)表。