參數(shù)

描述

是否必選

默認值

datasource

數(shù)據(jù)源名稱，腳本模式支持添加數(shù)據(jù)源，此配置項填寫的內(nèi)容必須與添加的數(shù)據(jù)源名稱保持一致。

是

無

table

選取的需要同步的表名稱。

是

無

column

目標表需要寫入數(shù)據(jù)的字段，字段之間用英文逗號分隔。例如"column":["id","name","age"]。如果要依次寫入全部列，使用（*）表示，例如"column":["*"]。

是

無

preSql

執(zhí)行數(shù)據(jù)同步任務(wù)之前率先執(zhí)行的SQL語句。目前向?qū)Ｊ絻H允許執(zhí)行一條SQL語句，腳本模式可以支持多條SQL語句，例如，執(zhí)行前清空表中的舊數(shù)據(jù)。

否

無

postSql

執(zhí)行數(shù)據(jù)同步任務(wù)之后執(zhí)行的SQL語句。目前向?qū)Ｊ絻H允許執(zhí)行一條SQL語句，腳本模式可以支持多條SQL語句，例如，加上某一個時間戳。

否

無

maxBatchRows

每批次導(dǎo)入數(shù)據(jù)的最大行數(shù)。和batchSize共同控制每批次的導(dǎo)入數(shù)量。每批次數(shù)據(jù)達到兩個閾值之一，即開始導(dǎo)入這一批次的數(shù)據(jù)。

否

500000

batchSize

每批次導(dǎo)入數(shù)據(jù)的最大數(shù)據(jù)量。和maxBatchRows共同控制每批次的導(dǎo)入數(shù)量。每批次數(shù)據(jù)達到兩個閾值之一，即開始導(dǎo)入這一批次的數(shù)據(jù)。

否

94371840

maxRetries

每批次導(dǎo)入數(shù)據(jù)失敗后的重試次數(shù)。

否

3

labelPrefix

每批次上傳文件的label前綴。最終的label將由labelPrefix + UUID組成全局唯一的label，確保數(shù)據(jù)不會重復(fù)導(dǎo)入。

否

datax_selectdb_writer_

loadProps

COPY INOT的請求參數(shù)，主要用于配置導(dǎo)入的數(shù)據(jù)格式。默認JSON格式導(dǎo)入。如果loadProps沒有配置，或者配置為"loadProps":{}，都采用默認的JSON格式，配置如下所示。（目前，SelectDB僅支持strip_outer_array=true）。

"loadProps": {
    "format": "json",
    "strip_outer_array":true
}

如果您需要指定為csv格式導(dǎo)入，則可以按照如下方式指定為csv格式，并配置行、列分隔符。如果您沒有指定行、列分隔符，則默認傳入的數(shù)據(jù)均會被轉(zhuǎn)為字符串，并以\t作為列分隔符，\n作為行分隔符，組成csv文件進行SelectDB導(dǎo)入操作。

"loadProps": {
    "format":"csv",
    "column_separator": "\\x01",
    "line_delimiter": "\\x02"
}

否

無

clusterName

SelectDB Cloud集群名稱，您可以在SelectDB控制臺查看。

否

無

flushInterval

數(shù)據(jù)寫入批次的時間間隔（單位：ms），如果maxBatchRows和batchSize參數(shù)設(shè)置的很大，則可能還未達到設(shè)置的數(shù)據(jù)量大小，系統(tǒng)就會根據(jù)寫入的時間間隔執(zhí)行數(shù)據(jù)導(dǎo)入。

否

30000