Redis數(shù)據(jù)源
DataWorks數(shù)據(jù)集成支持使用Redis Writer將數(shù)據(jù)寫至Redis，本文為您介紹DataWorks的Redis數(shù)據(jù)離線寫入能力。
使用限制
數(shù)據(jù)導入過程支持使用Serverless資源組（推薦）和獨享數(shù)據(jù)集成資源組。
使用Redis Writer向Redis寫入數(shù)據(jù)時，如果Value類型是List，重跑同步任務的同步結果不是冪等的。因此，如果Value類型是List ，重跑同步任務時，需要您手動清空Redis上相應的數(shù)據(jù)。
支持的字段類型
Redis支持較豐富的存儲value類型，包括String（字符串）、List（鏈表）、Set（集合）、ZSet（sorted set有序集合）和Hash（哈希類型）。Redis詳情請參見redis.io。
數(shù)據(jù)同步任務開發(fā)
數(shù)據(jù)同步任務的配置入口和通用配置流程可參見下文的配置指導。
操作流程請參見通過向導模式配置離線同步任務、通過腳本模式配置離線同步任務。
腳本模式配置的全量參數(shù)和腳本Demo請參見下文的附錄：腳本Demo與參數(shù)說明。
附錄：腳本Demo與參數(shù)說明
離線任務腳本配置方式
如果您配置離線任務時使用腳本模式的方式進行配置，您需要按照統(tǒng)一的腳本格式要求，在任務腳本中編寫相應的參數(shù)，詳情請參見通過腳本模式配置離線同步任務，以下為您介紹腳本模式下數(shù)據(jù)源的參數(shù)配置詳情。
Writer腳本Demo
以下以讀取MySQL數(shù)據(jù)并寫入Redis為例，為您示例讀取端MySQL Reader和寫入端Redis Writer的腳本代碼樣例。寫入Redis的數(shù)據(jù)同步作業(yè)。
{
"type":"job",
"version":"2.0", //版本號
"steps":[
{ //以下為讀取端代碼樣例，讀取端的參數(shù)詳情可查看對應數(shù)據(jù)源的Reader插件文檔。
"stepType":"mysql",
"parameter": {
"envType": 0,
"datasource": "xc_mysql_demo2"，
"column": [
"id",
"value",
"table"
],
"connection": [
{
"datasource": "xc_mysql_demo2",
"table": []
}
],
"where": "",
"splitPk": "",
"encoding": "UTF-8"
},,
"name":"Reader",
"category":"reader"
},
{//以下為寫入端代碼樣例。
"stepType":"redis", //Redis Writer的插件名，配置為redis。
"parameter":{ //以下為Redis Writer的主要參數(shù)。
"expireTime":{ //Redis value值緩存失效時間，可配置為seconds類型或unixtime類型。"seconds":"1000"
},
"keyFieldDelimiter":"u0001", //寫入Redis的key的分隔符。
"dateFormat":"yyyy-MM-dd HH:mm:ss",//寫入Redis時，Date的時間格式。
"datasource":"xc_mysql_demo2", //數(shù)據(jù)源名稱，需與添加的數(shù)據(jù)源名稱保持一致。
"envType": 0, //環(huán)境類型，開發(fā)環(huán)境：1，生產(chǎn)環(huán)境：0。
"writeMode":{ //寫入模式。
"type":"string" //value類型。
"mode":"set", //value是某類型時，寫入的模式。
"valueFieldDelimiter":"u0001", //value之間的分隔符。
},
"keyIndexes":[0,1], //用于源端到Redis的映射，指定源端需要作為key的列（第1列從0開始），如果源端第1列、第2列組合作為Redis的key，這里配置為[0,1]。
"batchSize":"1000" //一次性批量提交的記錄數(shù)大小。
"column": [ // 對于redis類型為string，set操作，如果此column沒有配置那么value的格式是分隔符連接的字符串(csv格式，假設ID的值為1，name的值為"小王"，age的值為18，sex的值為男，redis的value結果示例："18::男")；如果配置了column，且按照如下格式配置，則redis 的value將把原列的列名和值寫入成JSON格式，假設ID的值為1，name的值為"小王"，age的值為18，sex的值為男，redis的value結果示例{"id":1,"name":"小王","age":18,"sex":"男"}
{
"name": "id",
"index": "0"
},
{
"name": "name",
"index": "1"
},
{
"name": "age",
"index": "2"
},
{
"name": "sex",
"index": "3"
}
]
},
"name":"Writer",
"category":"writer"
}
],
"setting":{
"errorLimit":{
"record":"0" //錯誤記錄數(shù)。
},
"speed":{
"throttle":true,//當throttle值為false時，mbps參數(shù)不生效，表示不限流；當throttle值為true時,表示限流。
"concurrent":1, //作業(yè)并發(fā)數(shù)。
"mbps":"12"http://限流，此處1mbps = 1MB/s。
}
},
"order":{
"hops":[
{
"from":"Reader",
"to":"Writer"
}
]
}
}Writer腳本參數(shù)
參數(shù) | 描述 | 是否必選 | 默認值 |
expireTime | Redis value值緩存失效時間，單位為秒。如果不填該配置項，則該配置項取值為默認值 expireTime的配置方式有以下兩種：
| 否 | 0（0表示永久有效） |
keyFieldDelimiter | 寫入Redis的Key分隔符。例如key=key1\u0001id，如果有多個Key需要拼接時，該值為必填項。如果只有一個Key，則可以忽略該配置項。 | 否 | \u0001 |
dateFormat | 寫入Redis時，Date的時間格式為yyyy-MM-dd HH:mm:ss。 | 否 | 無 |
datasource | 數(shù)據(jù)源名稱。該配置項填寫的內(nèi)容必須與添加的數(shù)據(jù)源名稱保持一致。 | 是 | 無 |
selectDatabase | 寫入Redis的庫選擇（"0"~"databases"），Redis集群無法做數(shù)據(jù)庫選擇。 | 否 | 默認寫到0號庫 |
writeMode | Redis Writer寫入Redis的value類型包含以下5種：
不同的value類型，writeMode配置會略有差異，詳細說明可參見下文writeMode參數(shù)說明。 說明 配置Redis Writer時，您需要配置writeMode為支持的5種寫入數(shù)據(jù)類型中的1種類型，且只能配置1種。如果您沒有配置，則writeMode取值為默認值 | 否 | string |
keyIndexes | 指定作為key的源端列的列序號。列序號從0開始（即第1列的序號是0，第2列的序號是1，依次類推）。
說明 配置keyIndexes后，Redis Writer會將其余的列作為Value。如果您只想同步源表的某幾列作為Key，某幾列作為Value，則無需同步所有字段，在Reader插件端指定好column進行列篩選即可。 | 是 | 無 |
batchSize | 一次性批量提交的記錄數(shù)大小。該值可以極大減少數(shù)據(jù)同步系統(tǒng)與Redis的網(wǎng)絡交互次數(shù)，并提升整體吞吐量。如果該值設置過大，會導致數(shù)據(jù)同步運行進程OOM異常。 | 否 | 1,000 |
timeout | 寫入Redis的超時時間，單位為毫秒。 | 否 | 30,000 |
redisMode | Redis的運行模式。具體如下：
說明 支持使用Serverless資源組（推薦）和獨享數(shù)據(jù)集成資源組。 | 否 | 無 |
column | 寫入Redis的column配置。對于Redis對應類型為string，set操作時：
| 否 | 無 |
writeMode參數(shù)說明
配置Redis Writer時，您需要配置writeMode為支持的5種寫入數(shù)據(jù)類型中的1種類型，且只能配置1種。如果您沒有配置，則writeMode取值為默認值string。
value類型 | type參數(shù)（必選） | mode參數(shù)（必選） | valueFieldDelimiter參數(shù)（非必選） | writeMode配置樣例 |
字符串（string） | type需配置為 | mode為寫入模式參數(shù)，value為字符串（string）時：
| valueFieldDelimiter為value之間的分隔符，默認值為
| |
字符串列表（list） | type需配置為 | mode為寫入模式參數(shù)，value為字符串列表（list）時，可配置為：
| | |
字符串集合（set） | type需配置為 | mode為寫入模式參數(shù)，value為字符串集合（set）時：
| | |
有序字符串集合（zset） | type需配置為 | mode為寫入模式參數(shù)，value為有序字符串集合（zset）時：
| 無需配置此參數(shù)。 | 說明 當value類型為zset時，數(shù)據(jù)源的每行記錄均需遵循相應的規(guī)范。即每行記錄除key外，只能有1對score和value，并且score必須在value前面，Redis Writer方可解析出column對應的是score或value。 |
哈希（hash） | type需配置為 | mode為寫入模式參數(shù)，value為哈希（hash）時：
| 無需配置此參數(shù)。 | 說明 當value類型為hash時，數(shù)據(jù)源的每行記錄都需遵循相應的規(guī)范。即每行記錄除key外，只能有1對attribute和value，并且attribute必須在value前面，Redis Writer方可解析出column對應的是attribute或value。 |