DM（達夢）數據源作為數據中樞，為您提供讀取和寫入DM數據庫的雙向通道，能夠快速解決海量數據的計算問題。本文為您介紹DataWorks的DM數據同步的能力支持情況。
使用限制
離線同步支持讀取視圖表。
DM Reader和DM Writer支持使用Serverless資源組（推薦）和獨享數據集成資源組。
支持的字段類型
DM Reader和DM Writer支持大部分通用的關系數據庫數據類型，例如數字、字符等。但也存在部分類型沒有支持的情況，請注意檢查您的數據類型，根據具體的數據庫進行選擇。
DM Reader針對DM類型的轉換列表，如下所示。
類型分類 | DM數據類型 |
整數類 | INT、TINYINT、SMALLINT和BIGINT |
浮點類 | REAL、FLOAT、DOUBLE、NUMBER和DECIMAL |
字符串類 | CHAR、VARCHAR、LONGVARCHAR和TEXT |
日期時間類 | DATE、DATETIME、TIMESTAMP和TIME |
布爾型 | BIT |
二進制類 | BINARY、VARBINARY和BLOB |
創建數據源
在進行數據同步任務開發時，您需要在DataWorks上創建一個對應的數據源，操作流程請參見創建并管理數據源，詳細的配置參數解釋可在配置界面查看對應參數的文案提示。
數據同步任務開發
數據同步任務的配置入口和通用配置流程可參見下文的配置指導。
單表離線同步任務配置指導
操作流程請參見通過向導模式配置離線同步任務、通過腳本模式配置離線同步任務。
腳本模式配置的全量參數和腳本Demo請參見下文的附錄：腳本Demo與參數說明。
整庫離線讀同步配置指導
操作流程請參見數據集成側同步任務配置。
附錄：腳本Demo與參數說明
離線任務腳本配置方式
如果您配置離線任務時使用腳本模式的方式進行配置，您需要按照統一的腳本格式要求，在任務腳本中編寫相應的參數，詳情請參見通過腳本模式配置離線同步任務，以下為您介紹腳本模式下數據源的參數配置詳情。
Reader腳本Demo
{
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
"concurrent":1 //作業并發數。
"mbps":"12"http://限流，此處1mbps = 1MB/s。
}
},
"steps": [
{
"category": "reader",
"name": "Reader",
"parameter": {
"datasource": "dm_datasource",
"table": "table",
"column": [
"*"
],
"preSql": [
"delete from XXX;"
],
"fetchSize": 2048
},
"stepType": "dm"
},
{
"category": "writer",
"name": "Writer",
"parameter": {},
"stepType": "stream"
}
],
"type": "job",
"version": "2.0"
}Reader腳本參數
參數 | 描述 | 是否必選 | 默認值 |
datasource | 輸入DM數據源名稱，配置數據源詳情請參見配置DM數據源。 | 是 | 無 |
table | 所選取的需要同步的表。 | 是 | 無 |
column | 所配置的表中需要同步的列名集合，使用JSON的數組描述字段信息，默認使用所有列配置，例如[ * ]：
| 是 | 無 |
splitPk | DM Reader進行數據抽取時，如果指定splitPk，表示您希望使用splitPk代表的字段進行數據分片。數據同步系統會啟動并發任務進行數據同步，以提高數據同步的效能：
| 否 | 空 |
where | 篩選條件，DM Reader根據指定的column、table和where條件拼接SQL，并根據該SQL進行數據抽取。例如在做測試時，可以將where條件指定為limit 10。 在實際業務場景中，通常會選擇當天的數據進行同步，可以將where條件指定為
| 否 | 無 |
querySql | 在部分業務場景中，where配置項不足以描述所篩選的條件，您可以通過該配置型來自定義篩選SQL。當您配置該項后，數據同步系統會忽略column、table等配置，直接使用該配置項的內容對數據進行篩選。 例如，需要進行多表join后同步數據，使用 | 否 | 無 |
fetchSize | 該配置項定義了插件和數據庫服務器端每次批量數據獲取條數，該值決定了數據同步系統和服務器端的網絡交互次數，能夠提升數據抽取性能。 說明 fetchSize值過大（>2048）可能造成數據同步進程OOM。 | 否 | 1,024 |
Writer腳本Demo
{
"type": "job",
"steps": [
{
"stepType": "oracle",
"parameter": {
"datasource": "aaa",
"column": [
"PROD_ID",
"name"
],
"where": "",
"splitPk": "",
"encoding": "UTF-8",
"table": "PENGXI.SALES"
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "dm",
"parameter": {
"datasource": "dm_datasource",
"table": "table",
"column": [
"id",
"name"
],
"preSql": [
"delete from XXX;"
]
},
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record": ""
},
"speed": {
"throttle":true,//當throttle值為false時，mbps參數不生效，表示不限流；當throttle值為true時,表示限流。
"concurrent":2, //作業并發數。
"mbps":"12"http://限流，此處1mbps = 1MB/s。
}
}
}
Writer腳本參數
參數 | 描述 | 是否必選 | 默認值 |
datasource | 輸入DM數據源名稱，配置數據源詳情請參見配置DM數據源。 | 是 | 無 |
table | 目標表名稱，如果表的Schema信息和上述配置username不一致，請使用 | 是 | 無 |
column | 所配置的表中需要同步的列名集合。以英文逗號（,）進行分隔。 說明 建議您不要使用默認列情況。 | 是 | 無 |
preSql | 執行數據同步任務之前率先執行的SQL語句，目前只允許執行一條SQL語句，例如清除舊數據。 說明 當有多條SQL語句時，不支持事務。 | 否 | 無 |
postSql | 執行數據同步任務之后執行的SQL語句，目前只允許執行一條SQL語句，例如加上某一個時間戳。 說明 當有多條SQL語句時，不支持事務。 | 否 | 無 |
batchSize | 一次性批量提交的記錄數大小，該值可以極大減少數據集成與DM（達夢）的網絡交互次數，并提升整體吞吐量。但是該值設置過大可能會造成數據集成運行進程OOM情況。 | 否 | 1024 |