{
    "type":"job",
    "version":"2.0",//版本號(hào)
    "steps":[
        {
         "job": {
           "content": [
            {
                "reader": {
                    "name": "DataHubreader",
                    "parameter": {
                        "endpoint": "xxx" //DataHub的endpoint。
                        "accessId": "xxx", //訪問DataHub的用戶accessId。
                        "accessKey": "xxx", //訪問DataHub的用戶accessKey。
                        "project": "xxx", //目標(biāo)DataHub的項(xiàng)目名稱。
                        "topic": "xxx" //目標(biāo)DataHub的topic名稱。
                        "batchSize": 1000, //一次讀取的數(shù)據(jù)量。
                        "beginDateTime": "20180910111214", //數(shù)據(jù)消費(fèi)的開始時(shí)間位點(diǎn)。
                        "endDateTime": "20180910111614", //數(shù)據(jù)消費(fèi)的結(jié)束時(shí)間位點(diǎn)。
                        "column": [
                            "col0",
                            "col1",
                            "col2",
                            "col3",
                            "col4"
                                  ]
                                }
                           },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": false
                                 }
                            }
             }
           ]
         }
       }
     ],
    "setting":{
        "errorLimit":{
            "record":"0"http://錯(cuò)誤記錄數(shù)
        },
        "speed":{
            "throttle":true,//當(dāng)throttle值為false時(shí)，mbps參數(shù)不生效，表示不限流；當(dāng)throttle值為true時(shí),表示限流。
            "concurrent":1,//并發(fā)數(shù)
            "mbps":"12"http://限流，此處1mbps = 1MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

{
    "type": "job",
    "version": "2.0",//版本號(hào)。
    "steps": [
        { 
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "datahub",//插件名。
            "parameter": {
                "datasource": "",//數(shù)據(jù)源。
                "topic": "",//Topic是DataHub訂閱和發(fā)布的最小單位，您可以用Topic來表示一類或者一種流數(shù)據(jù)。
                "maxRetryCount": 500,//任務(wù)失敗的重試的最多次數(shù)。
                "maxCommitSize": 1048576//待積累的數(shù)據(jù)Buffer大小達(dá)到maxCommitSize大小（單位Byte）時(shí)，批量提交至目的端。
                 //datahub側(cè)對(duì)于一次request請(qǐng)求寫入的數(shù)據(jù)條數(shù)限制是10000條，超出10000條數(shù)據(jù)會(huì)超出限制導(dǎo)致任務(wù)出錯(cuò)，請(qǐng)根據(jù)您單條數(shù)據(jù)平均數(shù)據(jù)量*10000條數(shù)據(jù)的數(shù)據(jù)總量來從側(cè)方面進(jìn)行單次寫入datahub的數(shù)據(jù)條數(shù)控制。比如每條數(shù)據(jù)10 k，那么此參數(shù)的設(shè)置值要低于10*10000 k。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""http://錯(cuò)誤記錄數(shù)。
        },
        "speed": {
            "throttle":true,//當(dāng)throttle值為false時(shí)，mbps參數(shù)不生效，表示不限流；當(dāng)throttle值為true時(shí),表示限流。
            "concurrent":20, //作業(yè)并發(fā)數(shù)。
            "mbps":"12"http://限流，此處1mbps = 1MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}