DataWorks數據集成支持HttpFile數據源，可以通過HTTP協議下載文件并同步文件至目標數據源。
使用限制
HttpFile數據源支持使用Serverless資源組（推薦）和獨享數據集成資源組。
支持的字段類型
數據類型 | 說明 |
STRING | 文本類型。 |
LONG | 整數。 |
BYTES | 字節數組，將讀取到的文本內容轉為UTF-8編碼的字節數組。 |
BOOL | 布爾型。 |
DOUBLE | 小數。 |
DATE | 日期時間類型，支持以下日期時間格式：
|
創建數據源
在進行數據同步任務開發時，您需要在DataWorks上創建一個對應的數據源，操作流程請參見創建并管理數據源，詳細的配置參數解釋可在配置界面查看對應參數的文案提示。
數據同步任務開發：HttpFile同步流程引導
數據同步任務的配置入口和通用配置流程可參見下文的配置指導。
單表離線同步任務配置指導
操作流程請參見通過向導模式配置離線同步任務、通過腳本模式配置離線同步任務。
腳本模式配置的全量參數和腳本Demo請參見下文的附錄：HttpFile腳本Demo與參數說明。
附錄：HttpFile腳本Demo與參數說明
離線任務腳本配置方式
如果您配置離線任務時使用腳本模式的方式進行配置，您需要按照統一的腳本格式要求，在任務腳本中編寫相應的參數，詳情請參見通過腳本模式配置離線同步任務，以下為您介紹腳本模式下數據源的參數配置詳情。
Reader腳本Demo
查詢HttpFile File的腳本樣例如下：
{
"type": "job",
"version": "2.0",
"steps": [
{
"stepType": "httpfile",
"parameter": {
"datasource": "",
"fileName": "/f/z/1.csv",
"requestMethod": "GET",
"requestBody": "",
"requestHeaders": {
"header1": "v1",
"header2": "v2"
},
"socketTimeoutSeconds": 3600,
"connectTimeoutSeconds": 60,
"bufferByteSizeInKB": 1024,
"fileFormat": "csv",
"encoding": "utf8/gbk/...",
"fieldDelimiter": ",",
"useMultiCharDelimiter": true,
"lineDelimiter": "\n",
"skipHeader": true,
"compress": "zip/gzip",
"column": [
{
"index": 0,
"type": "long"
},
{
"index": 1,
"type": "boolean"
},
{
"index": 2,
"type": "double"
},
{
"index": 3,
"type": "string"
},
{
"index": 4,
"type": "date"
}
]
},
"name": "Reader",
"category": "reader"
},
{
"stepType": "stream",
"parameter": {},
"name": "Writer",
"category": "writer"
}
],
"setting": {
"errorLimit": {
"record": "0"
},
"speed": {
"concurrent": 1
}
},
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
}
}Reader腳本參數
參數 | 描述 | 是否必選 | 默認值 |
datasource | 數據源名稱。該名稱必須與數據源管理界面創建的HttpFile數據源名稱保持一致。 | 是 | 無 |
fileName | 文件路徑，當文件路徑包含特殊字符、中文時，需要輸入URL轉義后的值。 例如：特殊字符空格需轉義為%20。 文件路徑為： 本配置項輸入： 說明
| 是 | 無 |
bufferByteSizeInKB | 文件下載的緩沖大小，單位KB。 | 否 | 1024 |
requestMethod | 支持GET、POST和PUT。 | 否 | GET |
requestParam | 僅在requestMethod參數配置為GET時生效，當參數值包含特殊字符、中文時，參數值需要經過URL轉義。例如： 參數start的值為 本配置項輸入 說明 參數start是指在發起GET請求時，用于指定某個操作起始時間的參數。 | 否 | 無 |
requestBody | 請求內容。僅在requestMethod參數配置為POST或PUT時生效，還需要配合requestHeaders中的Content-Type使用，例如： | 否 | 無 |
requestHeaders | 請求頭，以鍵值對的方式填寫，例如： | 否 | |
fileFormat | 源頭文件類型。支持CSV、TEXT，兩種格式均支持自定義分隔符。 | 否 | 無 |
column | 讀取字段列表：
默認情況下，您可以全部按照String類型讀取數據，配置如下。 您可以指定column字段信息，配置如下。 說明 對于您指定的column信息，type必須填寫，index和value必須選擇其一，三者不能同時填寫。 | 是 | 全部按照STRING類型讀取。 |
fieldDelimiter | 讀取的字段分隔符。 說明 HttpFile Reader在讀取數據時，需要指定字段分割符，如果不指定默認為英文逗號（,），界面配置中也會默認填寫為（,）。 如果分隔符不可見，請填寫Unicode編碼。例如，\u001b、\u007c。 | 是 | , |
lineDelimiter | 讀取的行分隔符。 說明 當fileFormat取值為TEXT時，本參數有效。 | 否 | 無 |
compress | 文本壓縮類型，默認不填寫（即不壓縮）。支持壓縮類型為gzip、bzip2和zip。 | 否 | 不壓縮 |
encoding | 讀取文件的編碼配置。 | 否 | utf-8 |
nullFormat | 文本文件中無法使用標準字符串定義null（空指針），數據同步提供nullFormat定義哪些字符串可以表示為null。 例如：
| 否 | 無 |
skipHeader | 類CSV格式文件可能存在表頭為標題情況，同步數據時可選擇是否需要跳過表頭（即不同步表頭數據）。
壓縮文件模式下不支持skipHeader參數。常見的文件壓縮格式為gzip、bzip2和zip。 | 否 | false |
connectTimeoutSeconds （高級模式，向導模式不支持此參數的配置） | 建立HTTP連接的超時時間，單位秒，超過本配置項時，任務失敗。 | 否 | 60 |
socketTimeoutSeconds （高級模式，向導模式不支持此參數的配置） | HTTP連接失去響應，單位秒，前后報文傳輸間隔大于此配置項時，任務失敗。 | 否 | 3600 |
相關文檔
數據源配置，詳情請參見支持的數據源及同步方案。
數據源的權限管理，詳情請參見RAM角色授權模式。