91caoporen超碰公开观看,日韩无码国语对白,国语精品自产拍在线观看网站

Azure Blob Storage數(shù)據(jù)源為您提供讀取文件的能力，您可以使用本數(shù)據(jù)源，獲取Azure Blob Storage中存儲的文件，解析并同步至任意目標數(shù)據(jù)源。本文為您介紹DataWorks的Azure Blob Storage數(shù)據(jù)同步的能力支持情況。

使用限制

支持的字段類型

Azure Blob Stoage數(shù)據(jù)源，提供了以下數(shù)據(jù)類型。

數(shù)據(jù)類型	說明
STRING	文本類型。
LONG	整型。
BYTES	字節(jié)數(shù)組，將讀取到的文本內(nèi)容轉(zhuǎn)為UTF-8編碼的字節(jié)數(shù)組。
BOOL	布爾型。
DOUBLE	浮點型。
DATE	日期時間類型，支持以下日期時間格式： YYYY-MM-dd HH:mm:ss yyyy-MM-dd HH:mm:ss

創(chuàng)建數(shù)據(jù)源

在進行數(shù)據(jù)同步任務(wù)開發(fā)時，您需要在DataWorks上創(chuàng)建一個對應的數(shù)據(jù)源，操作流程請參見創(chuàng)建并管理數(shù)據(jù)源，詳細的配置參數(shù)解釋可在配置界面查看對應參數(shù)的文案提示。

數(shù)據(jù)同步任務(wù)開發(fā)

數(shù)據(jù)同步任務(wù)的配置入口和通用配置流程可參見下文的配置指導。

單表離線同步任務(wù)配置指導

操作流程請參見通過向?qū)Ｊ脚渲秒x線同步任務(wù)、通過腳本模式配置離線同步任務(wù)。
腳本模式配置的全量參數(shù)和腳本Demo，請參見下文附錄：腳本Demo與參數(shù)說明。

附錄：腳本Demo與參數(shù)說明

離線任務(wù)腳本配置方式

如果您配置離線任務(wù)時使用腳本模式的方式進行配置，您需要按照統(tǒng)一的腳本格式要求，在任務(wù)腳本中編寫相應的參數(shù)，詳情請參見通過腳本模式配置離線同步任務(wù)，以下為您介紹腳本模式下數(shù)據(jù)源的參數(shù)配置詳情。

Reader腳本Demo

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "azureblob",
      "parameter": {
        "datasource": "",
        "object": ["f/z/1.csv"],
        "fileFormat": "csv",
        "encoding": "utf8/gbk/...",
        "fieldDelimiter": ",",
        "useMultiCharDelimiter": true,
        "lineDelimiter": "\n",
        "skipHeader": true,
        "compress": "zip/gzip",
        "column": [
          {
            "index": 0,
            "type": "long"
          },
          {
            "index": 1,
            "type": "boolean"
          },
          {
            "index": 2,
            "type": "double"
          },
          {
            "index": 3,
            "type": "string"
          },
          {
            "index": 4,
            "type": "date"
          }
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Reader腳本參數(shù)

參數(shù)	描述	是否必選	默認值
datasource	數(shù)據(jù)源名稱，腳本模式支持添加數(shù)據(jù)源，該配置項填寫的內(nèi)容必須和添加的數(shù)據(jù)源名稱保持一致。	是	無
fileFormat	源頭文件類型。支持`csv`、`text`、`parquet`、`orc`。	是	無
object	文件路徑，當fileFormat取值為csv、text時使用。說明此參數(shù)支持``通配符，支持配置為數(shù)組。例如：您需要同步`a/b/1.csv`和`a/b/2.csv`兩個文件，可以配置為`a/b/.csv`。	是 fileFormat取值為csv、text時必填。	無
path	文件路徑，當fileFormat取值為parquet、orc時使用。說明此參數(shù)支持``通配符，支持配置為數(shù)組。例如：您需要同步`a/b/1.orc`和`a/b/2.orc`兩個文件，可以配置為`a/b/.orc`。	是 fileFormat取值為parquet、orc時必填。	無
column	讀取字段列表，type指定源數(shù)據(jù)的類型，index指定當前列來自于文本第幾列（以0開始），value指定當前類型為常量，不是從源頭文件讀取數(shù)據(jù)，而是根據(jù)value值自動生成對應的列。默認情況下，您可以全部按照String類型讀取數(shù)據(jù)，配置如下。 `column": ["*"]` 您可以指定column字段信息，配置如下。 `"column": { "type": "long", "index": 0 //從Azure Blob Storage文本第一列獲取int字段。 }, { "type": "string", "value": "alibaba" //從Azure Blob Storage Reader內(nèi)部生成alibaba的字符串字段作為當前字段。 }` 說明對于您指定的column信息，type必須填寫，index和value必須選擇其一。	是	全部按照STRING類型讀取。
fieldDelimiter	讀取的字段分隔符。說明 Azure Blob Storage Reader在讀取數(shù)據(jù)時，需要指定字段分割符，如果不指定，默認為（,），界面配置中也會默認填寫為（,）。如果分隔符不可見，請?zhí)顚慤nicode編碼。例如：`\u001b`、`\u007c`。	是	,
lineDelimiter	讀取的行分隔符。說明當fileFormat取值為text時，本參數(shù)有效。	否	無
compress	文本壓縮類型，默認不填寫（即不壓縮）。支持壓縮類型為`gzip`、`bzip2`和`zip`。	否	不壓縮
encoding	讀取文件的編碼配置。	否	utf-8
nullFormat	文本文件中無法使用標準字符串定義null（空指針），數(shù)據(jù)同步系統(tǒng)提供nullFormat定義哪些字符串可以表示為null。例如：配置`nullFormat:"null"`，等同于“可見字符”，如果源頭數(shù)據(jù)是null，則數(shù)據(jù)同步視作null字段。配置`nullFormat:"\u0001"`，等同于“不可見字符”，如果源頭數(shù)據(jù)是字符串"\u0001"，則數(shù)據(jù)同步視作null字段。不寫`"nullFormat"`這個參數(shù)，等同于“未配置”，代表來源是什么數(shù)據(jù)就直接按照什么數(shù)據(jù)寫入目標端，不做任何轉(zhuǎn)換。	否	無
skipHeader	CSV格式文件通過skipHeader配置是否讀取表頭內(nèi)容。 True：同步數(shù)據(jù)源的時候讀取表頭內(nèi)容。 False：同步數(shù)據(jù)源的時候不讀取表頭內(nèi)容。說明壓縮文件模式下不支持skipHeader。	否	false
parquetSchema	以Parquet文件格式讀取Azure Blob Storage時配置，當且僅當fileFormat為parquet時生效，具體表示parquet存儲的類型說明。您需要確保填寫parquetSchema后，整體配置符合JSON語法。 `message MessageType名 { 是否必填, 數(shù)據(jù)類型, 列名; ......................; }` parquetSchema的配置格式說明如下： MessageType名：填寫名稱。是否必填：required表示非空，optional表示可為空。推薦全填optional。數(shù)據(jù)類型：Parquet文件支持BOOLEAN、Int32、Int64、Int96、FLOAT、DOUBLE、BINARY（如果是字符串類型，請?zhí)頑INARY）和fixed_len_byte_array類型。每行列設(shè)置必須以分號結(jié)尾，最后一行也要寫上分號。配置示例如下所示。 `"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"`	否	無
csvReaderConfig	讀取CSV類型文件參數(shù)配置，Map類型。讀取CSV類型文件使用的CsvReader進行讀取，不配置則使用默認值。	否	無
maxRetryTimes	文件下載失敗時的最大重試次數(shù)。說明配置0表示關(guān)閉該功能。高級模式，向?qū)Ｊ讲恢С执藚?shù)的配置。	否	0
retryIntervalSeconds	文件下載失敗時重試間隔，單位秒。說明高級模式，向?qū)Ｊ讲恢С执藚?shù)的配置。	否	5

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区