日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關鍵字查找
首頁 開源大數據平臺 E-MapReduce EMR on ECS 操作指南 舊版文檔 SDK參考（即將停止維護） SDK概述

SDK概述

更新時間：
產品詳情
我的收藏

E-MapReduce各版本SDK的發布說明。

說明

  • emr-oss：支持Hadoop、Spark與OSS數據源的交互，默認已經存在集群的運行環境中，作業打包時不需要將emr-oss打進去。

  • emr-tablestore：支持Hadoop、Hive、Spark與TableStore數據源的交互，使用時需要打進作業JAR包。

  • emr-mns_2.11：支持Spark讀MNS數據源，使用時需要打進作業JAR包。

  • emr-ons_2.11：支持Spark讀ONS數據源，使用時需要打進作業JAR包。

  • emr-logservice_2.11：支持Spark讀LogService數據源，使用時需要打進作業JAR包。

  • emr-maxcompute_2.11：支持Spark讀寫MaxCompute數據源，使用時需要打進作業JAR包。

  • emr-datahub_2.11：支持Spark讀寫DataHub數據源，使用時需要打進作業JAR包。

    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-oss</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-tablestore</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-mns_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-logservice_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-maxcompute_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-ons_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-datahub_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>

版本

變更點

v1.9.0

  • 支持同時從不同Region讀取DataHub數據。

  • Tablestore數據源實現優化重構。

  • Spark Structured Streaming支持Kudu數據源。

  • Loghub數據源支持部分參數動態調整。

v1.8.0

  • 新增DataHub DSv2。

  • Spark Structured Streaming支持Tablestore數據源。

  • Spark Streaming SQL適配Tablestore數據源。

  • 優化Loghub數據源服務異常重試時間不超過5分鐘。

  • Loghub服務請求加上user agent信息。

  • 更新部分依賴到最新版本。

  • 修復Tablestore數據格式轉換錯誤問題。

  • 修復DataHub數據源在作業Failover時重試offset錯誤的問題。

v1.7.0

  • Spark Structured Streaming支持DataHub數據源。

  • Spark Structured Streaming支持JDBC數據源。

  • Spark Structured Streaming支持HBase數據源。

  • 支持數據寫入Loghub數據源。

  • Spark Structured Streaming支持寫入Druid數據源。

  • 優化Loghub數據的類型轉換。

  • 對Loghub數據源出現的幾種服務端錯誤進行重試。

  • Loghub數據源offset計算邏輯重構，減少額外計算和存儲開銷。

  • 修復讀取DataHub無數據時出現NPE問題。

v1.6.0

  • 新增Spark Streaming SQL測試工具。

  • Spark Streaming SQL適配Loghub數據源。

  • 新增DataHub數據源direct api實現。

  • Loghub python接口支持direct api。

  • 修復Insert數據到tablestore失敗的問題。

v1.5.0

  • Spark Structured Streaming 支持LogService數據源。

  • 修復loghub direct api中更新checkpoint比較耗時的問題。

  • 修復LoghubRDD中的分區Index錯誤問題。

  • 修復Direct Loghub DStream沒有包含tag信息的問題。

  • 修復Direct Loghub DStream不支持從指定Offset消費的問題。

  • 修復MaxCompute String類型轉換錯誤的問題。

  • 修復LoghubRDD中endtime錯誤的問題。

v1.4.1

  • MaxCompute：修復datetime類型時間截斷的問題。

  • MaxCompute：修復SimpleDateFormat的線程安全問題。

v1.4.0

  • MaxCompute：新增datasource的實現方式（只支持Spark 2.x以上版本）。

  • LogService：新增Direct API的實現方式 （只支持Spark 2.x以上版本）。

  • OTS：一些讀寫的優化。

  • 修復讀取LogService數據源時，用戶AK被替換成集群應用角色AK的BUG。

v1.3.2

修復OTS的一些BUG。

v1.3.1

  • 修復Spark+LogService部分場景下拋空指針問題。

  • 從這個版本開始，SDK支持Spark 2.x環境。

v1.3.0

  • Hadoop、MR、Spark、SparkSQL和Hive讀取OTS數據。

  • MNS和LogService支持E-MapReduce的MetaService功能，支持在E-MapReduce環境下免AccessKey訪問MNS和LogService數據。

  • 升級部分依賴包版本。

v1.1.3.1

  • 解決MNS與Spark或Hadoop包的依賴沖突問題。

  • 解決Spark Streaming + MNS某些場景下拋空指針問題。

  • 解決python sdk的部分BUG。

  • Spark Streaming + Loghub支持自定義時間位置的功能。

  • 解決Hadoop無法支持原生Snappy文件問題。目前E-MapReduce支持處理LogService以Snappy格式歸檔到OSS的文件。

  • 解決Spark無法支持Snappy壓縮文件的問題。

  • 解決OSS不支持Hadoop 2.7.2、OutputCommitter兩種算法的問題。

  • 改善Hadoop和Spark讀寫OSS的性能。

  • 解決Spark作業打印的Log4j異常輸出的問題。

v1.1.2

  • 解決作業慢讀寫OSS出現的ConnectionClosedException問題。

  • 解決添加OSS數據源時部分hadoop命令不可用問題。

  • 解決“java.text.ParseException: Unparseable date”問題。

  • 優化emr-core支持本地調試運行。

  • 兼容老版本的產生的“_$folder$”文件，解釋成目錄，不再當作普通文件處理。

  • Hadoop和Spark讀寫OSS增加失敗重試機制。

v1.1.1

  • 解決本地寫OSS臨時文件時導致多磁盤使用不均衡的問題。

  • 去除作業執行過程中創建OSS目錄時同時創建的$_folder$標記文件。

v1.1.0

  • 升級LogHub SDK到0.6.2，廢棄Client DB模式，使用Server DB模式。

  • 升級OSS SDK到2.2.0，修復OSS SDK BUG導致的運行異常。

  • 新增對MNS的支持。

  • 兼容性（對于1.0.x系列SDK）

    • 接口：兼容。

    • 命名空間：不兼容，調整包結構，將包名稱com.aliyun更換為com.aliyun.emr。

  • 修改項目的groupId，從com.aliyun改為com.aliyun.emr。修改后的POM依賴為： 

    <dependency>
      <groupId>com.aliyun.emr</groupId>
      <artifactId>emr-sdk_2.10</artifactId>
      <version>1.1.3.1</version>
  </dependency>

v1.0.5

  • 優化LoghubUtils接口，優化參數輸入。

  • 優化LogStore數據的輸出格式，增加topic和source兩個字段。

  • 增加LogStore數據拉取的時間間隔參數配置。參數spark.logservice.fetch.interval.millis，默認值200毫秒。

  • 更新依賴MaxCompute SDK版本到0.20.7-public。

v1.0.4

  • 將guava的依賴版本降為11.0.2，避免和Hadoop中的guava版本沖突。

  • 計算任務支持數據超過5 GB的文件大小。

v1.0.3

增加OSS Client相關的配置參數。

v1.0.2

修復OSS URI解析的缺陷。

v1.0.1

  • 優化OSS URI設置。

  • 增加對ONS的支持。

  • 增加LogService的支持。

  • 支持OSS的追加寫特性。

  • 支持以multi part方式上傳OSS數據。

  • 支持以upload part copy方式拷貝OSS數據。