MaxCompute是阿里巴巴自研的一站式的快速、完全托管的TB/PB/EB級數(shù)據(jù)倉庫解決方案。本文將為您介紹MaxCompute相關(guān)的開源功能。

SDK

MaxCompute提供Java SDK和Python SDK接口實(shí)現(xiàn)創(chuàng)建、查看、刪除MaxCompute表等操作。通過SDK，您可以通過編輯代碼靈活地操作MaxCompute。MaxCompute提供的SDK如下：
  • Java SDK

    Java SDK使用說明請參見Java SDK介紹。

    服務(wù)支持方式：您可通過訪問官方文檔獲取支持。

  • Python SDK
    PyODPS是MaxCompute的Python版本的SDK，提供對MaxCompute對象的基本操作和DataFrame框架，讓您可以輕松地在MaxCompute上進(jìn)行數(shù)據(jù)分析。更多詳情請參見GitHub項(xiàng)目aliyun-odps-python-sdk和包括所有接口、類的細(xì)節(jié)等詳細(xì)內(nèi)容的PyODPS文檔。

    服務(wù)支持方式：您可通過訪問官方文檔獲取支持。

MaxCompute RODPS

MaxCompute R語言插件：RODPS。使用說明請參見GitHub ODPS Plugin for R。

服務(wù)支持方式：在GitHub ODPS Plugin for R中留言或新建Issue。

ODPS JDBC是MaxCompute官方提供的JDBC驅(qū)動，它向Java程序提供了一套執(zhí)行SQL任務(wù)的接口。項(xiàng)目托管在GitHub ODPS JDBC。

服務(wù)支持方式：在GitHub ODPS JDBC中留言或新建Issue。

Mars

Mars是一個(gè)基于張量的統(tǒng)一分布式計(jì)算框架。使用Mars進(jìn)行科學(xué)計(jì)算，不僅使大規(guī)模科學(xué)計(jì)算任務(wù)的實(shí)現(xiàn)從MapReduce上的數(shù)千行代碼降低到Mars上的數(shù)行代碼，更在性能上有大幅提升。

Mars已經(jīng)在Github上開源代碼，您可以一起參與共建Mars。詳情請參見GitHub開源代碼Mars 。

關(guān)于Mars的更多說明信息請參見Mars開發(fā)指南。

服務(wù)支持方式：在Github Mars中留言或新建Issue。

Data collector

MaxCompute數(shù)據(jù)集成工具插件，包括Flume、OGG、Kettle、Sqoop、Hive 。

Data Collector是MaxCompute主要開源數(shù)據(jù)采集工具的集合，包括：
  • Flume插件
  • OGG插件
  • Sqoop
  • Kettle插件
  • Hive Data Transfer UDTF

    Flume和OGG插件是基于DataHub的SDK實(shí)現(xiàn)，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK實(shí)現(xiàn)。DataHub和Tunnel分別是MaxCompute系統(tǒng)的實(shí)時(shí)和批量數(shù)據(jù)通道。Flume插件和OGG插件面向于實(shí)時(shí)數(shù)據(jù)傳輸，而Sqoop、Kettle和Hive Data Transfer UDTF則適合用于離線批量的數(shù)據(jù)傳輸。

源代碼請參見GitHub Aliyun MaxCompute Data Collectors。插件說明請參見wiki。

服務(wù)支持方式：在GitHub Aliyun MaxCompute Data Collectors中留言或新建Issue。