日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關鍵字查找
首頁 云原生大數據計算服務 MaxCompute 操作指南 數據傳輸與遷移 數據傳輸 上傳數據 數據傳輸服務（上傳）場景與工具

數據傳輸服務（上傳）場景與工具

更新時間：
產品詳情
我的收藏

本文為您介紹如何將數據上傳至MaxCompute或從MaxCompute下載數據，包括服務連接、SDK、工具和數據導入導出、上云等常見操作。

背景信息

MaxCompute提供了多種數據上傳下載的通道支持，方便您在各種場景下進行技術方案選型時參考。

  • 批量數據通道：支持批量上傳及下載數據場景。

  • 流式數據通道：提供了以流式的方式把數據寫入MaxCompute的能力。

  • 實時數據通道：DataHub是流式數據（Streaming Data）的處理平臺，提供對流式數據的發布（Publish）、訂閱（Subscribe）和分發功能，支持流式數據歸檔至MaxCompute。

功能介紹

  • 批量數據通道上傳

    使用批量數據通道上傳數據時，可以通過單個批量操作將數據上傳到MaxCompute中。例如上傳數據源可以是外部文件、外部數據庫、外部對象存儲或日志文件。MaxCompute中批量數據通道上傳包含如下方案。

    • Tunnel SDK：您可以通過Tunnel向MaxCompute中上傳數據。

    • 數據同步服務：您可以通過數據集成（DataWorks）任務，提取、轉換、加載（ETL）數據到MaxCompute。

    • 數據投遞：您可以通過DataHub、SLS、Kafka版服務的MaxCompute Sink Connector、Blink將數據投遞至MaxCompute。

    • 開源工具及插件：您可以通過Sqoop、Kettle、Flume、Fluentd插件、OGG、MMA將數據上傳至MaxCompute。

    • 產品工具：MaxCompute客戶端基于批量數據通道的SDK，實現了內置的Tunnel命令，可對數據進行上傳，Tunnel命令的使用請參見Tunnel命令。

    說明

    對于離線數據的同步，推薦您優先使用數據集成，詳情請參見數據集成概述。

  • 流式數據通道寫入

    MaxCompute流式數據通道服務提供了以流式的方式將數據寫入MaxCompute的能力，使用與原批量數據通道服務不同的一套全新的API及后端服務。流式數據寫入到MaxCompute的方案如下。

    • SDK接口：提供流式語義API，通過流式服務的API可以方便的開發出分布式數據同步服務。

    • 數據同步服務：您可以通過數據集成實時同步任務實現流式數據寫入（StreamX）。

    • 數據投遞：您可以通過已集成流式寫入API的數據投遞模式實現流式數據寫入。支持SLS、消息隊列Kafka版方式。

    • 數據采集：MaxCompute支持將開源Logstash收集的日志數據流式寫入MaxCompute。

    • Flink實時寫入：您可以通過Flink平臺對流式數據進行實時寫入。

解決方案的可靠性

MaxCompute具有服務等級協議（SLA），因批量數據通道、流式數據通道默認使用免費共享資源，您還需考慮實現特定方案的可靠性。Tunnel數據通道服務依照訪問的先后順序，分配服務可用資源（Slot）。

  • 當服務的剩余可用資源為0時，將拒絕任何新增訪問，直至可用資源得到釋放。

  • 5分鐘內未達到100個有效請求的情況，不計為服務不可用，有效請求參見數據傳輸服務有效狀態碼。

  • 請求延遲不包含在SLA保障范圍，限制請求不包含在SLA保障范圍，限制請求請參見數據傳輸服務使用限制。

說明

為滿足特定解決方案對資源申請的要求，已支持單獨資源購買服務，用以解決高資源使用需求。具體詳情，請參見購買與使用獨享數據傳輸服務資源組。

注意事項

網絡因素對Tunnel上傳下載速度的影響較大，正常情況下速度范圍為1 MB/s~10 MB/s。當上傳的數據量較大時，建議配置Tunnel Endpoint為云產品互聯網絡或VPC網絡相應的Tunnel Endpoint。云產品互聯網絡或VPC網絡需要通過阿里云ECS連通或者通過網絡專線開通。如果上傳數據速度太慢，可以考慮使用多線程上傳方式。

更多Tunnel Endpoint信息，請參見Endpoint。

相關文檔

關于數據傳輸服務詳情介紹，請參見數據傳輸服務概述。