遷移方式

說明

相關(guān)文檔

在線遷移

使用在線遷移服務(wù)，您可以將第三方數(shù)據(jù)輕松遷移至阿里云對象存儲OSS。遷移時無需搭建遷移環(huán)境，可在線提交遷移任務(wù)并隨時監(jiān)控遷移過程。

• 第三方數(shù)據(jù)源遷移到OSS

• 從Amazon S3上的應(yīng)用無縫切換至OSS

ossimport

適用于各類數(shù)據(jù)源的歷史數(shù)據(jù)批量遷移到OSS，包括本地、七牛、百度BOS、Amazon S3、Azure Blob、又拍云、騰訊云COS、金山KS3、HTTP、OSS等，并可根據(jù)需要擴展。

使用ossimport遷移數(shù)據(jù)

ossutil

適用于各類數(shù)據(jù)源的歷史數(shù)據(jù)批量遷移到OSS。

ossutil

鏡像回源

適用于客戶源站無縫遷移數(shù)據(jù)到OSS。即服務(wù)已在源站或者在其他云產(chǎn)品上運行，需遷移到OSS，但又不能停止服務(wù)。在ossimport完成歷史數(shù)據(jù)遷移且業(yè)務(wù)切換到OSS后，當(dāng)訪問的數(shù)據(jù)不在OSS，會觸發(fā)鏡像回源到源站抓取，并下載到OSS中。

例如某服務(wù)已經(jīng)在您建立的源站或者在其他云產(chǎn)品上運行。現(xiàn)因業(yè)務(wù)發(fā)展，需要將服務(wù)遷移至OSS，遷移時需保證服務(wù)的正常運行。您可以在遷移過程中使用鏡像回源規(guī)則獲取未遷移至OSS的部分?jǐn)?shù)據(jù)，保證服務(wù)的正常運行。

回源

數(shù)據(jù)復(fù)制

通過OSS數(shù)據(jù)復(fù)制功能，實現(xiàn)同賬號、跨賬號下的相同或不同地域的數(shù)據(jù)復(fù)制。

• 跨區(qū)域復(fù)制

• 同區(qū)域復(fù)制

離線遷移（閃電立方）

適用于線下數(shù)據(jù)中心大規(guī)模數(shù)據(jù)遷移上云，支持TB到PB級別數(shù)據(jù)上云，可通過離線遷移服務(wù)將數(shù)據(jù)遷移至阿里云OSS。

什么是離線遷移（閃電立方）

OSS API或SDK

使用OSS API或SDK編寫代碼實現(xiàn)數(shù)據(jù)上云，適用于有特性需求，且具有較強開發(fā)能力的用戶。

• OSS API

• OSS SDK

OSS外部表（gpossext功能）

云原生數(shù)據(jù)倉庫AnalyticDB PostgreSQL版支持通過OSS外部表（gpossext功能），將數(shù)據(jù)導(dǎo)入或?qū)С霭⒗镌茖ο蟠鎯SS。

• 將數(shù)據(jù)并行從OSS導(dǎo)入到AnalyticDB PostgreSQL

• 將數(shù)據(jù)并行導(dǎo)出到OSS

阿里云Jindo DistCp

阿里云Jindo DistCp（分布式文件拷貝工具）用于大規(guī)模集群內(nèi)部或集群之間拷貝文件。Jindo DistCp使用MapReduce實現(xiàn)文件分發(fā)，錯誤處理和恢復(fù)，把文件和目錄的列表作為MapReduce任務(wù)的輸入，每個任務(wù)會完成源列表中部分文件的拷貝。

遷移HDFS數(shù)據(jù)到OSS

遷移方式

說明

相關(guān)文檔

阿里云Jindo DistCp

阿里云Jindo DistCp（分布式文件拷貝工具）用于大規(guī)模集群內(nèi)部或集群之間拷貝文件。Jindo DistCp使用MapReduce實現(xiàn)文件分發(fā)，錯誤處理和恢復(fù)，把文件和目錄的列表作為MapReduce任務(wù)的輸入，每個任務(wù)會完成源列表中部分文件的拷貝。

• 遷移HDFS數(shù)據(jù)到OSS-HDFS

• 遷移OSS-HDFS服務(wù)不同Bucket之間的數(shù)據(jù)

JindoDistJob工具

JindoDistJob工具支持半托管JindoFS全量和增量遷移文件元數(shù)據(jù)，支持您在不遷移數(shù)據(jù)塊的同時平穩(wěn)切換到JindoFS服務(wù)化的方案上。

遷移半托管JindoFS集群數(shù)據(jù)到OSS-HDFS服務(wù)

JindoTable MoveTo命令

MoveTo命令可以在拷貝底層數(shù)據(jù)結(jié)束后，自動更新元數(shù)據(jù)，使表和分區(qū)的數(shù)據(jù)完整地遷移到新路徑；可以通過條件篩選，一次拷貝大量分區(qū)。在數(shù)據(jù)遷移過程中，還使用了多種措施保護數(shù)據(jù)的完整性，確保數(shù)據(jù)安全。

遷移Hive表和分區(qū)數(shù)據(jù)到OSS-HDFS服務(wù)