本文介紹如何使用Go SDK V2的UploadPartCopy方法,將源Bucket中的多個分片文件拷貝到同一地域下相同或不同目標Bucket中,然后合并成一個完整的文件對象。
注意事項
本文示例代碼以華東1(杭州)的地域ID
cn-hangzhou
為例,默認使用外網Endpoint,如果您希望通過與OSS同地域的其他阿里云產品訪問OSS,請使用內網Endpoint。關于OSS支持的Region與Endpoint的對應關系,請參見OSS地域和訪問域名。本文以從環境變量讀取訪問憑證為例。如何配置訪問憑證,請參見配置訪問憑證。
要進行拷貝文件,您必須擁有源文件的讀權限及目標Bucket的讀寫權限。
不支持跨地域拷貝。例如不能將華東1(杭州)地域存儲空間中的文件拷貝到華北1(青島)地域。
拷貝文件時,您需要確保源Bucket和目標Bucket均未設置合規保留策略,否則報錯The object you specified is immutable.。
方法定義
func (c *Client) UploadPartCopy(ctx context.Context, request *UploadPartCopyRequest, optFns ...func(*Options)) (*UploadPartCopyResult, error)
請求參數列表
參數名 | 類型 | 說明 |
ctx | context.Context | 請求的上下文,可以用來設置請求的總時限 |
request | *UploadPartCopyRequest | 設置具體接口的請求參數,具體請參見UploadPartCopyRequest |
optFns | ...func(*Options) | (可選)配置選項,具體請參見Options |
返回值列表
返回值名 | 類型 | 說明 |
result | *UploadPartCopyResult | 接口返回值,當 err 為nil 時有效,具體請參見UploadPartCopyResult |
err | error | 請求的狀態,當請求失敗時,err 不為 nil |
分片拷貝流程
分片拷貝分為以下三個步驟:
初始化一個分片上傳事件。
調用Client.InitiateMultipartUpload方法返回OSS創建的全局唯一的uploadID。
上傳分片。
調用Client.UploadPartCopy方法上傳分片數據。
說明對于同一個uploadID,分片號(partNumber)標識了該分片在整個文件內的相對位置。如果使用同一個分片號上傳了新的數據,那么OSS上該分片已有的數據將會被覆蓋。
OSS將收到的分片數據的MD5值放在ETag頭內返回給用戶。
OSS計算上傳數據的MD5值,并與SDK計算的MD5值比較,如果不一致則返回InvalidDigest錯誤碼。
完成分片上傳。
所有分片上傳完成后,調用Client.CompleteMultipartUpload方法將所有分片合并成完整的文件。
示例代碼
您可以使用以下代碼將多個分片文件從源存儲空間拷貝到目標存儲空間,然后合并成完整的文件對象。
package main
import (
"context"
"flag"
"log"
"sync"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)
// 定義全局變量
var (
region string // 存儲區域
srcBucketName string // 源存儲空間名稱
srcObjectName string // 源對象名稱
destBucketName string // 目標存儲空間名稱
destObjectName string // 目標對象名稱
)
// init函數用于初始化命令行參數
func init() {
flag.StringVar(®ion, "region", "", "The region in which the bucket is located.")
flag.StringVar(&srcBucketName, "src-bucket", "", "The name of the source bucket.")
flag.StringVar(&srcObjectName, "src-object", "", "The name of the source object.")
flag.StringVar(&destBucketName, "dest-bucket", "", "The name of the destination bucket.")
flag.StringVar(&destObjectName, "dest-object", "", "The name of the destination object.")
}
func main() {
// 解析命令行參數
flag.Parse()
// 定義上傳ID
var uploadId string
// 檢查源存儲空間名稱是否為空
if len(srcBucketName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, source bucket name required")
}
// 檢查存儲區域是否為空
if len(region) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, region required")
}
// 如果目標存儲空間名稱未指定,則使用源存儲空間名稱
if len(destBucketName) == 0 {
destBucketName = srcBucketName
}
// 檢查源對象名稱是否為空
if len(srcObjectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, source object name required")
}
// 檢查目標對象名稱是否為空
if len(destObjectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, destination object name required")
}
// 加載默認配置并設置憑證提供者和區域
cfg := oss.LoadDefaultConfig().
WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
WithRegion(region)
// 創建OSS客戶端
client := oss.NewClient(cfg)
// 初始化分片上傳請求
initRequest := &oss.InitiateMultipartUploadRequest{
Bucket: oss.Ptr(destBucketName),
Key: oss.Ptr(destObjectName),
}
initResult, err := client.InitiateMultipartUpload(context.TODO(), initRequest)
if err != nil {
log.Fatalf("failed to initiate multipart upload %v", err)
}
// 打印初始化分片上傳的結果
log.Printf("initiate multipart upload result:%#v\n", *initResult.UploadId)
uploadId = *initResult.UploadId
// 初始化等待組和互斥鎖
var wg sync.WaitGroup
var parts []oss.UploadPart
count := 3
var mu sync.Mutex
// 啟動多個goroutine進行分片上傳
for i := 0; i < count; i++ {
wg.Add(1)
go func(partNumber int, i int) {
defer wg.Done()
// 創建分片上傳請求
partRequest := &oss.UploadPartCopyRequest{
Bucket: oss.Ptr(destBucketName), // 目標存儲空間名稱
Key: oss.Ptr(destObjectName), // 目標對象名稱
SourceBucket: oss.Ptr(srcBucketName), // 源存儲空間名稱
SourceKey: oss.Ptr(srcObjectName), // 源對象名稱
PartNumber: int32(partNumber), // 分片編號
UploadId: oss.Ptr(uploadId), // 上傳ID
}
// 發送分片上傳請求
partResult, err := client.UploadPartCopy(context.TODO(), partRequest)
if err != nil {
log.Fatalf("failed to upload part copy %d: %v", partNumber, err)
}
// 記錄分片上傳結果
part := oss.UploadPart{
PartNumber: partRequest.PartNumber,
ETag: partResult.ETag,
}
// 使用互斥鎖保護共享數據
mu.Lock()
parts = append(parts, part)
mu.Unlock()
}(i+1, i)
}
// 等待所有goroutine完成
wg.Wait()
// 完成分片上傳請求
request := &oss.CompleteMultipartUploadRequest{
Bucket: oss.Ptr(destBucketName),
Key: oss.Ptr(destObjectName),
UploadId: oss.Ptr(uploadId),
CompleteMultipartUpload: &oss.CompleteMultipartUpload{
Parts: parts,
},
}
result, err := client.CompleteMultipartUpload(context.TODO(), request)
if err != nil {
log.Fatalf("failed to complete multipart upload %v", err)
}
// 打印完成分片上傳的結果
log.Printf("complete multipart upload result:%#v\n", result)
}
相關文檔
關于分片拷貝的完整示例代碼,請參見GitHub示例。
關于初始化分片上傳事件的API接口,請參見InitiateMultipartUpload。
關于分片拷貝上傳的API接口,請參見UploadPartCopy。
關于完成分片上傳的API接口,請參見CompleteMultipartUpload。