Go大文件下載管理器
本文針對大文件的傳輸場景,介紹如何使用Go SDK V2新增的下載管理器Downloader模塊進行大文件下載。
注意事項
本文示例代碼以華東1(杭州)的地域ID
cn-hangzhou
為例,默認使用外網(wǎng)Endpoint,如果您希望通過與OSS同地域的其他阿里云產(chǎn)品訪問OSS,請使用內(nèi)網(wǎng)Endpoint。關(guān)于OSS支持的Region與Endpoint的對應(yīng)關(guān)系,請參見OSS地域和訪問域名。本文以從環(huán)境變量讀取訪問憑證為例。如何配置訪問憑證,請參見配置訪問憑證。
要進行大文件下載,您必須有
oss:GetObject
權(quán)限。具體操作,請參見為RAM用戶授權(quán)自定義的權(quán)限策略。
方法定義
下載管理器功能簡介
Go SDK V2新增下載管理器Downloader提供了通用的下載接口,隱藏了底層接口的實現(xiàn)細節(jié),提供便捷的大文件下載能力。
下載管理器Downloader底層利用范圍下載,把大文件自動分成多個較小的分片進行并發(fā)下載,提升下載的性能。
下載管理器Downloader同時提供了斷點續(xù)傳的能力,即在下載過程中,記錄已完成的分片狀態(tài),如果出現(xiàn)網(wǎng)絡(luò)中斷、程序異常退出等問題導(dǎo)致文件下載失敗,甚至重試多次仍無法完成下載,再次下載時,可以通過斷點記錄文件恢復(fù)下載。
下載管理器Downloader的常用方法如下:
type Downloader struct {
...
}
// 用于創(chuàng)建新的下載管理器
func (c *Client) NewDownloader(optFns ...func(*DownloaderOptions)) *Downloader
// 用于下載大文件
func (d *Downloader) DownloadFile(ctx context.Context, request *GetObjectRequest, filePath string, optFns ...func(*DownloaderOptions)) (result *DownloadResult, err error)
請求參數(shù)列表
參數(shù)名 | 類型 | 說明 |
ctx | context.Context | 請求的上下文,可以用來設(shè)置請求的總時限 |
request | *GetObjectRequest | 設(shè)置具體接口的請求參數(shù),具體請參見GetObjectRequest |
filePath | string | 本地文件路徑 |
optFns | ...func(*DownloaderOptions) | (可選)配置選項 |
其中,DownloaderOption常用參數(shù)說明列舉如下:
參數(shù)名 | 類型 | 說明 |
PartSize | int64 | 指定分片大小,默認值為 6MiB |
ParallelNum | int | 指定下載任務(wù)的并發(fā)數(shù),默認值為 3。針對的是單次調(diào)用的并發(fā)限制,而不是全局的并發(fā)限制 |
EnableCheckpoint | bool | 是否記錄斷點下載信息,默認不記錄 |
CheckpointDir | string | 指定記錄文件的保存路徑,例如 /local/dir/, 當EnableCheckpoint 為 true時有效 |
VerifyData | bool | 恢復(fù)下載時,是否要校驗已下載數(shù)據(jù)的CRC64值,默認不校驗, 當EnableCheckpoint 為 true時有效 |
UseTempFile | bool | 下載文件時,是否使用臨時文件,默認使用。先下載到 臨時文件上,當成功后,再重命名為目標文件 |
當使用NewDownloader實例化實例時,您可以指定多個配置選項來自定義對象的下載行為。也可以在每次調(diào)用下載接口時,指定多個配置選項來自定義每次下載對象的行為。
設(shè)置Downloader的配置參數(shù):
d := client.NewDownloader(func(do *oss.DownloaderOptions) { do.PartSize = 10 * 1024 * 1024 })
設(shè)置每次下載請求的配置參數(shù):
request := &oss.GetObjectRequest{Bucket: oss.Ptr("bucket"), Key: oss.Ptr("key")} d.DownloadFile(context.TODO(), request, "/local/dir/example", func(do *oss.DownloaderOptions) { do.PartSize = 10 * 1024 * 1024 })
示例代碼
您可以使用以下代碼將存儲空間中的文件下載到本地。
package main
import (
"context"
"flag"
"log"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)
// 定義全局變量
var (
region string // 存儲區(qū)域
bucketName string // 存儲空間名稱
objectName string // 對象名稱
)
// init函數(shù)用于初始化命令行參數(shù)
func init() {
flag.StringVar(®ion, "region", "", "The region in which the bucket is located.")
flag.StringVar(&bucketName, "bucket", "", "The name of the bucket.")
flag.StringVar(&objectName, "src-object", "", "The name of the source object.")
}
func main() {
// 解析命令行參數(shù)
flag.Parse()
// 檢查bucket名稱是否為空
if len(bucketName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, bucket name required")
}
// 檢查region是否為空
if len(region) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, region required")
}
// 檢查源對象名稱是否為空
if len(objectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, src object name required")
}
// 配置OSS客戶端
cfg := oss.LoadDefaultConfig().
WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
WithRegion(region)
// 創(chuàng)建OSS客戶端
client := oss.NewClient(cfg)
// 創(chuàng)建下載器
d := client.NewDownloader()
// 構(gòu)建獲取對象的請求
request := &oss.GetObjectRequest{
Bucket: oss.Ptr(bucketName), // 存儲空間名稱
Key: oss.Ptr(objectName), // 對象名稱
}
// 定義本地文件路徑
localFile := "local-file"
// 執(zhí)行下載文件的請求
result, err := d.DownloadFile(context.TODO(), request, localFile)
if err != nil {
log.Fatalf("failed to download file %v", err)
}
// 打印下載成功的信息
log.Printf("download file %s to local-file successfully, size: %d", objectName, result.Written)
}
常見使用場景
使用下載管理器設(shè)置分片大小和并發(fā)數(shù)
您可以使用以下代碼配置下載管理器的DownloaderOptions參數(shù),設(shè)置分片大小和并發(fā)數(shù)。
package main
import (
"context"
"flag"
"log"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)
// 定義全局變量
var (
region string // 存儲區(qū)域
bucketName string // 存儲空間名稱
objectName string // 對象名稱
)
// init函數(shù)用于初始化命令行參數(shù)
func init() {
flag.StringVar(®ion, "region", "", "The region in which the bucket is located.")
flag.StringVar(&bucketName, "bucket", "", "The name of the bucket.")
flag.StringVar(&objectName, "src-object", "", "The name of the source object.")
}
func main() {
// 解析命令行參數(shù)
flag.Parse()
// 檢查bucket名稱是否為空
if len(bucketName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, bucket name required")
}
// 檢查region是否為空
if len(region) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, region required")
}
// 檢查源對象名稱是否為空
if len(objectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, src object name required")
}
// 配置OSS客戶端
cfg := oss.LoadDefaultConfig().
WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
WithRegion(region)
// 創(chuàng)建OSS客戶端
client := oss.NewClient(cfg)
// 創(chuàng)建下載管理器
d := client.NewDownloader()
// 構(gòu)建獲取對象的請求
request := &oss.GetObjectRequest{
Bucket: oss.Ptr(bucketName), // 存儲空間名稱
Key: oss.Ptr(objectName), // 對象名稱
}
// 定義本地文件路徑
localFile := "local-file"
// 設(shè)置下載器的配置參數(shù)
downloaderOptions := func(do *oss.DownloaderOptions) {
do.PartSize = 20 * 1024 * 1024 // 指定分片大小為20MiB
do.ParallelNum = 6 // 指定下載任務(wù)的并發(fā)數(shù)為6
}
// 執(zhí)行下載文件的請求
result, err := d.DownloadFile(context.TODO(), request, localFile, downloaderOptions)
if err != nil {
log.Fatalf("failed to download file %v", err)
}
// 打印下載成功的信息
log.Printf("download file %s to local-file successfully, size: %d", objectName, result.Written)
}
使用下載管理器啟動斷點續(xù)傳功能
您可以使用以下代碼配置下載管理器的DownloaderOptions參數(shù),啟動斷點續(xù)傳功能。
package main
import (
"context"
"flag"
"log"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)
// 定義全局變量
var (
region string // 存儲區(qū)域
bucketName string // 存儲空間名稱
objectName string // 對象名稱
)
// init函數(shù)用于初始化命令行參數(shù)
func init() {
flag.StringVar(®ion, "region", "", "The region in which the bucket is located.")
flag.StringVar(&bucketName, "bucket", "", "The name of the bucket.")
flag.StringVar(&objectName, "src-object", "", "The name of the source object.")
}
func main() {
// 解析命令行參數(shù)
flag.Parse()
// 檢查bucket名稱是否為空
if len(bucketName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, bucket name required")
}
// 檢查region是否為空
if len(region) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, region required")
}
// 檢查源對象名稱是否為空
if len(objectName) == 0 {
flag.PrintDefaults()
log.Fatalf("invalid parameters, src object name required")
}
// 配置OSS客戶端
cfg := oss.LoadDefaultConfig().
WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
WithRegion(region)
// 創(chuàng)建OSS客戶端
client := oss.NewClient(cfg)
// 創(chuàng)建下載器
d := client.NewDownloader()
// 構(gòu)建獲取對象的請求
request := &oss.GetObjectRequest{
Bucket: oss.Ptr(bucketName), // 存儲空間名稱
Key: oss.Ptr(objectName), // 對象名稱
}
// 定義本地文件路徑
localFile := "local-file"
// 設(shè)置下載器選項
downloaderOptions := func(do *oss.DownloaderOptions) {
do.EnableCheckpoint = true // 啟用記錄斷點下載信息
do.CheckpointDir = "./checkpoint" // 指定斷點下載信息存儲的目錄
do.UseTempFile = true // 下載文件時使用臨時文件
}
// 執(zhí)行下載文件的請求
result, err := d.DownloadFile(context.TODO(), request, localFile, downloaderOptions)
if err != nil {
log.Fatalf("failed to download file %v", err)
}
// 打印下載成功的信息
log.Printf("download file %s to local-file successfully, size: %d", objectName, result.Written)
}
相關(guān)文檔
關(guān)于下載管理器的更多信息,請參見開發(fā)者指南。
關(guān)于大文件下載的API接口,請參見DownloadFile。