日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Go大文件下載管理器

本文針對大文件的傳輸場景,介紹如何使用Go SDK V2新增的下載管理器Downloader模塊進行大文件下載。

注意事項

  • 本文示例代碼以華東1(杭州)的地域IDcn-hangzhou為例,默認使用外網(wǎng)Endpoint,如果您希望通過與OSS同地域的其他阿里云產(chǎn)品訪問OSS,請使用內(nèi)網(wǎng)Endpoint。關(guān)于OSS支持的RegionEndpoint的對應(yīng)關(guān)系,請參見OSS地域和訪問域名。

  • 本文以從環(huán)境變量讀取訪問憑證為例。如何配置訪問憑證,請參見配置訪問憑證。

  • 要進行大文件下載,您必須有oss:GetObject權(quán)限。具體操作,請參見RAM用戶授權(quán)自定義的權(quán)限策略。

方法定義

下載管理器功能簡介

Go SDK V2新增下載管理器Downloader提供了通用的下載接口,隱藏了底層接口的實現(xiàn)細節(jié),提供便捷的大文件下載能力。

  • 下載管理器Downloader底層利用范圍下載,把大文件自動分成多個較小的分片進行并發(fā)下載,提升下載的性能。

  • 下載管理器Downloader同時提供了斷點續(xù)傳的能力,即在下載過程中,記錄已完成的分片狀態(tài),如果出現(xiàn)網(wǎng)絡(luò)中斷、程序異常退出等問題導(dǎo)致文件下載失敗,甚至重試多次仍無法完成下載,再次下載時,可以通過斷點記錄文件恢復(fù)下載。

下載管理器Downloader的常用方法如下:

type Downloader struct {
  ...
}

// 用于創(chuàng)建新的下載管理器
func (c *Client) NewDownloader(optFns ...func(*DownloaderOptions)) *Downloader

// 用于下載大文件
func (d *Downloader) DownloadFile(ctx context.Context, request *GetObjectRequest, filePath string, optFns ...func(*DownloaderOptions)) (result *DownloadResult, err error)

請求參數(shù)列表

參數(shù)名

類型

說明

ctx

context.Context

請求的上下文,可以用來設(shè)置請求的總時限

request

*GetObjectRequest

設(shè)置具體接口的請求參數(shù),具體請參見GetObjectRequest

filePath

string

本地文件路徑

optFns

...func(*DownloaderOptions)

(可選)配置選項

其中,DownloaderOption常用參數(shù)說明列舉如下:

參數(shù)名

類型

說明

PartSize

int64

指定分片大小,默認值為 6MiB

ParallelNum

int

指定下載任務(wù)的并發(fā)數(shù),默認值為 3。針對的是單次調(diào)用的并發(fā)限制,而不是全局的并發(fā)限制

EnableCheckpoint

bool

是否記錄斷點下載信息,默認不記錄

CheckpointDir

string

指定記錄文件的保存路徑,例如 /local/dir/, 當EnableCheckpoint 為 true時有效

VerifyData

bool

恢復(fù)下載時,是否要校驗已下載數(shù)據(jù)的CRC64值,默認不校驗, 當EnableCheckpoint 為 true時有效

UseTempFile

bool

下載文件時,是否使用臨時文件,默認使用。先下載到 臨時文件上,當成功后,再重命名為目標文件

當使用NewDownloader實例化實例時,您可以指定多個配置選項來自定義對象的下載行為。也可以在每次調(diào)用下載接口時,指定多個配置選項來自定義每次下載對象的行為。

  • 設(shè)置Downloader的配置參數(shù):

    d := client.NewDownloader(func(do *oss.DownloaderOptions) {
      do.PartSize = 10 * 1024 * 1024
    })
  • 設(shè)置每次下載請求的配置參數(shù):

    request := &oss.GetObjectRequest{Bucket: oss.Ptr("bucket"), Key: oss.Ptr("key")}
    d.DownloadFile(context.TODO(), request, "/local/dir/example", func(do *oss.DownloaderOptions) {
      do.PartSize = 10 * 1024 * 1024
    })

示例代碼

您可以使用以下代碼將存儲空間中的文件下載到本地。

package main

import (
	"context"
	"flag"
	"log"

	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)

// 定義全局變量
var (
	region     string // 存儲區(qū)域
	bucketName string // 存儲空間名稱
	objectName string // 對象名稱
)

// init函數(shù)用于初始化命令行參數(shù)
func init() {
	flag.StringVar(&region, "region", "", "The region in which the bucket is located.")
	flag.StringVar(&bucketName, "bucket", "", "The name of the bucket.")
	flag.StringVar(&objectName, "src-object", "", "The name of the source object.")
}

func main() {
	// 解析命令行參數(shù)
	flag.Parse()

	// 檢查bucket名稱是否為空
	if len(bucketName) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, bucket name required")
	}

	// 檢查region是否為空
	if len(region) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, region required")
	}

	// 檢查源對象名稱是否為空
	if len(objectName) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, src object name required")
	}

	// 配置OSS客戶端
	cfg := oss.LoadDefaultConfig().
		WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
		WithRegion(region)

	// 創(chuàng)建OSS客戶端
	client := oss.NewClient(cfg)

	// 創(chuàng)建下載器
	d := client.NewDownloader()

	// 構(gòu)建獲取對象的請求
	request := &oss.GetObjectRequest{
		Bucket: oss.Ptr(bucketName), // 存儲空間名稱
		Key:    oss.Ptr(objectName), // 對象名稱
	}

	// 定義本地文件路徑
	localFile := "local-file"

	// 執(zhí)行下載文件的請求
	result, err := d.DownloadFile(context.TODO(), request, localFile)
	if err != nil {
		log.Fatalf("failed to download file %v", err)
	}

	// 打印下載成功的信息
	log.Printf("download file %s to local-file successfully, size: %d", objectName, result.Written)
}

常見使用場景

使用下載管理器設(shè)置分片大小和并發(fā)數(shù)

您可以使用以下代碼配置下載管理器的DownloaderOptions參數(shù),設(shè)置分片大小和并發(fā)數(shù)。

package main

import (
	"context"
	"flag"
	"log"

	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)

// 定義全局變量
var (
	region     string // 存儲區(qū)域
	bucketName string // 存儲空間名稱
	objectName string // 對象名稱
)

// init函數(shù)用于初始化命令行參數(shù)
func init() {
	flag.StringVar(&region, "region", "", "The region in which the bucket is located.")
	flag.StringVar(&bucketName, "bucket", "", "The name of the bucket.")
	flag.StringVar(&objectName, "src-object", "", "The name of the source object.")
}

func main() {
	// 解析命令行參數(shù)
	flag.Parse()

	// 檢查bucket名稱是否為空
	if len(bucketName) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, bucket name required")
	}

	// 檢查region是否為空
	if len(region) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, region required")
	}

	// 檢查源對象名稱是否為空
	if len(objectName) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, src object name required")
	}

	// 配置OSS客戶端
	cfg := oss.LoadDefaultConfig().
		WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
		WithRegion(region)

	// 創(chuàng)建OSS客戶端
	client := oss.NewClient(cfg)

	// 創(chuàng)建下載管理器
	d := client.NewDownloader()

	// 構(gòu)建獲取對象的請求
	request := &oss.GetObjectRequest{
		Bucket: oss.Ptr(bucketName), // 存儲空間名稱
		Key:    oss.Ptr(objectName), // 對象名稱
	}

	// 定義本地文件路徑
	localFile := "local-file"

	// 設(shè)置下載器的配置參數(shù)
	downloaderOptions := func(do *oss.DownloaderOptions) {
		do.PartSize = 20 * 1024 * 1024 // 指定分片大小為20MiB
		do.ParallelNum = 6            // 指定下載任務(wù)的并發(fā)數(shù)為6
	}

	// 執(zhí)行下載文件的請求
	result, err := d.DownloadFile(context.TODO(), request, localFile, downloaderOptions)
	if err != nil {
		log.Fatalf("failed to download file %v", err)
	}

	// 打印下載成功的信息
	log.Printf("download file %s to local-file successfully, size: %d", objectName, result.Written)
}

使用下載管理器啟動斷點續(xù)傳功能

您可以使用以下代碼配置下載管理器的DownloaderOptions參數(shù),啟動斷點續(xù)傳功能。

package main

import (
	"context"
	"flag"
	"log"

	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss"
	"github.com/aliyun/alibabacloud-oss-go-sdk-v2/oss/credentials"
)

// 定義全局變量
var (
	region     string // 存儲區(qū)域
	bucketName string // 存儲空間名稱
	objectName string // 對象名稱
)

// init函數(shù)用于初始化命令行參數(shù)
func init() {
	flag.StringVar(&region, "region", "", "The region in which the bucket is located.")
	flag.StringVar(&bucketName, "bucket", "", "The name of the bucket.")
	flag.StringVar(&objectName, "src-object", "", "The name of the source object.")
}

func main() {
	// 解析命令行參數(shù)
	flag.Parse()

	// 檢查bucket名稱是否為空
	if len(bucketName) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, bucket name required")
	}

	// 檢查region是否為空
	if len(region) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, region required")
	}

	// 檢查源對象名稱是否為空
	if len(objectName) == 0 {
		flag.PrintDefaults()
		log.Fatalf("invalid parameters, src object name required")
	}

	// 配置OSS客戶端
	cfg := oss.LoadDefaultConfig().
		WithCredentialsProvider(credentials.NewEnvironmentVariableCredentialsProvider()).
		WithRegion(region)

	// 創(chuàng)建OSS客戶端
	client := oss.NewClient(cfg)

	// 創(chuàng)建下載器
	d := client.NewDownloader()

	// 構(gòu)建獲取對象的請求
	request := &oss.GetObjectRequest{
		Bucket: oss.Ptr(bucketName), // 存儲空間名稱
		Key:    oss.Ptr(objectName), // 對象名稱
	}

	// 定義本地文件路徑
	localFile := "local-file"

	// 設(shè)置下載器選項
	downloaderOptions := func(do *oss.DownloaderOptions) {
		do.EnableCheckpoint = true        // 啟用記錄斷點下載信息
		do.CheckpointDir = "./checkpoint" // 指定斷點下載信息存儲的目錄
		do.UseTempFile = true             // 下載文件時使用臨時文件
	}

	// 執(zhí)行下載文件的請求
	result, err := d.DownloadFile(context.TODO(), request, localFile, downloaderOptions)
	if err != nil {
		log.Fatalf("failed to download file %v", err)
	}

	// 打印下載成功的信息
	log.Printf("download file %s to local-file successfully, size: %d", objectName, result.Written)
}

相關(guān)文檔