使用ossutil 斷點文件續(xù)傳
在文件上傳和下載的過程中,我們經(jīng)常會遇到網(wǎng)絡(luò)不穩(wěn)定的情況,這可能導(dǎo)致文件傳輸中斷,給工作帶來極大的不便。ossutil 提供了斷點文件續(xù)傳功能,能夠很好地解決因網(wǎng)絡(luò)問題導(dǎo)致的傳輸中斷問題,確保文件能夠完整、高效地進行上傳和下載。本文將詳細(xì)為您介紹如何通過 ossutil 進行斷點文件續(xù)傳,幫助您在網(wǎng)絡(luò)狀況不佳的情況下,順利完成文件傳輸任務(wù)。
使用場景
在網(wǎng)絡(luò)情況差的環(huán)境中,上傳/下載過程中經(jīng)常出現(xiàn) ossutil 進程由于網(wǎng)絡(luò)原因中斷退出的情況,此時就需要用到斷點文件續(xù)傳功能來提升上傳/下載的效率,減少數(shù)據(jù)的重復(fù)上傳/下載 。
斷點文件續(xù)傳功能默認(rèn)關(guān)閉。
前提條件
斷點續(xù)傳機制
大型文件是通過分片上傳的,斷點續(xù)傳功能啟動后,會把文件的 OSS 名稱、大小,upload id 等信息保存在checkpoint dir文件夾下,文件擴展名為. ucp 的文件中。下次開始傳輸后,會從checkpoint dir文件中讀取并獲取 upload id,然后通過 upload id 查詢分片上傳的信息,再然后從未上傳的分片開始上傳。
斷點下載機制
大型文件是通過分片下載的,斷點下載功能啟動后,會把已下載的分片信息保存在checkpoint dir文件夾下。下次開始傳輸后,通過讀取保存在checkpoint dir文件夾下的下載信息繼續(xù)從未下載的分片開始下載。
參數(shù)
參數(shù) | 說明 |
--checkpoint-dir | 用于指定斷點續(xù)傳信息的存儲目錄。 |
示例
上傳單個文件
以下示例通過使用ossutil的cp命令將本地upload.rar文件上傳至bucket存儲空間中,開始上傳后會在 your-checkpoint-dir 目錄下生成一個 .ucp 文件存儲上傳進度信息。如果由于網(wǎng)絡(luò)斷開、磁盤讀寫異常等導(dǎo)致文件上傳中斷,您則可以通過執(zhí)行相同的命令從.ucp 文件中讀取信息,繼續(xù)上傳文件。
ossutil cp upload.rar oss://bucket --checkpoint-dir D:\\your-checkpoint-dir\
批量上傳文件
以下示例通過使用ossutil的cp命令將本地local_directory目錄下的文件批量上傳至bucket存儲空間中,其中-u參數(shù)指定了僅上傳源文件新于目標(biāo)文件,-r參數(shù)進行遞歸復(fù)制整個目錄及其所有子目錄和文件。開始上傳后會在 your-checkpoint-dir 目錄下生成一個 .ucp 文件存儲上傳進度信息。如果由于網(wǎng)絡(luò)斷開、磁盤讀寫異常等導(dǎo)致文件上傳中斷,您則可以通過執(zhí)行相同的命令,從.ucp 文件中讀取信息,繼續(xù)上傳。
ossutil cp -u -r local_directory oss://bucket --checkpoint-dir D:\\your-checkpoint-dir\