OSS提供基于MD5和CRC64的數據校驗,確保上傳、下載和拷貝文件(Object)過程中的數據完整性。
注意事項
本文以華東1(杭州)外網Endpoint為例。如果您希望通過與OSS同地域的其他阿里云產品訪問OSS,請使用內網Endpoint。關于OSS支持的Region與Endpoint的對應關系,請參見OSS地域和訪問域名。
本文以從環境變量讀取訪問憑證為例。如何配置訪問憑證,請參見配置訪問憑證。
本文以OSS域名新建OSSClient為例。如果您希望通過自定義域名、STS等方式新建OSSClient,請參見初始化。
MD5校驗
如果上傳文件時設置了Content-MD5,OSS會根據接收的內容計算MD5。OSS計算的MD5值和上傳提供的MD5值不一致時,則返回InvalidDigest異常,從而保證數據的完整性。返回InvalidDigest異常后,您需要重新上傳文件。
上傳文件時進行MD5校驗:
# -*- coding: utf-8 -*-
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
# 從環境變量中獲取訪問憑證。運行本代碼示例之前,請確保已設置環境變量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())
# 填寫Bucket所在地域對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
endpoint = "https://oss-cn-hangzhou.aliyuncs.com"
# 填寫Endpoint對應的Region信息,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數
region = "cn-hangzhou"
# examplebucket填寫存儲空間名稱。
bucket = oss2.Bucket(auth, endpoint, "examplebucket", region=region)
# 填寫Object的完整路徑,完整路徑中不能包含Bucket名稱,例如exampledir/exampleobject.txt。
object_name = 'exampledir/exampleobject.txt'
# 填寫要上傳文件的本地路徑。在上傳時,該變量的值將作為上傳的內容傳輸到OSS。該文件沒有格式限制,可以是任何類型的文件內容,例如文本、圖片、視頻、音頻等。
with open('/Users/test/Desktop/demo.txt', 'rb') as file:
content = file.read()
# 根據實際內容計算上傳內容對應的MD5。
content_md5 = oss2.utils.content_md5(content)
print('content_md5', content_md5)
# 上傳請求中攜帶'Content-MD5'的header,服務器會校驗上傳內容的MD5,用于保證上傳內容的完整性和正確性。
headers = dict()
headers['Content-MD5'] = content_md5
bucket.put_object(object_name, content, headers=headers)
put_object、append_Object、post_Object、upload_part均支持MD5校驗。
CRC64校驗
使用CRC校驗數據時,有如下注意事項:
put_object、get_object、append_object、upload_part支持CRC64校驗。上傳文件時默認開啟CRC校驗,如果客戶端計算的CRC值與服務端返回的CRC值不一致, 則會拋出InconsistentError異常。
范圍下載不支持CRC64校驗。
CRC64校驗會占用一定的CPU,對上傳、下載速度均會有影響。
下載文件時CRC64校驗
以下代碼用于下載文件時進行CRC64數據完整性校驗:
# -*- coding: utf-8 -*- import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider # 從環境變量中獲取訪問憑證。運行本代碼示例之前,請確保已設置環境變量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。 auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider()) # 填寫Bucket所在地域對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。 endpoint = "https://oss-cn-hangzhou.aliyuncs.com" # 填寫Endpoint對應的Region信息,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數 region = "cn-hangzhou" # examplebucket填寫存儲空間名稱。 bucket = oss2.Bucket(auth, endpoint, "examplebucket", region=region) # 填寫Object的完整路徑。Object完整路徑中不能包含Bucket名稱。 object_name = 'yourObjectName' # 查看是否已默認開啟crc校驗。 print('bucket.enable-crc:', bucket.enable_crc) # bucket.get_object的返回值是一個類文件對象(File-Like Object),同時也是一個可迭代對象(Iterable)。 object_stream = bucket.get_object(object_name) print(object_stream.read()) # 由于get_object接口返回的是一個stream流,需要執行read()后才能計算出返回Object數據的CRC checksum,因此需要在調用該接口后做CRC校驗。 if object_stream.client_crc != object_stream.server_crc: print("The CRC checksum between client and server is inconsistent!")
追加上傳時CRC64校驗
追加上傳時,如果指定了init_crc參數,則默認開啟CRC64校驗。
# -*- coding: utf-8 -*- import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider # 從環境變量中獲取訪問憑證。運行本代碼示例之前,請確保已設置環境變量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。 auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider()) # 填寫Bucket所在地域對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。 endpoint = "https://oss-cn-hangzhou.aliyuncs.com" # 填寫Endpoint對應的Region信息,例如cn-hangzhou。注意,v4簽名下,必須填寫該參數 region = "cn-hangzhou" # examplebucket填寫存儲空間名稱。 bucket = oss2.Bucket(auth, endpoint, "examplebucket", region=region) object_name = "yourAppendObjectName" first_content = "yourFirstContent" second_content = "yourSecondContent" # 第一次追加上傳。 # 在指定了init_crc的情況下,SDK默認會對返回結果進行crc校驗。 result = bucket.append_object(object_name, 0, first_content, init_crc=0) # 第二次追加上傳。 # 指定init_crc為已上傳數據的crc。 result = bucket.append_object(object_name, result.next_position, second_content, init_crc=result.crc)
相關文檔
關于數據校驗的完整示例代碼,請參見GitHub示例。