數據在客戶端和服務器之間傳輸時有可能會出錯。OSS現在支持對各種方式上傳的Object返回其crc64值,客戶端可以和本地計算的crc64值做對比,從而完成數據完整性的驗證。
背景信息
OSS對新上傳的Object進行crc64的計算,并將結果作為Object的元數據存儲,隨后在返回的response header中增加x-oss-hash-crc64ecma
頭部,表示其crc64值,該64位CRC根據ECMA-182標準計算得出。
對于crc64上線之前就已經存在于OSS上的Object,OSS不會對其計算crc64值,所以獲取此類Object時不會返回其crc64值。
操作說明
PutObject、AppendObject、PostObject、MultipartUploadPart均會返回對應的crc64值,客戶端可以在上傳完成后拿到服務器返回的crc64值和本地計算的數值進行校驗。
MultipartComplete時,如果所有的Part都有crc64值,則會返回整個Object的crc64值;若某些Part沒有crc64值,則不返回整個Object的crc64值。例如某個Part在crc64上線之前就已經上傳,則不返回crc64值。
GetObject、HeadObject、GetObjectMeta都會返回對應的crc64值(如有)。客戶端可以在GetObject完成后,拿到服務器返回的crc64值和本地計算的數值進行校驗。
說明range get請求返回的將會是整個Object的crc64值。
Copy相關的操作,如CopyObject、UploadPartCopy,新生成的Object/Part不保證具有crc64值。
應用示例
以下為完整的Python示例代碼,演示如何基于crc64值驗證數據傳輸的完整性。
import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider
import crcmod
import random
import string
from oss2.models import PartInfo
# 從環境變量中獲取訪問憑證。運行本代碼示例之前,請確保已設置環境變量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
# 填寫Bucket所在地域對應的Endpoint。以華東1(杭州)為例,Endpoint填寫為https://oss-cn-hangzhou.aliyuncs.com。
# yourBucketName填寫存儲空間名稱。
bucket = oss2.Bucket(auth, 'https://oss-cn-hangzhou.aliyuncs.com', 'yourBucketName')
# 創建CRC64校驗函數。
do_crc64 = crcmod.mkCrcFun(0x142F0E1EBA9EA3693, initCrc=0, xorOut=0xffffffffffffffff, rev=True)
# 校驗CRC64和打印結果。
def check_crc64(local_crc64, oss_crc64, msg="check crc64"):
if local_crc64 != oss_crc64:
print("{0} check crc64 failed. local:{1}, oss:{2}.".format(msg, local_crc64, oss_crc64))
return False
else:
print("{0} check crc64 ok.".format(msg))
return True
# 生成指定長度的隨機字符串。
def random_string(length):
return ''.join(random.choice(string.ascii_lowercase) for i in range(length))
# 生成一個長度為1024的隨機字符串content。
content = random_string(1024)
# 設置文件的路徑。
key = 'normal-key'
# 驗證PutObject。
result = bucket.put_object(key, content)
oss_crc64 = result.headers.get('x-oss-hash-crc64ecma', '')
local_crc64 = str(do_crc64(oss2.to_bytes(content)))
check_crc64(local_crc64, oss_crc64, "put object")
# 驗證PutObject。
result = bucket.get_object(key)
oss_crc64 = result.headers.get('x-oss-hash-crc64ecma', '')
local_crc64 = str(do_crc64(result.resp.read()))
check_crc64(local_crc64, oss_crc64, "get object")
# 驗證UploadPart和Complete。
part_info_list = []
key = "multipart-key"
result = bucket.init_multipart_upload(key)
upload_id = result.upload_id
part_1 = random_string(1024 * 1024)
result = bucket.upload_part(key, upload_id, 1, part_1)
oss_crc64 = result.headers.get('x-oss-hash-crc64ecma', '')
local_crc64 = str(do_crc64(oss2.to_bytes(part_1)))
# 檢查上傳的part 1數據是否完整。
check_crc64(local_crc64, oss_crc64, "upload_part object 1")
part_info_list.append(PartInfo(1, result.etag, len(part_1)))
part_2 = random_string(1024 * 1024)
result = bucket.upload_part(key, upload_id, 2, part_2)
oss_crc64 = result.headers.get('x-oss-hash-crc64ecma', '')
local_crc64 = str(do_crc64(oss2.to_bytes(part_2)))
# 檢查上傳的part 2數據是否完整。
check_crc64(local_crc64, oss_crc64, "upload_part object 2")
part_info_list.append(PartInfo(2, result.etag, len(part_2)))
result = bucket.complete_multipart_upload(key, upload_id, part_info_list)
oss_crc64 = result.headers.get('x-oss-hash-crc64ecma', '')
local_crc64 = str(do_crc64(oss2.to_bytes(part_2), do_crc64(oss2.to_bytes(part_1))))
# 檢查最終oss上的object和本地文件是否一致。
check_crc64(local_crc64, oss_crc64, "complete object")
OSS SDK支持
部分OSS SDK已經支持上傳、下載使用crc64進行數據校驗,用法見下表中的示例。
SDK | 是否支持CRC | 示例 |
Java SDK | 是 | |
Python SDK | 是 | |
PHP SDK | 否 | 無 |
C# SDK | 否 | 無 |
C SDK | 是 | |
JavaScript SDK | 否 | 無 |
Go SDK | 是 | |
Ruby SDK | 否 | 無 |
iOS SDK | 是 | |
Android SDK | 是 |