云存儲網關CSG(Cloud Storage Gateway)是一款可以部署在用戶本地數據中心和阿里云上的網關產品。它以阿里云對象存儲OSS為后端存儲,為云上和云下應用提供業界標準的文件服務(NFS和SMB)和塊存儲服務(iSCSI)。
- 文件網關
文件網關將OSS Bucket的對象結構與NAS文件系統的目錄和文件建立映射關系,您通過標準的NFS和SMB協議即可讀寫指定OSS Bucket里的對象。同時,文件網關利用本地存儲空間作為熱數據緩存,在提供OSS Bucket海量空間的同時,保障了數據訪問的高性能。文件網關還高度兼容POSIX和第三方備份軟件。如果是小文件的備份和共享讀寫場景,推薦使用標準型或基礎型文件網關;如果對性能有一定要求或者有多個客戶端同時訪問數據,推薦使用增強型或性能型文件網關。
- 塊網關
塊網關在OSS中創建存儲卷,提供Internet小型計算機系統接口(iSCSI)協議訪問。本地應用程序可將這些卷作為iSCSI目標進行訪問。塊網關提供兩種模式:透傳模式和緩存模式。透傳模式可以將塊卷數據切片同步上云,適用于專線等高速鏈路客戶;緩存模式提供本地緩存盤進行讀寫加速,緩存數據異步上云,適用于期望本地快速訪問但是上云鏈路慢的客戶。
適用場景
- 云存儲擴容和遷移
集成智能緩存算法,自動識別冷熱數據,將熱數據保留在本地緩存,保證數據訪問體驗,無感知的將海量云存儲數據接入本地數據中心,拓展存儲空間。同時在云端保留全量數據,保證數據的一致性。
- 云容災
隨著云計算的普及,越來越多的用戶把自己的業務放到了云上。但是隨著業務的發展,如何提高業務的可靠性和連續性,跨云容災是一個比較熱門的話題。借助云存儲網關對虛擬化的全面支持,可以輕松應對各種第三方云廠商對接阿里云的數據容災。
- 多地數據共享和分發
通過多個異地部署的文件網關實例,對接同一個阿里云OSS Bucket,可以實現快速的異地文件共享和分發,非常適合多個分支機構之間互相同步和共享數據。
- 適配傳統應用
有很多用戶在云上的業務是新老業務的結合,老業務是從數據中心遷移過來的,使用的是標準的存儲協議,例如:NFS/SMB/iSCSI。新的應用往往采用比較新的技術,支持對象訪問的協議。如何溝通兩種業務之間的數據是一個比較麻煩的事情,云存儲網關可以起到一個橋梁的作用,便捷的溝通新舊業務,進行數據交換。
- 替代ossfs和ossftp
ossfs和ossftp都是基于文件協議的開源工具,您可以通過它們直接上傳文件到OSS。但是這兩個開源文件都不支持在生產環境使用(POSIX兼容度低),同時掛載在用戶的客戶端需要額外的配置和緩存資源,在多個客戶端的情況下安裝配置繁瑣。通過文件網關的服務可以替代ossfs和ossftp。通過創建文件網關,您只需要執行簡單的掛載(NFS)和映射(Windows SMB)就可以像使用本地文件系統一樣使用OSS。
性能
作為應用與OSS之間的云存儲網關,其性能取決于多個因素,包括您本地磁盤的速度和配置、iSCSI啟動器與網關之間的網絡帶寬、分配給網關虛擬機的本地存儲量、網關虛擬機與OSS之間的帶寬等。對于網關緩存,要提供對本地應用的低延遲讀取訪問,必須提供足夠的本地緩存容量來存儲最近訪問的數據。文件共享的緩存區估算公式為:本地建議緩存容量=(應用帶寬(MB/s)-網關后端帶寬(MB/s))×寫入時長(s)×1.2。如果您需要獲得較好的本地訪問性能,可以先預估總的熱數據容量,取總的熱數據容量和本地建議緩存容量的最大值為本地緩存盤容量。網關同步帶寬根據OSS帶寬限制制定,目前OSS為每個用戶提供的最大訪問帶寬為10 Gbps。各區域的集群略有差異,請向各區域OSS客戶支持人員查詢。
云存儲網關支持傳輸加速,充分利用網關的公網帶寬,提高跨域情況下的數據傳輸速度。您可以在創建共享時或者共享創建之后開啟傳輸加速。
數據持久性和服務可用性
網關緩存模式采用同步IO(Sync IO)落盤,確保掉電不丟失數據。云上網關依托于阿里云云盤的高可靠性,確保了緩存盤的數據持久可靠。本地部署的網關依賴于您虛擬環境后端存儲的可靠性,建議您使用RAID存儲或高可靠分布式存儲作為緩存盤。網關將緩存盤的新數據刷新上傳到OSS Bucket,依托OSS數據不低于99.9999999999%(12個9)的設計持久性,保證了數據的安全可靠,進而確保了數據從進入網關到上傳云端整條鏈路的高可靠性。
擴展性和彈性
云存儲網關以阿里云對象存儲OSS為后端存儲,因此具備OSS的高擴展性和彈性。普通的文件系統如果在同一目錄下存放太多文件,經常會出現問題。而OSS總的存儲容量以及單個存儲空間的容量均無上限。您可以在一個存儲空間內存放無限量的文件,OSS自動將您的數據副本存儲至同一地域的不同服務器,所有數據副本共享阿里云的高性能基礎設施能力。
安全性
云存儲網關支持通過RAM管理用戶身份與資源訪問控制。RAM是基于用戶的訪問控制。您可以在一個云賬戶(主賬戶)下創建并管理多個RAM用戶,并給RAM用戶分配不同的授權策略,從而實現不同RAM用戶擁有不同的云資源訪問權限。使用RAM還可以讓您避免與其他用戶共享云賬號密鑰(AccessKey),按需為RAM用戶分配最小權限,從而降低您的企業信息安全風險。詳情請參見賬號訪問控制。
云存儲網關還提供數據從網關傳輸至OSS的上云傳輸加密。您還可以選擇開啟OSS服務端加密并設置密鑰,則通過共享目錄上云的文件會在OSS端自動利用KMS密鑰進行加密。
接口
您可以通過云存儲網關控制臺部署網關虛擬機到本地或ECS實例,然后配置文件網關或塊網關,創建緩存和共享。您也可以通過API管理您的云存儲網關。云存儲網關API支持HTTP或者HTTPS網絡請求協議,支持GET方法發送請求。
費用模型
云存儲網關是按使用量收費的服務,包括線上網關和線下網關,對應的計費項不同。線上網關根據網關規格和緩存類型、數據公網帶寬進行計費,支持按量計費和包年包月兩種計費方式。線下網關由客戶提供虛擬機和緩存資源,阿里云只收取網關軟件許可證費用。詳情請參見計量項和計費項。