重復數據刪除（重刪）技術是備份和數據管理領域的一項關鍵技術，能夠幫助企業高效應對數據快速增長的挑戰，顯著提升數據保護的效率并降低成本。作為云備份的重要基石之一，重刪技術在提高備份性能、加快傳輸速度以及節省存儲空間等方面發揮著至關重要的作用。本文介紹云備份中重復數據刪除技術的工作原理。
工作流程
重刪技術原理圖，如上所示。云備份運用了基于高效切片算法的源端重刪技術，以每個備份庫作為一個獨立的重刪域，從而實現數據在備份庫層級上的全局去重。工作流程主要包括以下五步：
在進行備份時，備份引擎（備份客戶端或備份服務集群）首先會讀取您的原始文件、數據庫以及虛擬機等數據。
備份引擎將原始數據切片。
備份引擎將切片內容與已經在備份庫的切片數據進行比對，識別備份庫中不存在的切片。
備份引擎僅將備份庫中尚不存在的切片上傳至備份庫。
備份引擎將每個文件或虛擬機所包含的切片ID列表存儲到備份庫中，便于在恢復時，將原始數據組裝并寫入到恢復目的地。
技術價值
節省備份存儲消耗：云備份采用切片后重刪技術，相比文件級重刪，能夠更精細地識別重復數據，顯著提高重刪比例。此重刪過程在備份庫級別執行，對所有存入同一備份庫的數據進行全局重刪，因此擁有更大的重刪范圍和更高的重刪率。與不具備重刪功能的備份產品相比，能極大地降低所需的備份存儲空間。使用云備份服務時，您只需為重刪后的實際備份存儲容量大小付費。
節省網絡帶寬：在源端執行重刪操作，僅上傳那些備份庫中尚未存在的數據段，此方式在混合云環境中有效節省上云帶寬。
提升備份性能：通過數據讀取、切片與重刪形成高效的流水線。能夠快速識別并避免重復數據的傳輸，使備份性能提升數倍以上。
提升備份數據安全：通過將數據切分為隨機長度的片段后上傳，可以徹底打亂文件內容，使得攻擊者難以識別數據的原始格式，從而增強了傳輸和存儲過程中的安全性。
關聯概念
壓縮技術：壓縮是指通過編碼技術來減少數據所占用的存儲空間。云備份結合重刪技術和壓縮技術進一步減少所需存儲的數據量。經過重刪處理后的每一個數據片段都會被壓縮，然后再存入備份庫中，從而更有效地節省了存儲空間。
重刪壓縮比（簡稱重刪率）：重刪率是指備份的原始數據總量與實際存儲到備份庫中的數據量之間的比值。例如，如果用戶每天對一個30GB的目錄進行一次全量備份，并保留30天的數據版本，則備份的原始數據總量為30GB × 30 = 900GB。經過重刪和壓縮處理后，這些數據在備份庫中實際占用的空間為28GB。因此，重刪率為900:28，約等于32:1。
永久增量備份：對于文件類備份，無論是本地文件、ECS文件、NAS、OSS還是CPFS的備份，云備份采用了一種高效的永久增量備份機制。其工作原理如下：在每次執行備份任務時，備份引擎首先識別出與上次備份相比發生變化的文件（包括新增、修改或刪除的文件），僅讀取這些變化文件的內容，并將其寫入到備份庫中。隨后，在備份庫的后端，會將此次收集到的增量數據與上一次全量備份的數據進行合并處理，生成一個新的全量備份點。這樣顯著減少了對客戶數據的讀取量，從而有效提升了整體備份的效率。需要注意的是，在計算重刪率時，是基于每個備份點所對應的全量數據來進行計算的。