Windows Server 重复数据删除技术

简介

官方文档： https://docs.microsoft.com/zh-cn/windows-server/storage/data-deduplication/overview

重复数据删除（通常简称为删除重复）是一项功能，可以帮助减少冗余数据对存储成本的影响。 启用后，重复数据删除会检查卷上的数据（检查是否存在重复分区），优化卷上的可用空间。 卷数据集的重复分区只存储一次，并可以压缩，节省更多空间。 重复数据删除可优化冗余，而不会损坏数据保真度或完整性。

前言: 此技术可合并相同的数据块，节省存储空间。（类似压缩文件）

注意说明

注意：

1、只有Windows 2012R2以上系统支持（建议使用2016以上系统，使用之前建议打上最新补丁）

2、建议被操作的卷有15%以上的剩余空间.

3、如果系统损坏，读取文件的系统版本必须等于或大于旧系统版本，并开启重复数据删除角色。才能安全读取。

4、从 Windows 2019开始支持RsFS的重复删除，新版Server推荐使用ReFS格式。

5、重复数据删除执行的时候，卷内数据越多占用的内存和CPU 越多。

6、windows 2012R2仅支持10T以下的卷，windows 2016以上支持64T以下的卷，及1TB的大文件。

GUI设置重复数据删除

1、在服务器管理里面添加重复数据删除角色

2、进入，服务器管理器\文件和存储服务\卷

3、右键选择要执行的卷，点击重复数据删除。

4、选择重复删除数据模式：默认为一般用途文件服务器，Hyper-v为虚拟桌面基础架构（VDI）服务器，Backup 为虚拟化备份服务器。

设置删除重复计划，启用吞吐量优化，选择星期，开始时间，持续时间。 （默认即可，默认周六日或空闲时间执行。）

对于早于以下时间的文件进行删除重复(以天为单位)，默认为3天，可以修改为0天让所有文件执行。

PS：即大于3天未修改的文件，会被进行删除重复。

确定完成配置

5、可在此界面查看磁盘节省了多少空间。（文件多 建议一周后查看）

Powershell操作开启

Enable-DedupVolume -Volume -UsageType

需要开启的卷（即盘符），

为模式，Default为文件服务器，Hyper-v为虚拟桌面基础架构（VDI）服务器，Backup 为虚拟化备份服务器。

##Powershell操作立即以最大资源执行重复数据删除

Start-DedupJob -Type Optimization -Volume -Memory 100 -Cores 100 -Priority High

删除并回滚重复数据删除

重复数据删除，可以减少磁盘占用，但使用不当也有可能增加IO，另外，也为此功能会将硬盘分块，所以当硬盘占用较高时，进行碎片整理也比较困难，所以有时需要禁用掉重复数据删除功能，并解除重复数据的优化，可以通过以下方法进行：

1. 管理员模式进入Powershell

2. 运行查看重复数据删除的优化情况 Get-DedupStatus -Volume D: 3. 禁用重复数据删除 Disable-DedupVolume -Volume D:

3. 如果需要的话，回退重复数据优化 Start-DedupJob -Volume D: -Type Unoptimization 5. 查看任务执行状态 Get-DedupJob

4. 重启计算机，完成。

注：此执行及其耗费时间，慎用！