Для выявления дубликатов файлов существует множество решений — от Total Commander до специализированных утилит. Но в моей практике почти все сравнения заканчивались так: не удаляй ничего, я потом разберу! "Потом" — это примерно в следующем веке, а место высвободить нужно уже сейчас.

Задачу "не удалять дубликаты, но сэкономить место" можно решить с помощью жестких ссылок.

Василий Гусев как-то раз написал на коленке несложный скрипт PowerShell, и с тех пор он не раз всплывал в разных чатах в качестве решения. В оригинале был ванлайнер.

ls -Recurse dir1, dir2 | Get-FileHash | group hash | where count -ge 2 | %{$f1 = $_.group[0].path; rm $f1; fsutil hardlink create $f1 $_.group[1].path}

Я слегка причесал скрипт, а Василий сделал проверку параметров (путей к папкам), чтобы не случилось нежелательного. И скрипт отправился в блог.

Однако в комментариях к записи читатель Lecron справедливо заметил, что для ускорения работы имеет смысл сначала сверять размер файлов, а хэш вычислять только при совпадении размера. Он подкрепил слова делом, и ниже вариант с учетом его доработок.

Отказ от ответственности

param(
  [Parameter(Mandatory=$True)]
  [ValidateScript({Test-Path -Path $_ -PathType Container})]
  [string]$dir1,
 
  [Parameter(Mandatory=$True)]
  [ValidateScript({(Test-Path -Path $_ -PathType Container) -and $_ -ne $dir1})]
  [string]$dir2
)
 
Get-ChildItem -Recurse $dir1, $dir2 | 
    Group-Object Length | Where-Object {$_.Count -ge 2} | 
    Select-Object -Expand Group | Get-FileHash | 
    Group-Object hash | Where-Object {$_.Count -ge 2} | 
    Foreach-Object {
        $f1 = $_.Group[0].Path
        Remove-Item $f1
        New-Item -ItemType HardLink -Path $f1 -Target $_.Group[1].Path | Out-Null
        #fsutil hardlink create $f1 $_.Group[1].Path
    }

Запускается так:

.\hardlinks.ps1 -dir1 d:\fldr1 -dir2 d:\fldr2

Я дважды и относительно недавно показывал выборку дубликатов в блоге (1, 2), поэтому общий подход вам знаком.

1. Get-ChildItem получает список всех файлов в сравниваемых папках, затем файлы группируются по размеру.
2. Если совпадений размера не менее двух, мы имеем дело с потенциальными дубликатами файла. Выбираем их с Select-Object и вычисляем хэш с Get-FileHash.
3. Файлы группируются по хэшу.
4. Если совпадений хэша более двух, дубликаты удаляются, а вместо них создаются жесткие ссылки. Начиная с PowerShell 5.0, вместо утилиты fsutil можно использовать командлет New-Item для создания ссылок NTFS.

Для теста у меня на внешнем диске нашлись бэкапы изображений и документов из профиля в двух похожих папках:

• April 2016 (9445 Files, 935 Folders)
• November 2016 (10005 Files, 937 Folders)

Понятно, что там примерно одно и то же, но разбираться лень. Скрипт высвободил 8.5GB за 12.5 минут. Времени понадобилось относительно много, потому что примерно у 95% файлов были дубликаты, и для них вычислялся хэш.

А как вы боретесь с дубликатами файлов? Напишите в комментариях!