Sparse files (разряженные файлы)

Ссылки по теме

• Разрежённый файл
• Sparse file
• Разреженные файлы в NTFS
• DAR - архиватор для больших файлов, поддерживает sparse, дифференциальный бэкап на уровне изменяемых блоков.

Если файл содержит большие фрагменты заполненные нулями, то они могут быть вырезаны и место занимаемое файлом частично освободится, при этом логический размер не изменится.

Как найти sparse файлы

find /path/to/dir -type f -printf "%n %s %p\n" | awk '$1 != $2 { print $0 }'

Как работать с sparse файлами

# вырезание пустот (преобразование обычного файла в sparse файл), при этом изменяется дата модификации файла
fallocate -d </path/to/file>

# утилита копирования cp
# --sparse=auto     (по умолчанию в RHEL10, в других дистрибутивах не проверялось) если источник является sparse, то файл назначения тоже будет sparse
# --sparse=never    файл назначения будет не sparse
# --sparse=always   файл назначения будет sparse
# пример конвертации в sparse
cp --sparse=always /path/to/file1 /path/to/file2

# rsync                           по умолчанию, копирует sparse файлы как обычные, т.е. файл назначения может занимать на диске значительно больше места
# rsync --sparse                  тоже работает не полноценно, пустоты вырезаются частично из-за механизма инкрементального копирования
# rsync --whole-file --sparse

# к сожалению dar исключен из репозитория RHEL10

# актуальная версия tar поддерживает sparse
# пример архивации с конвертацией в sparse
tar --sparse -cJvf /path/to/file.tar.xz /path/to/file.dat

# если файл архива был создан с конвертацией в sparse, то при распаковке он будет восстановлен как sparse не зависимо от наличия опции --sparse
tar -xJvf /path/to/file.tar.xz

# (нужно проверить) возможно так все восстанавливаемые файлы будут конвертироваться в sparse
# даже если они не были sparse и архивировались без опции --sparse
tar --sparse -xJvf /path/to/file.tar.xz

# утилита du (disk usage)
du /path/to/file                   # объем занимаемый на диске, в том числе с учетом sparse
du --apparent-size /path/to/file   # логический размер файла, то что отображает ls -l --block-size=K

# утилита ls
ls -ls /path/to/file    # отдельно в первом столбце отображает размер занимаемый на диске в блоках, в том числе с учетом sparse