UrBackup

Материал из sysadm
Перейти к навигации Перейти к поиску

Сайт разработчика (https://www.urbackup.org/)

Обзор

Сервер

Веб-интерфейс сервера доступен через FastCGI (на порту 55413) и HTTP (на порту 55414).

На порту FastCGI может быть настроено шифрование SSL.

Для обнаружения клиентов, сервер каждые 50 сек. отправляет широковещательный UDP пакет на 255.255.255.255:35622

Сервер UrBackup может подключаться на http://198.58.118.162 для загрузки обновлений серверной и клиентской части.

Рабочие каталоги сервера 

/usr/share/urbackup - веб-интерфейс
/var/urbackup       - база данных конфигурации и прочие рабочие файлы

Исполняемые файлы 

/usr/bin/urbackupsrv
/usr/bin/urbackup_snapshot_helper
/usr/bin/urbackup_mount_helper


Принцип работы резервного копирования файлов

  • Резервное копирование запускается когда сервер обнаруживает, что время до последнего инкрементного резервного копирования больше, чем интервал для инкрементного резервного копирования, или время до последнего полного резервного копирования больше, чем интервал для полного резервного копирования. Резервное копирование также можно запускать по запросам клиентов.
  • Сервер создает новый каталог для сохранения резервной копии. Схема именования для этого каталога - YYMMDD-HHMM. Каталог создается в хранилище резервной копии в каталоге, имя которого равно имени клиента.
  • Сервер запрашивает у клиента построение списка файлов. Клиент создает список файлов и сообщает, что он построен.
  • Сервер загружает ’urbackup/data/filelist.ub’ с клиента. Если это инкрементальное резервное копирование, то сервер сравнивает новый ’filelist.ub’ с последним полученным от клиента и определяет различия.
  • Сервер запускает загрузку файлов. Если это инкрементальное резервное копирование, то загружаются только новые и измененные файлы. Если резервное копирование полное, то с клиента загружаются все файлы.
  • Сервер загружает файл во временный файл и размещает его в папке urbackup_tmp_files в каталоге хранилища резервных копий, либо в указанную в расширенных настройках временную папку. При успешной загрузке файла сервер вычисляет его хэш и проверяет наличие другого файла с таким же значением хэша. Если такой файл существует, они считаются одинаковыми, и жесткая ссылка на другой файл сохраняется, а временный файл удаляется. Если такой файл не существует, файл перемещается в новое расположение резервной копии. Путь к файлу и значение хэша сохраняются в базе данных сервера.
  • Если выполняется инкрементальное резервное копирование и файл не изменен, то создается жесткая ссылка на соответствующий файл предыдущего резервного копирования.
  • Если выполняется инкрементальное резервное копирование при включенной опции "использовать символические ссылки при инкрементальном резервном копировании" и каталог с более чем 10 файлами или папками не изменился, то каталог переносится в “.directory_pool” и на него создаются символьные ссылки в старом и новом каталоге резервного копирования. КОличество символьных ссылок на данный каталог увеличивается/уменьшается каждый раз когда создается/удаляется другая символьная ссылка.
  • Если во время резервного копирования клиент переходит в автономный режим, а резервное копирование выполняется инкрементально, сервер продолжает создавать жесткие ссылки на файлы в предыдущем резервном копировании, но не пытается снова загрузить файлы. Файлы, которые не удалось загрузить, не сохраняются в списке файлов на стороне сервера. Если резервная копия является полной и клиент переходит в автономный режим, процесс резервного копирования прерывается и сохраняется список частичных файлов, включающий все файлы, загруженные до этого момента.
  • Если все файлы были переданы, сервер обновляет «текущую» символическую ссылку в расположении хранилища резервной копии клиента, чтобы указать на новую резервную копию. Это происходит только в том случае, если клиент не отключился во время резервного копирования.

Проблема переполнения

В каталоге пула “.directory_pool” часто остаются каталоги на которые не осталось символических ссылок из каталогов резервных копий. Такие каталоги лежат мертвым грузом и со временем заполняют все хранилище. UrBackup не умеет чистить такие каталоги, поэтому их приходится чистить вручную.

Пример скрипта чистки пула 

#!/bin/bash

cli_path=/mnt/backup/urbackup/COMP3

# составляем список всех линков со всех каталогов резервных копий
find -L /mnt/backup/urbackup/COMP3/220610-2333 -type l -exec ls -lh {} \; | cut -d '>' -f 2 > $cli_path/links.txt
find -L /mnt/backup/urbackup/COMP3/220611-0814 -type l -exec ls -lh {} \; | cut -d '>' -f 2 >> $cli_path/links.txt
#...

# удаляем каталоги пула на которые нет линков в каталогах резервных копий
for f in $cli_path/.directory_pool/??/*; do
  cat $cli_path/links.txt | grep $f >/dev/null || (
    echo $f
    rm -rf "$f"
  )
done

Клиент для Windows

Клиент имеет основной процесс и процесс интерфейса. Интерфейсный процесс отображается в трее, предоставляет пользователю интерфейс для управления и передает команды и изменения конфигурации основному процессу.

Основной процесс слушает 3 порта:

  • 35622/UDP - порт обнаружения, принимает широковещательные сообщения от сервера и сообщает в ответ имя своего компьютера
  • 35623/TCP - порт управления, принимает команды и изменения конфигурации от интерфейсного процесса и от сервера
  • 35621/TCP - порт передачи данных, принимает запросы на резервирование от сервера

Сервер устанавливает постоянное соединение с портом управления 35623/TCP каждого клиента, через который они могут запрашивать задачи резервирования и изменения конфигурации от сервера.

Основной процесс сканирует каталоги резервирования и создает файлы

  • "urbackup/data/filelist.ub" - список всех резервируемых файлов
  • "urbackup/backup_client.db" - индексная база данных о всех резервируемых файлах

Для быстрого обновления этих файлов основной процесс использует встроенный механизм Windows для мониторинга изменений в каталогах. Каждые 10 секунд, а также при запросе списка файлов, индексная база получает обновления.

Для резервирования файлов, сервер загружает список файлов от клиента и запускает резервирование и загрузку изменений через встроенный в Windows файловый сервер.

Для резервирования образа используется только порт 35621/TCP.

Клиент для Linux

Установка клиента Linux

Строку запуска скрипта установки необходимо брать с сайта (ссылка выше). На 6.10.2020 она выглядит так. 

TF=$(mktemp) && wget "https://hndl.urbackup.org/Client/2.4.10/UrBackup%20Client%20Linux%202.4.10.sh" -O $TF && sudo sh $TF; rm -f $TF

systemctl status urbackupclientbackend

Рабочий каталог клиента 

/var/lib/urbackup

Рабочий каталог клиента создается при первом подключении клиента к серверу. В нем случайно генерируется ключевой файл server_ident.key, по которому клиент будет проводить аутентификацию сервера в дальнейшем. Никакой другой сервер уже не сможет подключиться к клиенту, если данный файл создан.

Если необходимо переключить клиента на другой сервер, то необходимо удалить рабочий каталог клиента /var/lib/urbackup

Скрипт удаление urbackup клиента 

/usr/local/sbin/uninstall_urbackupclient

Настройка механизма снепшотов 

/usr/local/etc/urbackup/snapshot.cfg

# urbackup поддерживает варианты:
# 1) dattobd volume snapshot kernel module from https://github.com/datto/dattobd
# 2) LVM - Logical Volume Manager snapshots

Клиент командной строки 

/usr/local/bin/urbackupclientctl

Открытие доступа на FW 

vi /usr/lib/firewalld/services/urbackup-client.xml

<?xml version="1.0" encoding="utf-8"?>
<service>
  <short>urbackup-client</short>
  <description>UrBackup client for Linux</description>
  <port protocol="tcp" port="35621"/>
  <port protocol="udp" port="35622"/>
  <port protocol="tcp" port="35623"/>
</service>

firewall-cmd --reload
firewall-cmd --info-service=urbackup-client

firewall-cmd --permanent --zone=<your_zone> --add-service=urbackup-client
firewall-cmd --reload

Перенос на другой хост

  • /path/to/urbackup - каталог с бэкапами
  • /var/urbackup - каталог с рабочими данными

Пути к данным каталогам на старом и новом хосте должны совпадать.

Для переноса UrBackup сервера на другой хост, необходимо

  1. остановить и отключить urbackup сервис на старом хосте
  2. установить urbackup сервер на новом хосте
  3. остановить сервис urbackup сервера на новом хосте
  4. переименовать каталоги /var/urbackup, /path/to/urbackup в *.default (сохраняем исходное состояние)
  5. перенести со старого хоста на новый с сохранением всех метаданных (время, права, владелец, ...) каталоги /var/urbackup, /path/to/urbackup
  6. если на новом хосте на перенесенных каталогах владелец и группа отличны от urbackup, то необходимо установить владельца и группу urbackup
  7. запустить сервис urbackup сервера на новом хосте

Пример восстановления доступов 

chown -R urbackup:urbackup /var/urbackup
chmod 755 /var/urbackup
chmod -R 644 /var/urbackup/*
chmod 750 /var/urbackup/backup_server_files.db
chmod 750 /var/urbackup/dataplan_db.txt
chmod 750 /var/urbackup/dataplan_db.txt.new
chmod 750 /var/urbackup/fileindex
chmod 750 /var/urbackup/server_version_info.properties
chmod 750 /var/urbackup/server_version_info.properties.new
chmod 750 /var/urbackup/UrBackupUpdate.exe
chmod 750 /var/urbackup/UrBackupUpdateLinux.sh
chmod 750 /var/urbackup/*.sig*

chown -R urbackup:urbackup /path/to/urbackup
chown 755 /path/to/urbackup
chown 750 /path/to/urbackup/*

Сервер UrBackup немного отличается на CentOS 8 и Ubuntu 20.04. В Ubuntu 20.04 используется файл /var/urbackup/backupfolder в котором хранится путь к каталогу с бэкапами. В CentOS 8 такого файла нет, вероятно путь к каталогу с бэкапами хранится в базе. Это необходимо учитывать при переносе между хостами с разными ОС.

Также для данного файла необходимо задать особые права 

chown root:root /var/urbackup/backupfolder
chmod 644 /var/urbackup/backupfolder

Установка

Установка на Ubuntu 20.04

Установка 

add-apt-repository ppa:uroni/urbackup
apt update
apt install urbackup-server

В процессе установки укажите путь к каталогу для хранения резервных копий urbackup 

/path/to/urbackup

Проверьте статус сервиса 

systemctl status urbackupsrv

Установка на CentOS 8

# создание пользователя urbackup
useradd -r -d /var/urbackup -s /sbin/nologin -c "User for UrBackup Server" urbackup

# создание каталога резервных копий
mkdir /path/to/urbackup
chown -R urbackup:urbackup /path/to/urbackup
chmod -R 770 /path/to/urbackup

# добавление репозитория uroni
cd /etc/yum.repos.d/
wget https://download.opensuse.org/repositories/home:uroni/CentOS_8/home:uroni.repo

# установка
dnf install urbackup-server

# запуск сервера
systemctl enable urbackup-server
systemctl start urbackup-server

Настройка

Откройте веб-интерфейс вашего сервера http://<ip_your_server>:55414

Настройки / Путь для хранения бэкапов - укажите каталог для хранения резервных копий

Резервирование

MySQL

Ссылки по теме

Безопасность

Безопасность клиента

/var/lib/urbackup/server_ident.key
Источник — https://sysadm.mooo.com/index.php?title=UrBackup&oldid=2090