Пока сайт весит пару гигабайт, всё просто: собрал архив, скачал. На сотнях гигабайт этот способ ломается сразу в трёх местах. Архив не помещается на диск рядом с сайтом. Упаковка часами нагружает сервер. Связь рвётся на девятом часу скачивания, и начинать приходится заново.
Ниже рабочая схема: один раз выгружаем всё, дальше только изменения, с докачкой после обрыва, снимками по датам, расписанием и оповещением. Скрипты для rsync я прогнала на тестовых каталогах с rsync 3.4 на Ubuntu, включая обрыв посреди большого файла, отказ сети, параллельный запуск и чистку старых копий. Перед запуском замените имена и пути на свои и сначала попробуйте на тестовой папке. Зачем всё это хранить у другого провайдера, написано в статье «Где хранить бэкапы сайта в России».
Сколько займёт первая выгрузка
| Объём | 20 Мбит/с | 100 Мбит/с | 1 Гбит/с |
|---|---|---|---|
| 50 ГБ | 5,6 ч | 1,1 ч | 7 мин |
| 200 ГБ | 22 ч | 4,4 ч | 27 мин |
| 500 ГБ | 56 ч | 11 ч | 1,1 ч |
| 1 ТБ | 4,6 сут | 22 ч | 2,2 ч |
Это потолок канала. На миллионах мелких файлов реальная скорость заметно ниже, потому что rsync тратит время на обход папок. Следующие запуски передают только изменения и обычно укладываются в минуты.
Схема: кто к кому подключается
сервер сайта <-- хранилище у другого провайдера <-- ваш компьютер
только чтение снимки по датам, расписание копия последнего снимка
Стрелки показывают направление подключения. Хранилище само приходит за данными, а на сервере сайта нет ключа от хранилища. Если сайт взломают, до копий оттуда не дотянуться.
Пользователь и ключ только на чтение
На сервере сайта заводим пользователя и даём ему право читать нужные каталоги. Последняя строка создаёт папку для дампов базы:
apt install acl
adduser --disabled-password --gecos "" backup
setfacl -R -m u:backup:rX /var/www/site /var/moodledata
setfacl -R -d -m u:backup:rX /var/www/site /var/moodledata
install -d -m 2750 -g backup /var/backups/db
На хранилище создаём ключ без пароля, отдельный для этого сайта:
ssh-keygen -t ed25519 -N '' -f /root/.ssh/site1_backup
# /root/.ssh/config
Host prod.example.ru
User backup
IdentityFile /root/.ssh/site1_backup
Открытую часть ключа кладём на сервер сайта в /home/backup/.ssh/authorized_keys, но с ограничением:
command="ionice -c3 nice -n19 /usr/bin/rrsync -ro /",restrict ssh-ed25519 AAAA... store
Программа rrsync идёт в пакете rsync, на Ubuntu 24.04 и новее она лежит в /usr/bin. С этой строкой ключ умеет только читать файлы через rsync, причём с низким приоритетом, чтобы не мешать сайту. На тесте попытка записать файл оборвалась с ошибкой, а команда rm -rf получила ответ SSH_ORIGINAL_COMMAND does not run rsync. Проверьте то же самое у себя сразу после настройки.
Дамп базы на сервере сайта
Файлы хранилище заберёт само, а базу нужно сначала выгрузить в файл. Дамп делаем раньше копирования файлов: так всё, на что ссылается база, уже лежит на диске к моменту, когда до него дойдёт rsync. Опция --single-transaction позволяет снять целостный дамп InnoDB без остановки сайта.
#!/usr/bin/env bash
# Дамп баз на сервере сайта. Логин и пароль лежат в /root/.my.cnf (chmod 600).
set -euo pipefail
OUT=/var/backups/db
DATABASES="site_db moodle"
KEEP_DAYS=3
STAMP=$(date +%F_%H%M)
umask 027
trap 'rm -f "$OUT"/.*.tmp' EXIT
for db in $DATABASES; do
tmp="$OUT/.$db.$STAMP.tmp"
mysqldump --single-transaction --quick --routines --triggers --events \
--no-tablespaces --default-character-set=utf8mb4 "$db" | gzip -c > "$tmp"
# gzip -t пропустит и оборванный дамп, поэтому смотрим на его последнюю строку
if ! gzip -dc "$tmp" | tail -n 1 | grep -q '^-- Dump completed'; then
echo "Дамп $db оборван" >&2
exit 1
fi
mv "$tmp" "$OUT/$db.$STAMP.sql.gz"
done
find "$OUT" -name '*.sql.gz' -mtime +"$KEEP_DAYS" -delete
Здесь важны две вещи. Без pipefail упавший mysqldump незаметен, потому что последней в цепочке успешно отрабатывает gzip. А такой обрезанный архив проходит и gzip -t, поэтому проверять надо последнюю строку дампа. Запускаем за час до прихода хранилища:
# /etc/cron.d/dump-db
30 2 * * * root /usr/local/bin/dump-db.sh
С PostgreSQL логика та же: pg_dump -Fc -f файл имя_базы, проверка кода возврата, а целость формата custom покажет пробное восстановление через pg_restore.
Скрипт, который забирает файлы
Он живёт на хранилище в /usr/local/bin/backup-pull.sh. Прерванный запуск продолжается с того же места, а готовый снимок получает дату только после полного успеха.
#!/usr/bin/env bash
# Запускается на хранилище: забирает файлы с сервера сайта, складывает снимки по датам.
set -uo pipefail
SITE=site1
HOST=backup@prod.example.ru
ROOT=/backup/$SITE
SOURCES=(
"site:/var/www/site/"
"moodledata:/var/moodledata/"
"db:/var/backups/db/"
"nginx:/etc/nginx/"
)
EXCLUDES=(
--exclude=/cache/ --exclude=/localcache/ --exclude=/sessions/
--exclude=/temp/ --exclude=/trashdir/ --exclude=node_modules/
)
KEEP_DAILY=14
KEEP_WEEKLY=8
KEEP_MONTHLY=12
MAX_TRIES=6
WORK=$ROOT/in-progress # прерванный запуск продолжится с этого же места
alert() {
# в /etc/backup-alert.conf лежат BOT_TOKEN, CHAT_ID и MAILTO
. /etc/backup-alert.conf
curl -4 -sS --max-time 20 "https://api.telegram.org/bot$BOT_TOKEN/sendMessage" \
-d chat_id="$CHAT_ID" --data-urlencode text="$1" > /dev/null
printf '%s\n' "$1" | mail -s "Бэкап $SITE" "$MAILTO"
}
pull() { # $1 имя папки, $2 путь на сервере сайта
local name=$1 path=$2 try code
local link=()
[ -d "$ROOT/latest/$name" ] && link=(--link-dest="$ROOT/latest/$name/")
mkdir -p "$WORK/$name"
for ((try = 1; try <= MAX_TRIES; try++)); do
rsync -a --delete --numeric-ids --partial-dir=.rsync-partial \
--timeout=300 --bwlimit=20m "${EXCLUDES[@]}" "${link[@]}" \
-e "ssh -o ServerAliveInterval=30 -o ServerAliveCountMax=6" \
"$HOST:$path" "$WORK/$name/"
code=$?
# 24 значит «файл исчез, пока шло копирование»: на живом сайте это норма
if [ "$code" -eq 0 ] || [ "$code" -eq 24 ]; then
return 0
fi
echo "$name: попытка $try, код rsync $code" >&2
sleep $((try * 60))
done
return 1
}
prune() {
local now d day age
now=$(date +%s)
for d in "$ROOT"/20??-??-??_????; do
[ -d "$d" ] || continue
day=$(basename "$d")
day=${day%_*}
age=$(( (now - $(date -d "$day" +%s)) / 86400 ))
[ "$age" -lt "$KEEP_DAILY" ] && continue
[ "$(date -d "$day" +%u)" = 7 ] && [ "$age" -lt $((KEEP_WEEKLY * 7)) ] && continue
[ "$(date -d "$day" +%d)" = 01 ] && [ "$age" -lt $((KEEP_MONTHLY * 31)) ] && continue
rm -rf -- "$d"
done
}
mkdir -p "$ROOT"
exec 9> "$ROOT/.lock"
flock -n 9 || { echo "Прошлый запуск ещё идёт"; exit 0; }
failed=""
for item in "${SOURCES[@]}"; do
pull "${item%%:*}" "${item#*:}" || failed="$failed ${item%%:*}"
done
if [ -n "$failed" ]; then
alert "Бэкап $SITE не собрался, не докачано:$failed. Старые снимки не тронуты."
exit 1
fi
SNAP=$ROOT/$(date +%F_%H%M)
mv "$WORK" "$SNAP"
ln -sfn "$SNAP" "$ROOT/latest"
date +%s > "$ROOT/LAST_OK"
prune
| Опция | Зачем она здесь |
|---|---|
-a | Сохраняет права, даты и символические ссылки |
--delete | Удалённое на сайте не попадёт в новый снимок. Старые снимки это не трогает |
--link-dest | Файл, который не менялся, становится жёсткой ссылкой на прошлый снимок и не занимает нового места |
--partial-dir | Недокачанный файл сохраняется и потом докачивается |
--timeout=300 | Если сеть молчит пять минут, rsync выходит, а скрипт делает новую попытку |
--bwlimit=20m | Ограничивает скорость до 20 МБ/с, чтобы посетители сайта не страдали |
--numeric-ids | Хранит владельцев файлов номерами, а не именами |
Про жёсткие ссылки простыми словами: каждая папка с датой выглядит полной копией, и из неё можно восстановить сайт как есть. На диске она занимает только разницу с предыдущей. В моём тесте первый снимок занял 202 МБ, второй после правки пары файлов около мегабайта, а большой файл в обоих снимках оказался одним и тем же файлом на диске.
С такой схемой легко нарушить несколько правил:
- Не добавляйте
--inplaceи--appendв этот скрипт. Они пишут прямо в существующий файл, а этот файл через жёсткую ссылку может быть частью старых снимков. Испортите новую копию и все предыдущие заодно. - Не правьте файлы внутри снимков по той же причине.
- Код 24 не считается ошибкой. На живом сайте файлы исчезают прямо во время копирования. Код 23 другое дело: что-то не прочиталось, чаще из-за прав, и такой запуск надо разбирать.
- Чистка идёт только после успеха. Если сеть легла на неделю, старые копии останутся на месте.
- Снимки живут на одном диске. Жёсткие ссылки работают в пределах одной файловой системы, и умерший диск заберёт всю историю. Вторую копию они не заменяют.
Опцию -z включайте только на тонком канале и для текстовых данных: видео и архивы от неё не сжимаются, а процессор она занимает.
Один большой файл и плохая связь
Для разовой выгрузки архива есть короткий вариант. Запускайте его в tmux, чтобы обрыв вашего SSH не убил процесс:
until rsync --partial --append-verify --timeout=120 \
backup@prod.example.ru:/var/backups/archive.tar.gz ./; do
sleep 60
done
Тут --append-verify уместен, потому что снимков и жёстких ссылок нет. На тесте я убила процесс на 40% файла, и следующая попытка докачала его до конца.
Если на сервере нет места под архив, отправляйте его сразу в сеть:
ssh root@prod.example.ru 'tar czf - -C / var/www/site' > site.tar.gz
tar tzf site.tar.gz | wc -l
На диске сервера при этом ничего не появляется, а вторая строка проверяет, что архив читается. Докачки здесь нет, обрыв означает новый запуск, поэтому способ годится для десятков гигабайт, а не для терабайта.
Что учесть для Moodle
В каталоге moodledata не нужно копировать cache, localcache, sessions, temp и trashdir, об этом прямо сказано в документации Moodle. В скрипте выше они уже исключены.
Файлы в filedir называются по хешу SHA-1 своего содержимого. Изменённый файл получает новое имя, и rsync копирует только новое. Заодно это даёт редкую возможность проверить копию вообще без сервера:
cd /backup/site1/latest/moodledata
find filedir -type f -path '*/[0-9a-f][0-9a-f]/[0-9a-f][0-9a-f]/*' | while read -r f; do
[ "$(sha1sum "$f" | cut -d' ' -f1)" = "$(basename "$f")" ] || echo "Повреждён: $f"
done
Команда читает каждый файл целиком, на больших объёмах запускайте её раз в месяц и с ionice -c3. Если включены автоматические копии курсов, их файлы .mbz лежат там же и сильно раздувают объём: задайте им срок хранения или вынесите в отдельный каталог. Общая логика копий СДО описана в статье про резервное копирование Moodle.
Прописываем расписание
На современных системах удобнее таймер systemd: он ведёт журнал и при Persistent=true запускает пропущенную задачу, если сервер в нужный момент был выключен.
# /etc/systemd/system/backup-pull.service
[Unit]
Description=Бэкап site1
[Service]
Type=oneshot
ExecStart=/usr/local/bin/backup-pull.sh
Nice=10
IOSchedulingClass=idle
# /etc/systemd/system/backup-pull.timer
[Unit]
Description=Бэкап site1 каждую ночь
[Timer]
OnCalendar=*-*-* 03:30:00 Europe/Moscow
Persistent=true
RandomizedDelaySec=10m
[Install]
WantedBy=timers.target
systemctl daemon-reload
systemctl enable --now backup-pull.timer
systemctl list-timers | grep backup
journalctl -u backup-pull -n 50
Если привычнее cron, хватит одной строки. Блокировка уже есть в самом скрипте, а время cron берёт из настроек сервера, так что проверьте часовой пояс:
# /etc/cron.d/backup-pull
30 3 * * * root /usr/local/bin/backup-pull.sh >> /var/log/backup-pull.log 2>&1
Утренняя проверка копии
Скрипт сообщит об ошибке, только если его кто-то запустил. Отдельная проверка ловит то, что он сам увидеть не может: таймер отключили, дамп перестал обновляться, половина файлов на сайте исчезла.
#!/usr/bin/env bash
# Утренняя проверка хранилища: копия свежая, дампы целые, файлов не стало резко меньше.
set -uo pipefail
SITE=site1
ROOT=/backup/$SITE
DATABASES="site_db moodle"
MAX_AGE_HOURS=26
MIN_PERCENT=70
problems=""
alert() {
. /etc/backup-alert.conf
curl -4 -sS --max-time 20 "https://api.telegram.org/bot$BOT_TOKEN/sendMessage" \
-d chat_id="$CHAT_ID" --data-urlencode text="$1" > /dev/null
printf '%s\n' "$1" | mail -s "Бэкап $SITE" "$MAILTO"
}
last=$(cat "$ROOT/LAST_OK" 2> /dev/null || echo 0)
age=$(( ($(date +%s) - last) / 3600 ))
[ "$age" -le "$MAX_AGE_HOURS" ] || problems+="Удачный снимок был $age ч назад. "
for db in $DATABASES; do
dump=$(ls -1t "$ROOT"/latest/db/"$db".*.sql.gz 2> /dev/null | head -n 1)
if [ -z "$dump" ] || ! gzip -dc "$dump" | tail -n 1 | grep -q '^-- Dump completed'; then
problems+="Дамп $db отсутствует или оборван. "
elif [ -z "$(find "$dump" -mmin -$((MAX_AGE_HOURS * 60)))" ]; then
problems+="Свежего дампа $db нет. "
fi
done
prev=$(ls -1d "$ROOT"/20??-??-??_???? | sort | tail -n 2 | head -n 1)
now_files=$(find "$ROOT/latest/" -type f | wc -l)
prev_files=$(find "$prev/" -type f | wc -l)
if [ $((now_files * 100)) -lt $((prev_files * MIN_PERCENT)) ]; then
problems+="Файлов было $prev_files, стало $now_files. "
fi
if [ -n "$problems" ]; then
alert "БЭКАП $SITE, ПРОБЛЕМА: $problems"
exit 1
fi
alert "Бэкап $SITE в порядке: снимку $age ч, файлов $now_files"
Поставьте её на 08:30 и получайте сообщение каждое утро, в том числе при успехе. Если сообщения нет, значит, сломалось что-то ещё. Настройку Telegram-бота и почты смотрите в статье про мониторинг.
Копия на свой компьютер
Третья копия физически у вас. Забирайте её с хранилища, а не с сервера сайта: сайт не будет нагружаться лишний раз. На хранилище заведите для этого такого же пользователя с ключом только на чтение.
На Mac есть ловушка. Штатный /usr/bin/rsync в новых версиях macOS заменён на openrsync. На моём тесте он не понял --append-verify, а при --link-dest молча сделал полные копии вместо жёстких ссылок, и диск закончился бы очень быстро. Поставьте настоящий: brew install rsync.
#!/bin/bash
# Запускается на Mac: забирает последний снимок с хранилища на свой диск.
set -uo pipefail
RSYNC=/opt/homebrew/bin/rsync # на Mac с Intel это /usr/local/bin/rsync
HOST=backup-reader@store.example.ru
ROOT="$HOME/Backups/site1"
KEEP=10
WORK="$ROOT/in-progress"
mkdir -p "$WORK"
if [ -d "$ROOT/latest" ]; then
"$RSYNC" -a --delete --partial-dir=.rsync-partial --timeout=300 \
--link-dest="$ROOT/latest/" "$HOST:/backup/site1/latest/" "$WORK/"
else
"$RSYNC" -a --delete --partial-dir=.rsync-partial --timeout=300 \
"$HOST:/backup/site1/latest/" "$WORK/"
fi
code=$?
if [ "$code" -ne 0 ] && [ "$code" -ne 24 ]; then
exit "$code"
fi
SNAP="$ROOT/$(date +%F_%H%M)"
mv "$WORK" "$SNAP"
ln -sfn "$SNAP" "$ROOT/latest"
ls -1d "$ROOT"/20* | sort -r | tail -n +$((KEEP + 1)) | while read -r old; do
rm -rf -- "$old"
done
Запуск по расписанию на Mac делает launchd. Если ноутбук спал в назначенное время, задача выполнится после пробуждения.
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>ru.example.site-backup</string>
<key>ProgramArguments</key>
<array>
<string>/bin/bash</string>
<string>/Users/you/bin/mac-pull.sh</string>
</array>
<key>StartCalendarInterval</key>
<dict>
<key>Hour</key>
<integer>10</integer>
<key>Minute</key>
<integer>0</integer>
</dict>
<key>StandardOutPath</key>
<string>/tmp/site-backup.log</string>
<key>StandardErrorPath</key>
<string>/tmp/site-backup.log</string>
</dict>
</plist>
launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/ru.example.site-backup.plist
Что ещё учесть:
- Внешний диск форматируйте в зашифрованный APFS. На exFAT жёсткие ссылки не работают.
- Доступ к диску. macOS не пускает фоновые задачи на внешние диски и в «Документы». Дайте rsync полный доступ к диску в настройках безопасности, иначе в журнале будет
Operation not permitted. - Персональные данные. Ноутбук с копией базы студентов должен быть зашифрован и под паролем.
- Windows. Тот же подход работает через WSL с Ubuntu и Планировщик заданий. Сама я работаю на Mac, поэтому этот вариант сначала проверьте на тестовой папке.
Когда rsync мало
У снимков rsync есть слабое место: на хранилище файлы лежат открыто. Если хранилище чужое или это S3, нужен другой инструмент.
| Инструмент | Сильная сторона | Ограничение | Когда брать |
|---|---|---|---|
| rsync со снимками | Обычные папки, открываются без спецпрограмм | Нет шифрования на хранилище | Своё хранилище, которому доверяете |
| restic | Шифрование, дедупликация, работа с S3 | Без пароля копия бесполезна | Чужое хранилище или S3 |
| BorgBackup | Шифрование, сжатие, режим только добавления | На другой стороне нужен SSH и сам Borg | Отдельный сервер под копии |
| rclone | Умеет S3 и десятки облаков | Копирует файлы, истории снимков не ведёт | Перекинуть готовые архивы в S3 |
Базовый набор команд restic из его документации выглядит так:
export RESTIC_REPOSITORY=sftp:backup@store.example.ru:/backup/restic
export RESTIC_PASSWORD_FILE=/root/.restic-pass
restic init
restic backup /var/www/site /var/moodledata --exclude cache --exclude temp
restic forget --keep-daily 14 --keep-weekly 8 --keep-monthly 12 --prune
restic check --read-data-subset=5%
restic restore latest --target /tmp/restore-test
С rclone будьте внимательны к команде rclone sync: она повторяет удаления. Если сайт стёрли и ночью запустился sync, копия опустеет вслед за ним. Для бэкапов берите rclone copy и блокировку Object Lock на стороне хранилища.
Нужна настройка под ваш проект или перенос большого объёма без простоя? Посмотрите отказоустойчивую инфраструктуру и перенос на другой хостинг или напишите мне.
Частые вопросы про большие бэкапы
Почему нельзя просто собирать tar каждую ночь?
На небольшом сайте можно. На сотнях гигабайт архив занимает столько же места на диске, часами нагружает сервер и при обрыве скачивается заново. Rsync передаёт только изменения и продолжает с места обрыва.
Хватит ли бэкапа из панели хостинга или FastPanel?
Как быстрая копия для отката подойдёт. Как единственная нет: панель и её копии обычно живут на том же сервере или у того же провайдера, и в общей аварии вы потеряете их вместе с сайтом.
Как восстановить сайт из снимка?
Скопируйте папку снимка на новый сервер командой rsync -a, загрузите базу командой gzip -dc дамп.sql.gz | mysql имя_базы, поправьте настройки подключения и адрес сайта, затем проверьте вход, файлы, почту и cron. Каждая папка снимка самостоятельна, предыдущие для восстановления не нужны.
Сайт состоит из миллионов мелких файлов, rsync обходит их часами. Что делать?
Разбейте копирование на отдельные каталоги, разведите их по времени и держите низкий приоритет через ionice. Если и этого мало, посмотрите на снимки файловой системы через LVM или ZFS: они не зависят от количества файлов.
Опишите задачу — расскажу, как решить её конкретно в вашем случае. Свяжитесь — разберём вместе.