Перейти к содержимому
M
Все статьи
Администрирование 9 мин чтения

Бэкап большого сайта скриптами: rsync, докачка и копия на свой диск

Как выгружать сотни гигабайт без tar: докачка после обрыва, только новые файлы, снимки по датам, ключ на чтение, расписание и копия на свой диск. С готовыми скриптами.

Как выгружать сотни гигабайт без tar: докачка после обрыва, только новые файлы, снимки по датам, ключ на чтение, расписание и копия на свой диск. С готовыми скриптами.

Пока сайт весит пару гигабайт, всё просто: собрал архив, скачал. На сотнях гигабайт этот способ ломается сразу в трёх местах. Архив не помещается на диск рядом с сайтом. Упаковка часами нагружает сервер. Связь рвётся на девятом часу скачивания, и начинать приходится заново.

Ниже рабочая схема: один раз выгружаем всё, дальше только изменения, с докачкой после обрыва, снимками по датам, расписанием и оповещением. Скрипты для rsync я прогнала на тестовых каталогах с rsync 3.4 на Ubuntu, включая обрыв посреди большого файла, отказ сети, параллельный запуск и чистку старых копий. Перед запуском замените имена и пути на свои и сначала попробуйте на тестовой папке. Зачем всё это хранить у другого провайдера, написано в статье «Где хранить бэкапы сайта в России».

Сколько займёт первая выгрузка

Объём20 Мбит/с100 Мбит/с1 Гбит/с
50 ГБ5,6 ч1,1 ч7 мин
200 ГБ22 ч4,4 ч27 мин
500 ГБ56 ч11 ч1,1 ч
1 ТБ4,6 сут22 ч2,2 ч

Это потолок канала. На миллионах мелких файлов реальная скорость заметно ниже, потому что rsync тратит время на обход папок. Следующие запуски передают только изменения и обычно укладываются в минуты.

Схема: кто к кому подключается

сервер сайта  <--  хранилище у другого провайдера  <--  ваш компьютер
только чтение      снимки по датам, расписание          копия последнего снимка

Стрелки показывают направление подключения. Хранилище само приходит за данными, а на сервере сайта нет ключа от хранилища. Если сайт взломают, до копий оттуда не дотянуться.

Пользователь и ключ только на чтение

На сервере сайта заводим пользователя и даём ему право читать нужные каталоги. Последняя строка создаёт папку для дампов базы:

apt install acl
adduser --disabled-password --gecos "" backup
setfacl -R -m u:backup:rX /var/www/site /var/moodledata
setfacl -R -d -m u:backup:rX /var/www/site /var/moodledata
install -d -m 2750 -g backup /var/backups/db

На хранилище создаём ключ без пароля, отдельный для этого сайта:

ssh-keygen -t ed25519 -N '' -f /root/.ssh/site1_backup

# /root/.ssh/config
Host prod.example.ru
  User backup
  IdentityFile /root/.ssh/site1_backup

Открытую часть ключа кладём на сервер сайта в /home/backup/.ssh/authorized_keys, но с ограничением:

command="ionice -c3 nice -n19 /usr/bin/rrsync -ro /",restrict ssh-ed25519 AAAA... store

Программа rrsync идёт в пакете rsync, на Ubuntu 24.04 и новее она лежит в /usr/bin. С этой строкой ключ умеет только читать файлы через rsync, причём с низким приоритетом, чтобы не мешать сайту. На тесте попытка записать файл оборвалась с ошибкой, а команда rm -rf получила ответ SSH_ORIGINAL_COMMAND does not run rsync. Проверьте то же самое у себя сразу после настройки.

Дамп базы на сервере сайта

Файлы хранилище заберёт само, а базу нужно сначала выгрузить в файл. Дамп делаем раньше копирования файлов: так всё, на что ссылается база, уже лежит на диске к моменту, когда до него дойдёт rsync. Опция --single-transaction позволяет снять целостный дамп InnoDB без остановки сайта.

#!/usr/bin/env bash
# Дамп баз на сервере сайта. Логин и пароль лежат в /root/.my.cnf (chmod 600).
set -euo pipefail

OUT=/var/backups/db
DATABASES="site_db moodle"
KEEP_DAYS=3
STAMP=$(date +%F_%H%M)

umask 027
trap 'rm -f "$OUT"/.*.tmp' EXIT

for db in $DATABASES; do
  tmp="$OUT/.$db.$STAMP.tmp"
  mysqldump --single-transaction --quick --routines --triggers --events \
    --no-tablespaces --default-character-set=utf8mb4 "$db" | gzip -c > "$tmp"

  # gzip -t пропустит и оборванный дамп, поэтому смотрим на его последнюю строку
  if ! gzip -dc "$tmp" | tail -n 1 | grep -q '^-- Dump completed'; then
    echo "Дамп $db оборван" >&2
    exit 1
  fi
  mv "$tmp" "$OUT/$db.$STAMP.sql.gz"
done

find "$OUT" -name '*.sql.gz' -mtime +"$KEEP_DAYS" -delete

Здесь важны две вещи. Без pipefail упавший mysqldump незаметен, потому что последней в цепочке успешно отрабатывает gzip. А такой обрезанный архив проходит и gzip -t, поэтому проверять надо последнюю строку дампа. Запускаем за час до прихода хранилища:

# /etc/cron.d/dump-db
30 2 * * * root /usr/local/bin/dump-db.sh

С PostgreSQL логика та же: pg_dump -Fc -f файл имя_базы, проверка кода возврата, а целость формата custom покажет пробное восстановление через pg_restore.

Скрипт, который забирает файлы

Он живёт на хранилище в /usr/local/bin/backup-pull.sh. Прерванный запуск продолжается с того же места, а готовый снимок получает дату только после полного успеха.

#!/usr/bin/env bash
# Запускается на хранилище: забирает файлы с сервера сайта, складывает снимки по датам.
set -uo pipefail

SITE=site1
HOST=backup@prod.example.ru
ROOT=/backup/$SITE
SOURCES=(
  "site:/var/www/site/"
  "moodledata:/var/moodledata/"
  "db:/var/backups/db/"
  "nginx:/etc/nginx/"
)
EXCLUDES=(
  --exclude=/cache/ --exclude=/localcache/ --exclude=/sessions/
  --exclude=/temp/ --exclude=/trashdir/ --exclude=node_modules/
)
KEEP_DAILY=14
KEEP_WEEKLY=8
KEEP_MONTHLY=12
MAX_TRIES=6
WORK=$ROOT/in-progress   # прерванный запуск продолжится с этого же места

alert() {
  # в /etc/backup-alert.conf лежат BOT_TOKEN, CHAT_ID и MAILTO
  . /etc/backup-alert.conf
  curl -4 -sS --max-time 20 "https://api.telegram.org/bot$BOT_TOKEN/sendMessage" \
    -d chat_id="$CHAT_ID" --data-urlencode text="$1" > /dev/null
  printf '%s\n' "$1" | mail -s "Бэкап $SITE" "$MAILTO"
}

pull() {                   # $1 имя папки, $2 путь на сервере сайта
  local name=$1 path=$2 try code
  local link=()
  [ -d "$ROOT/latest/$name" ] && link=(--link-dest="$ROOT/latest/$name/")
  mkdir -p "$WORK/$name"

  for ((try = 1; try <= MAX_TRIES; try++)); do
    rsync -a --delete --numeric-ids --partial-dir=.rsync-partial \
      --timeout=300 --bwlimit=20m "${EXCLUDES[@]}" "${link[@]}" \
      -e "ssh -o ServerAliveInterval=30 -o ServerAliveCountMax=6" \
      "$HOST:$path" "$WORK/$name/"
    code=$?
    # 24 значит «файл исчез, пока шло копирование»: на живом сайте это норма
    if [ "$code" -eq 0 ] || [ "$code" -eq 24 ]; then
      return 0
    fi
    echo "$name: попытка $try, код rsync $code" >&2
    sleep $((try * 60))
  done
  return 1
}

prune() {
  local now d day age
  now=$(date +%s)
  for d in "$ROOT"/20??-??-??_????; do
    [ -d "$d" ] || continue
    day=$(basename "$d")
    day=${day%_*}
    age=$(( (now - $(date -d "$day" +%s)) / 86400 ))

    [ "$age" -lt "$KEEP_DAILY" ] && continue
    [ "$(date -d "$day" +%u)" = 7 ] && [ "$age" -lt $((KEEP_WEEKLY * 7)) ] && continue
    [ "$(date -d "$day" +%d)" = 01 ] && [ "$age" -lt $((KEEP_MONTHLY * 31)) ] && continue
    rm -rf -- "$d"
  done
}

mkdir -p "$ROOT"
exec 9> "$ROOT/.lock"
flock -n 9 || { echo "Прошлый запуск ещё идёт"; exit 0; }

failed=""
for item in "${SOURCES[@]}"; do
  pull "${item%%:*}" "${item#*:}" || failed="$failed ${item%%:*}"
done

if [ -n "$failed" ]; then
  alert "Бэкап $SITE не собрался, не докачано:$failed. Старые снимки не тронуты."
  exit 1
fi

SNAP=$ROOT/$(date +%F_%H%M)
mv "$WORK" "$SNAP"
ln -sfn "$SNAP" "$ROOT/latest"
date +%s > "$ROOT/LAST_OK"
prune
ОпцияЗачем она здесь
-aСохраняет права, даты и символические ссылки
--deleteУдалённое на сайте не попадёт в новый снимок. Старые снимки это не трогает
--link-destФайл, который не менялся, становится жёсткой ссылкой на прошлый снимок и не занимает нового места
--partial-dirНедокачанный файл сохраняется и потом докачивается
--timeout=300Если сеть молчит пять минут, rsync выходит, а скрипт делает новую попытку
--bwlimit=20mОграничивает скорость до 20 МБ/с, чтобы посетители сайта не страдали
--numeric-idsХранит владельцев файлов номерами, а не именами

Про жёсткие ссылки простыми словами: каждая папка с датой выглядит полной копией, и из неё можно восстановить сайт как есть. На диске она занимает только разницу с предыдущей. В моём тесте первый снимок занял 202 МБ, второй после правки пары файлов около мегабайта, а большой файл в обоих снимках оказался одним и тем же файлом на диске.

С такой схемой легко нарушить несколько правил:

  • Не добавляйте --inplace и --append в этот скрипт. Они пишут прямо в существующий файл, а этот файл через жёсткую ссылку может быть частью старых снимков. Испортите новую копию и все предыдущие заодно.
  • Не правьте файлы внутри снимков по той же причине.
  • Код 24 не считается ошибкой. На живом сайте файлы исчезают прямо во время копирования. Код 23 другое дело: что-то не прочиталось, чаще из-за прав, и такой запуск надо разбирать.
  • Чистка идёт только после успеха. Если сеть легла на неделю, старые копии останутся на месте.
  • Снимки живут на одном диске. Жёсткие ссылки работают в пределах одной файловой системы, и умерший диск заберёт всю историю. Вторую копию они не заменяют.

Опцию -z включайте только на тонком канале и для текстовых данных: видео и архивы от неё не сжимаются, а процессор она занимает.

Один большой файл и плохая связь

Для разовой выгрузки архива есть короткий вариант. Запускайте его в tmux, чтобы обрыв вашего SSH не убил процесс:

until rsync --partial --append-verify --timeout=120 \
    backup@prod.example.ru:/var/backups/archive.tar.gz ./; do
  sleep 60
done

Тут --append-verify уместен, потому что снимков и жёстких ссылок нет. На тесте я убила процесс на 40% файла, и следующая попытка докачала его до конца.

Если на сервере нет места под архив, отправляйте его сразу в сеть:

ssh root@prod.example.ru 'tar czf - -C / var/www/site' > site.tar.gz
tar tzf site.tar.gz | wc -l

На диске сервера при этом ничего не появляется, а вторая строка проверяет, что архив читается. Докачки здесь нет, обрыв означает новый запуск, поэтому способ годится для десятков гигабайт, а не для терабайта.

Что учесть для Moodle

В каталоге moodledata не нужно копировать cache, localcache, sessions, temp и trashdir, об этом прямо сказано в документации Moodle. В скрипте выше они уже исключены.

Файлы в filedir называются по хешу SHA-1 своего содержимого. Изменённый файл получает новое имя, и rsync копирует только новое. Заодно это даёт редкую возможность проверить копию вообще без сервера:

cd /backup/site1/latest/moodledata
find filedir -type f -path '*/[0-9a-f][0-9a-f]/[0-9a-f][0-9a-f]/*' | while read -r f; do
  [ "$(sha1sum "$f" | cut -d' ' -f1)" = "$(basename "$f")" ] || echo "Повреждён: $f"
done

Команда читает каждый файл целиком, на больших объёмах запускайте её раз в месяц и с ionice -c3. Если включены автоматические копии курсов, их файлы .mbz лежат там же и сильно раздувают объём: задайте им срок хранения или вынесите в отдельный каталог. Общая логика копий СДО описана в статье про резервное копирование Moodle.

Прописываем расписание

На современных системах удобнее таймер systemd: он ведёт журнал и при Persistent=true запускает пропущенную задачу, если сервер в нужный момент был выключен.

# /etc/systemd/system/backup-pull.service
[Unit]
Description=Бэкап site1

[Service]
Type=oneshot
ExecStart=/usr/local/bin/backup-pull.sh
Nice=10
IOSchedulingClass=idle

# /etc/systemd/system/backup-pull.timer
[Unit]
Description=Бэкап site1 каждую ночь

[Timer]
OnCalendar=*-*-* 03:30:00 Europe/Moscow
Persistent=true
RandomizedDelaySec=10m

[Install]
WantedBy=timers.target
systemctl daemon-reload
systemctl enable --now backup-pull.timer
systemctl list-timers | grep backup
journalctl -u backup-pull -n 50

Если привычнее cron, хватит одной строки. Блокировка уже есть в самом скрипте, а время cron берёт из настроек сервера, так что проверьте часовой пояс:

# /etc/cron.d/backup-pull
30 3 * * * root /usr/local/bin/backup-pull.sh >> /var/log/backup-pull.log 2>&1

Утренняя проверка копии

Скрипт сообщит об ошибке, только если его кто-то запустил. Отдельная проверка ловит то, что он сам увидеть не может: таймер отключили, дамп перестал обновляться, половина файлов на сайте исчезла.

#!/usr/bin/env bash
# Утренняя проверка хранилища: копия свежая, дампы целые, файлов не стало резко меньше.
set -uo pipefail

SITE=site1
ROOT=/backup/$SITE
DATABASES="site_db moodle"
MAX_AGE_HOURS=26
MIN_PERCENT=70
problems=""

alert() {
  . /etc/backup-alert.conf
  curl -4 -sS --max-time 20 "https://api.telegram.org/bot$BOT_TOKEN/sendMessage" \
    -d chat_id="$CHAT_ID" --data-urlencode text="$1" > /dev/null
  printf '%s\n' "$1" | mail -s "Бэкап $SITE" "$MAILTO"
}

last=$(cat "$ROOT/LAST_OK" 2> /dev/null || echo 0)
age=$(( ($(date +%s) - last) / 3600 ))
[ "$age" -le "$MAX_AGE_HOURS" ] || problems+="Удачный снимок был $age ч назад. "

for db in $DATABASES; do
  dump=$(ls -1t "$ROOT"/latest/db/"$db".*.sql.gz 2> /dev/null | head -n 1)
  if [ -z "$dump" ] || ! gzip -dc "$dump" | tail -n 1 | grep -q '^-- Dump completed'; then
    problems+="Дамп $db отсутствует или оборван. "
  elif [ -z "$(find "$dump" -mmin -$((MAX_AGE_HOURS * 60)))" ]; then
    problems+="Свежего дампа $db нет. "
  fi
done

prev=$(ls -1d "$ROOT"/20??-??-??_???? | sort | tail -n 2 | head -n 1)
now_files=$(find "$ROOT/latest/" -type f | wc -l)
prev_files=$(find "$prev/" -type f | wc -l)
if [ $((now_files * 100)) -lt $((prev_files * MIN_PERCENT)) ]; then
  problems+="Файлов было $prev_files, стало $now_files. "
fi

if [ -n "$problems" ]; then
  alert "БЭКАП $SITE, ПРОБЛЕМА: $problems"
  exit 1
fi
alert "Бэкап $SITE в порядке: снимку $age ч, файлов $now_files"

Поставьте её на 08:30 и получайте сообщение каждое утро, в том числе при успехе. Если сообщения нет, значит, сломалось что-то ещё. Настройку Telegram-бота и почты смотрите в статье про мониторинг.

Копия на свой компьютер

Третья копия физически у вас. Забирайте её с хранилища, а не с сервера сайта: сайт не будет нагружаться лишний раз. На хранилище заведите для этого такого же пользователя с ключом только на чтение.

На Mac есть ловушка. Штатный /usr/bin/rsync в новых версиях macOS заменён на openrsync. На моём тесте он не понял --append-verify, а при --link-dest молча сделал полные копии вместо жёстких ссылок, и диск закончился бы очень быстро. Поставьте настоящий: brew install rsync.

#!/bin/bash
# Запускается на Mac: забирает последний снимок с хранилища на свой диск.
set -uo pipefail

RSYNC=/opt/homebrew/bin/rsync    # на Mac с Intel это /usr/local/bin/rsync
HOST=backup-reader@store.example.ru
ROOT="$HOME/Backups/site1"
KEEP=10
WORK="$ROOT/in-progress"

mkdir -p "$WORK"
if [ -d "$ROOT/latest" ]; then
  "$RSYNC" -a --delete --partial-dir=.rsync-partial --timeout=300 \
    --link-dest="$ROOT/latest/" "$HOST:/backup/site1/latest/" "$WORK/"
else
  "$RSYNC" -a --delete --partial-dir=.rsync-partial --timeout=300 \
    "$HOST:/backup/site1/latest/" "$WORK/"
fi
code=$?
if [ "$code" -ne 0 ] && [ "$code" -ne 24 ]; then
  exit "$code"
fi

SNAP="$ROOT/$(date +%F_%H%M)"
mv "$WORK" "$SNAP"
ln -sfn "$SNAP" "$ROOT/latest"

ls -1d "$ROOT"/20* | sort -r | tail -n +$((KEEP + 1)) | while read -r old; do
  rm -rf -- "$old"
done

Запуск по расписанию на Mac делает launchd. Если ноутбук спал в назначенное время, задача выполнится после пробуждения.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
  <key>Label</key>
  <string>ru.example.site-backup</string>
  <key>ProgramArguments</key>
  <array>
    <string>/bin/bash</string>
    <string>/Users/you/bin/mac-pull.sh</string>
  </array>
  <key>StartCalendarInterval</key>
  <dict>
    <key>Hour</key>
    <integer>10</integer>
    <key>Minute</key>
    <integer>0</integer>
  </dict>
  <key>StandardOutPath</key>
  <string>/tmp/site-backup.log</string>
  <key>StandardErrorPath</key>
  <string>/tmp/site-backup.log</string>
</dict>
</plist>
launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/ru.example.site-backup.plist

Что ещё учесть:

  • Внешний диск форматируйте в зашифрованный APFS. На exFAT жёсткие ссылки не работают.
  • Доступ к диску. macOS не пускает фоновые задачи на внешние диски и в «Документы». Дайте rsync полный доступ к диску в настройках безопасности, иначе в журнале будет Operation not permitted.
  • Персональные данные. Ноутбук с копией базы студентов должен быть зашифрован и под паролем.
  • Windows. Тот же подход работает через WSL с Ubuntu и Планировщик заданий. Сама я работаю на Mac, поэтому этот вариант сначала проверьте на тестовой папке.

Когда rsync мало

У снимков rsync есть слабое место: на хранилище файлы лежат открыто. Если хранилище чужое или это S3, нужен другой инструмент.

ИнструментСильная сторонаОграничениеКогда брать
rsync со снимкамиОбычные папки, открываются без спецпрограммНет шифрования на хранилищеСвоё хранилище, которому доверяете
resticШифрование, дедупликация, работа с S3Без пароля копия бесполезнаЧужое хранилище или S3
BorgBackupШифрование, сжатие, режим только добавленияНа другой стороне нужен SSH и сам BorgОтдельный сервер под копии
rcloneУмеет S3 и десятки облаковКопирует файлы, истории снимков не ведётПерекинуть готовые архивы в S3

Базовый набор команд restic из его документации выглядит так:

export RESTIC_REPOSITORY=sftp:backup@store.example.ru:/backup/restic
export RESTIC_PASSWORD_FILE=/root/.restic-pass

restic init
restic backup /var/www/site /var/moodledata --exclude cache --exclude temp
restic forget --keep-daily 14 --keep-weekly 8 --keep-monthly 12 --prune
restic check --read-data-subset=5%
restic restore latest --target /tmp/restore-test

С rclone будьте внимательны к команде rclone sync: она повторяет удаления. Если сайт стёрли и ночью запустился sync, копия опустеет вслед за ним. Для бэкапов берите rclone copy и блокировку Object Lock на стороне хранилища.

Нужна настройка под ваш проект или перенос большого объёма без простоя? Посмотрите отказоустойчивую инфраструктуру и перенос на другой хостинг или напишите мне.

Частые вопросы про большие бэкапы

Почему нельзя просто собирать tar каждую ночь?

На небольшом сайте можно. На сотнях гигабайт архив занимает столько же места на диске, часами нагружает сервер и при обрыве скачивается заново. Rsync передаёт только изменения и продолжает с места обрыва.

Хватит ли бэкапа из панели хостинга или FastPanel?

Как быстрая копия для отката подойдёт. Как единственная нет: панель и её копии обычно живут на том же сервере или у того же провайдера, и в общей аварии вы потеряете их вместе с сайтом.

Как восстановить сайт из снимка?

Скопируйте папку снимка на новый сервер командой rsync -a, загрузите базу командой gzip -dc дамп.sql.gz | mysql имя_базы, поправьте настройки подключения и адрес сайта, затем проверьте вход, файлы, почту и cron. Каждая папка снимка самостоятельна, предыдущие для восстановления не нужны.

Сайт состоит из миллионов мелких файлов, rsync обходит их часами. Что делать?

Разбейте копирование на отдельные каталоги, разведите их по времени и держите низкий приоритет через ionice. Если и этого мало, посмотрите на снимки файловой системы через LVM или ZFS: они не зависят от количества файлов.

Нужна помощь с Moodle?

Опишите задачу — расскажу, как решить её конкретно в вашем случае. Свяжитесь — разберём вместе.