Бэкапим без расходов

05.07.2009

Бэкапы — это вечная проблема: то объемы данных сумасшедшие, то вообще забываешь про них. В своем предыдущем проекте dvice.ru (он пока закрыт, так что без ссылки) я допустил досадную ошибку в самом начале его запуска. Я написал небольшой крон, который в 12 часов ночи удалял всех неактивированных пользователей, зарегистрировавшихся больше 24 часов назад. Но я ошибся в запросе и потерял данные пользователей, которые зарегистрировались до первого запуска этого запроса. Слава Богу, у меня были все данные в сессиях, поэтому я восстановил всех тех, кто логинился и ставил галку на чекбоксе — запомнить меня. Обидно и глупо, но на ошибках учатся. Поэтому перед запуском своего крайнего проекта — inwhite.ru, я сделал систему бэкапов.

Бэкапы делались и копились, старые удалялись, и все было отлично. Пока внезапно я не понял, что страдаю полной фигней. Бэкапы-то я делаю, а вот забирать — не забираю. Объемы данных, лежащих на моем VPS, не такие большие, но по почте тоже особо не наотправляешься. Покупать еще один VPS и складывать туда все по FTP/SVN/CVS/SSH не особо хочется, хотя тоже вариант интересный.

До вчерашнего дня я был озадачен мыслью: а как все же забирать эти данные? И вот вечером меня осенило.

Я являюсь счастливым пользователем сервиса Dropbox. Хоть и с бесплатным аккаунтом, но благодаря inwhite.ru у меня есть еще 2.5ГБ места сверху, т.е. не начальные 2ГБ, а уже аж целых 4.5ГБ. И еще на 500МБ место может увеличиться. А это уже нормальная площадка для создания бэкапов средних объемов данных.

На данный момент у меня файлов в архивах бэкапится на 200МБ, баз данных, которые я поставил бэкапиться ежедневно — 2МБ в день, а бэкапов базы данных inwhite.ru, которая бэкапится каждый час (от греха подальше), за неделю набирается пока что примерно на 215МБ.

Я не стал искать книжку «КАК НАСТРОИТЬ БЭКАПЫ С ВАШЕГО СЕРВЕРА ЧЕРЕЗ ДРОПБОКС ЗА 24 ЧАСА». Покопавшись в больших интернетах, я нашел статью, в которой говорится о том, как настроить и заставить работать Dropbox при отсутствии GUI. Это было самое главное, т.к. если у вас на Windows сервер, то вряд ли у вас на сервере есть X.

Статья находится по этому адресу, и я не буду приводить ее здесь, т.к. сам процесс довольно прост и описан достаточно подробно. Скажу лишь пару вещей:

  1. Если вы начали настраивать Dropbox, то HOST_ID зависит от папки, откуда запустили Dropbox
  2. Если вы из обсуждаемого в статье расположения файлов ~/.dropbox-dist перенесете файлы, например, как я, в /usr/local/dropbox (я привык там хранить программы), то вам надо будет по-новой получать HOST_ID
  3. dbreadconfig у меня так и не заработал, и что-то мне подсказывает, что у вас тоже просто так не заработает, только если вы не исправите этот скрипт, написанный на Python
  4. Следствие из п.3 — запаситесь sqlite3
  5. Скрипт запуска Debian/Ubuntu у меня тоже не особо пожелал работать, поэтому я вам тут его в исправленном виде выложу

Также я позволил себе сделать несколько новых па, т.к. у меня свои правила на сервере. Надо создать пользователя для Dropbox:

adduser --home /home/dropbox --shell /bin/false --disabled-login dropbox

Обратите внимание на то, что в папке пользователя вам надо будет сделать еще одну папку — "Dropbox", т.к. именно в нее по умолчанию Dropbox будет записывать файлы.

Т.е. по сути должно получиться что-то вроде:

/home
    /home/dropbox
        # эту папку вам создаст сам Dropbox после первого правильного запуска
        /home/dropbox/.dropbox
        # а вот эту папку вам надо будет сделать самому, т.к. Dropbox этого почему-то не делает
        /home/dropbox/Dropbox

Сам скрипт запуска

USERS="dropbox"
DAEMON=/usr/local/dropbox/dropbox
LAUNCH=/usr/local/dropbox/dropboxd

start() {
    echo "Starting dropbox..."
    for dbuser in $USERS; do
        HOMEDIR=`getent passwd $dbuser | cut -d: -f6`
        if [ -x $DAEMON ]; then
            HOME="$HOMEDIR" start-stop-daemon -b -o -c $dbuser -S -u $dbuser -x $LAUNCH
        fi
    done
}
				
stop() {
    echo "Stopping dropbox..."
    for dbuser in $USERS; do
        if [ -x $DAEMON ]; then
            start-stop-daemon -o -c $dbuser -K -u $dbuser -x $DAEMON
        fi
    done
}
											
status() {
    for dbuser in $USERS; do
        HOMEDIR=`getent passwd $dbuser | cut -d: -f6`
        USERPID=`cat $HOMEDIR/.dropbox/dropbox.pid`
        if [ -z $USERPID ] ; then
            echo "Dropbox for USER $dbuser: not running."
        else
            echo "Dropbox for USER $dbuser: running (pid $USERPID)"
        fi
    done
}

case "$1" in
    start)
        start
    ;;

    stop)
        stop
    ;;

    restart|reload|force-reload)
        stop
        start
    ;;

    status)
        status
    ;;

    *)
        echo "Usage: /etc/init.d/dropbox {start|stop|reload|force-reload|restart|status}"
    exit 1

esac

exit 0

Но написать статью про то, как воспользоваться какой-то там другой статьей — это мне кажется бредом, поэтому я решил поделиться не просто такого рода вариацией на тему «Как забэкапить данные с сервера без лишних телодвижений», а еще и скриптами самого процесса.

Я уже говорил, что бэкап у меня происходит с разным постоянством для разных сайтов, но напомню еще раз:

  • inwhite.ru – каждый час
  • все остальное — каждые сутки

По сути особой разницы в этих скриптах нет, поэтому приведу их 1 раз. Скриптов два, т.к. мы бэкапим базы и файлы, а они — суть разные вещи.

Бэкапим базы данных

#!/bin/bash

DATE=`date "+%Y-%m-%d"`
TIME=`date "+%H-%M"`

# в Dropbox я создал специальную папку Backup, т.к.
# у меня там хранятся еще и другие файлы и папки
# если же вы создадите себе отдельный аккаунт на Dropbox
# для этого, то, конечно же, вам эта папка будет не нужна
HOME="/home/dropbox/Dropbox/Backup"

# массив таблиц, которые скрипт должен игнорировать
# я старался максимально упростить жизнь, и сделать так, чтобы можно
# было меньше залезать на сервер при добавлении новых баз
# мне кажется, что проще залезть и добавить базу, которую не надо 
# бэкапить, чем каждый раз добавлять новые базы, которые надо бэкапить
SKIP=("information_schema" "mysql")

HOST="127.0.0.1" # хост, на котором расположена база данных
USER="" # укажите здесь имя пользователя для соединения с базой данных
PASSWORD="" # пароль этого пользователя

# получаем список доступных баз данных
DBS="$(mysql -h$HOST -u$USER -p$PASSWORD -Bse 'show databases')"

# небольшая функция, для проверки на вхождение записи в массив
# я не буду объяснять, как она работает, если вы захотите, то сами
# разберетесь, т.к. тут нет ничего сложного
in_array() {
    haystack=("$@")
    needle=$1
	
    unset haystack[0]
	    
    for i in "${haystack[@]}"; do
        if [ "$needle" == "$i" ]; then
            return 1
        fi
    done
						
    return 0
}

# HERE GOES THE MAGIC    
for DB in $DBS; do
    # есть ли текущая база в списке игнорируемых
    in_array $DB "${SKIP[@]}"
    
    # если нет
    if [ "$?" == 0 ]; then
	# создаем полный путь до папки, куда мы положим бэкап
	# это будет выглядеть примерно так:
	# /home/dropbox/Dropbox/Backup/DB/inwhite
	mkdir -p $HOME/DB/$DB

	# делаем дамп базы данных
	mysqldump -h$HOST -u$USER -p$PASSWORD $DB > /tmp/db-$DB-$DATE-$TIME.sql
	# сжимаем TAR'ом
	tar -Pcf /tmp/db-$DB-$DATE-$TIME.tar /tmp/db-$DB-$DATE-$TIME.sql
	# сжимаем GZIP'ом. обратите внимание на то, что стоит максимальное сжатие,
	# поэтому на больших объемах данных процесс может происхоть долго
	gzip -c9 /tmp/db-$DB-$DATE-$TIME.tar > $HOME/DB/$DB/$DATE.tar.gz

	# удаляем ненужные файлы, оставшиеся после создания бэкапа
	rm -f /tmp/db-$DB-$DATE-$TIME.tar
	rm -f /tmp/db-$DB-$DATE-$TIME.sql

	# удаляем файлы, которым больше 7 дней
	find $HOME/DB/$DB/* -type d -mtime +7 -exec rm -rf {} \;
    fi
done

exit 0;

А теперь бэкапим файлы. По сути это два примерно одинаковых процесса с небольшими различиями в плане получения данных.

#!/bin/bash

HOME="/home/dropbox/Dropbox/Backup"

DATE=`date "+%Y-%m-%d"`
TIME=`date "+%H-%M"`

# массив доменов, которые мы не бэкапим
SKIP=("test1.ru" "test2.ru" "test3.ru")

# получаем список папок, в которых расположены файлы наших доменов
# у меня файлы расположены в папке /home/apache
# если у вас они расположены, например, в /var/www, то строка ниже
# должна выглядеть примерно так:
# DOMAINS=`find /var/www -maxdepth 1 -type d | sed 's/\/var\/www//' | sed 's/\///'`
DOMAINS=`find /home/apache -maxdepth 1 -type d | sed 's/\/home\/apache//' | sed 's/\///'`

in_array() {
    haystack=("$@")
    needle=$1
    
    unset haystack[0]
    
    for i in "${haystack[@]}"; do
	if [ "$needle" == "$i" ]; then
	    return 1
	fi
    done
    
    return 0
}

for DOMAIN in $DOMAINS; do
    in_array $DOMAIN "${SKIP[@]}"

    if [ "$?" == 0 ]; then
	mkdir -p /$HOME/FS/$DOMAIN

	tar -Pcf /tmp/fs-$DOMAIN-$DATE-$TIME.tar /home/apache/$DOMAIN
	gzip -c9 /tmp/fs-$DOMAIN-$DATE-$TIME.tar > /$HOME/FS/$DOMAIN/$DATE.tar.gz

	# в случае с файлами мы удаляем только TAR, т.к. SQL файла
	# у нас тут не производится
	rm -f /tmp/fs-$DOMAIN-$DATE-$TIME.tar

	find /$HOME/FS/$DOMAIN/* -type d -mtime +7 -exec rm -rf {} \;
    fi
done;

exit 0;

У меня они называются database и filesystem соответственно, так что после установки их в /etc/cron.daily вам надо сделать:

chmod +x /etc/cron.daily/database
chmod +x /etc/cron.daily/filesystem

Это, конечно же, простейший вариант. Можно все сделать более «правильно» и положить эти скрипты куда-нибудь, а задачу добавить через crontab -e. Но я единоличный пользователь своего сервера, и доступа к нему нет ни у кого другого, поэтому я вправе сделать так, как мне проще и удобнее.

Обращаю также внимание на то, что пользователю, от имени которого вы будете делать бэкапы базы данных достаточно таких прав:

SELECT, SHOW DATABASES, LOCK TABLES, SHOW VIEW

Вот, в общем-то, и все, что тут можно рассказать. Спасибо за внимание, и пользуйтесь на здоровье. Надеюсь, кому-то это все же пригодится.

blog comments powered by Disqus