Функциональности DRBD во FreeBSD можно добиться примонтировав блочное устройство по сети
при помощи GEOM Gate (ggate) и добавив его в зеркало с локальным диском средствами gmirror.
Для увеличения производительности две машины желательно соединить напрямую
через отдельные гигабитные Ethernet порты.
Размер зеркалируемых дисковых разделов должен быть минимально возможным для решаемой задачи,
так как для последующего перестроения зеркала большого размера может
понадобиться слишком много времени.
Например, 20Гб раздел будет синхронизирован при 100Мбит линке за 30 минут, а 500Гб — за 11 часов.
Имеем два узла: master — машина на которой выполняется работа,
slave — запасная машина, которая в случае краха мастера перехватит инициативу.
Организуем процесс зеркалирования: разделы /dev/da0s1d на обоих машинах будут
использованы в качестве вешнего диска, а /dev/ad0s1e — в качестве локального.
Включаем на обоих машинах поддержку GEOM модулей geom_mirror и geom_gate.
Прописываем в /boot/loader.conf:
geom_mirror_load="YES" geom_gate_load="YES"
Перезагружаем системы или загружаем модули руками, если то позволяет текущий securelevel:
kldload geom_mirror kldload geom_gate
Предположим, что обе машины имеют два сетевых интерфейса:
fxp0 — для взаимодействия с внешним миром (мастер узел имеет IP 172.16.100.1, а
slave — 172.16.100.2).
fxp1 — для зеркалирования дисков между узлами (master — 192.168.100.1, slave — 192.168.100.2).
На fxp0 мастера также поднят через алиас 172.16.100.12, который будет использоваться
для предоставления публичных сервисов и в случа краха мастера будет перехвачен на slave узле.
Для переключения на slave в случае сбоя будем использовать freevrrpd, установленный
из порта /usr/ports/net/freevrrpd
Пример конфигурации freevrrpd:
Мастер узел:
[VRID] serverid = 1 interface = fxp0 priority = 255 # повышенный приоритет для master addr = 172.16.100.12/32 # рабочий IP, обрабатывающий запросы внешнего мира. password = anyoneulike masterscript = /usr/local/bin/become_master backupscript = /usr/local/bin/become_standby
Резервный узел, который перехватит инициативу в случае краха мастера:
[VRID] serverid = 1 interface = fxp0 priority = 240 # пониженный приоритет, поднимать сервер только в случае краха мастера addr = 172.16.100.12/32 # какой IP поднимать в случае краха мастера password = anyoneulike masterscript = /usr/local/bin/become_master backupscript = /usr/local/bin/become_standby
Экспорт дисковых разделов.
На мастер узле прописываем параметры экспортируемого со slave диска в /etc/gg.exports:
192.168.0.2 RW /dev/da0s1d
А на slave-е параметры диска на мастр-узле (в случае краха мастера, slave
возмет на себя роль мастера):
192.168.0.1 RW /dev/da0s1d
На запасной машине запускаем процесс ggated (только на slave, не на мастере !).
ggated -v
Демон будет запущен в режиме отладки.
После того как все заработает нужно прописать запуск ggated в стартовый скрипт слейва.
Импортирование удаленного блочного устройства на мастер-узле осуществляется командой:
ggatec create 192.168.100.2 /dev/da0s1d
которая вернет имя нового устройства, как правило это будет ggate0
В дальнейшем на мастере нужно осуществлять дисковые операции с /dev/ggate0
Запускаем ggatec только на мастере !
При сбое мастера freevrrpd скрипт become_master завершит выполнение ggated на
slave узле и выполнит ggatec,
а после восстановления старого мастера поднимет на нем ggated через скрипт become_standby
Настройка заркалирования.
На мастер-узле создаем RAID-1 из локального и удаленного дисков:
gmirror label -v -n -b prefer gm0 /dev/ggate0 gmirror insert -p 100 gm0 /dev/ad0s1e
Алгоритм балансировки «prefer» важен для минимизации нагрузки на вторичный диск,
все операции чтения будут производится с локального диска, которому выставлен
более высокий приоритет 100.
Перестраиваем массив:
gmirror rebuild rm0 ggate0
Для включения опции автосинхронизации слайсов выполняем:
gmirror configure -a gm0
После завершения синхронизации массива в логе увидим:
GEOM_MIRROR: Device gm0: rebuilding provider ggate0 finished. GEOM_MIRROR: Device gm0: provider ggate0 activated.
Далее /dev/gm0 можно отформатировать стандартным образом через newfs и
примонтировать на мастер сервере.
Переключение на резевный (slave) сервер в случае краха основного сервера.
Проведем эксперимент — отключим линк у мастер-сервера, симулировав его крах.
Ниже описана логика работы скрипта become_master
На slave завершим ggated процесс. Зеркало должно автоматически заработать на запасном узле:
GEOM_MIRROR: Device gm0 created (id=2381431211). GEOM_MIRROR: Device gm0: provider ad0s1e detected. GEOM_MIRROR: Force device gm0 start due to timeout. GEOM_MIRROR: Device gm0: provider ad0s1e activated. GEOM_MIRROR: Device gm0: provider mirror/gm0 launched.
Далее выпоним fsck на случай нарушения целостности ФС и примонтируем раздел:
fsck -t ufs /dev/mirror/gm0 mount /dev/mirror/gm0 /mnt
После того как раздел заработал на slave-сервере, попытаемся восстановить работу мастера,
который должен после краза занять роль запасной машины.
После включения мастер-узла, займемся восстановления его статуса первичного узла.
На местере останавливаем работу зеркала gmirror для перевода его в подчиненный режим.
gmirror stop gm0
Запускаем ggated для приема репликаций от бывшего слейва, теперь ставшего основным сервером
ggated -v
Подключаем локальный диск /dev/da0s1e в зеркало в качестве неприоритетного раздела.
Для этого выполняем автоконфигурацию:
gmirror configure -n gm0
Оформляем экспорт локального диска /dev/da0s1e:
ggatec create 192.168.100.2 /dev/da0s1e
И ставим экспортируемому диску наименьший приоритет.
gmirror insert -p 0 gm0 /dev/ggate
Включаем автоконфигурацию зеркала:
gmirror cinfigure -a gm0
Перестраиваем зеркало:
gmirror rebuild gm0 ggate0
После завершения перестроения в логе наблюдаем:
GEOM_MIRROR: Device gm0: rebuilding provider ggate0 finished. GEOM_MIRROR: Device gm0: provider ggate0 activated.
Удаляем раздел /dev/ad0s1d из зеркала и вновь добавляем его с повышенным приоритетом,
для восстановления функций основного сервера:
gmirror remove gm0 /dev/ad0s1d gmirror insert -p 100 gm0 /dev/ad0s1d
Ситуация краха запасного сервера, при работающей мастере.
После восстановления работы слейва, на мастер хосте временно отключаем импорт диска:
ggatec destroy -f -u 0
в логе
GEOM_GATE: Device ggate0 destroyed. GEOM_MIRROR: Device gm0: provider ggate0 disconnected.
На слейв узде останавливаем зеркалирование:
gmirror stop gm0
Запускаем на слейве экспорт ggated
ggated -v
На мастер узле подключаем удаленный диск:
ggatec create 192.168.100.2 /dev/da0s1e
На мастере автоматически должен быть обнаружен подключенный внешний диск:
GEOM_MIRROR: Device gm0: provider ggate0 detected. GEOM_MIRROR: Device gm0: provider ggate0 activated.
Запускаем перестроение raid и ждем его завершения:
gmirror rebuild gm0 ggate0
Замечания по поводу сохранения целостности данных:
— нельзя экспортировать через ggated физические разделы, если они уже добавлены в зеркало;
— не нужно предпринимать попытки создания мастер-мастер репликации, это невозможно;
— нельзя монтировать экспортируемый раздел на активном слейв сервере.
Монтирование экспортируемого раздела слейва возможно только на мастер-узле;
— После сбоя необходимо выполнить fsck для зеркала;
— Обязательно ведение резервного копирования зеркала.
RSS & RSS to Email