Ceph миграция пула без простоя.

Ceph миграция пула без простоя.
Бывают ситуации когда  в ceph нужно смигрировать данные между пулами. Когда обьемы десятки терабайт это невозможно выполнить быстро, особенно на медленном хранилище. В этом на время переноса используют кеш.

Если вас даунтайм устраивает можете использовать этот вариант.

https://gist.github.com/ksingh7/ae09f33eded05e8215aa

У нас задача смигрировать данные (s3 bucket) c пула который с типом данных erasure (кодирование шифрование) на replicated.

Что мы будем делать:

Отключим rgw (минута простоя будет).

Переименуем пул, создадим новый пул с нужными типами репликации со старым именем.

Поставим старый пул кешом к новому.

 pool_migration-2

 

Смегрируем данные.

 

pool_migration-3

 

 

На всех нодах останавливаем radosgw


systemctl stop ceph-radosgw.target


 

Проверяем статус ceph чтобы все rgw были недоступны иначе на время переезда если попытаються туда залить данные он создаст бакет, вы не сможете смигрировать данные.

ceph -s

chack ceph rgw

 

Переименовываем пул testpool, на его месте создадим новый с таким же названием, это нужно для того чтобы использовать кеш.


ceph osd pool rename testpool testpool-old


Создаем новый пул  с правилом репликации replicated  (replicated_hdd), плейменсгруп 8 (настраиваем под себя).


ceph osd pool create testpool 8 8 replicated replicated_hdd


Если у вас не разбит или вы хотите в дефолтном создать создаем без replicated replicated_hdd

Проверяем пулы


rados df

rados-df

 


Создаем кеш для пула нового пула testpool, кешом будет старый пул (в этом вся суть) с данными. 

По скольку кеш не пустой то используем ключ --force-nonempty


ceph osd tier add testpool testpool-old --force-nonempty


 

Ставим форвард 


ceph osd tier cache-mode testpool-old forward --yes-i-really-mean-it


Переключаем пользователей на кеш чтобы были видны все данные


ceph osd tier set-overlay testpool testpool-old


 

После этого можем запустить rgw


systemctl start ceph-radosgw.target


Начинаем вытеснять данные с старого пула (использовать в скрине или продолжить после прерывания той же командой).


rados -p testpool-old cache-flush-evict-all


Проверяем процесс миграции


rados df

rados-df-migrations


Если все перенесено, отвязываем overlay и кеш.


ceph osd tier remove-overlay  testpool

ceph osd tier remove testpool testpool-old


 

Теги ceph