NFS и S3-совместимые хранилища
Перед началом
NFS
Для NFS отдельная настройка в Клавдии не требуется. отдельной настройки в Клавдии — достаточно пПримонтировауйтье NFS-экспорт в каталог данных хранилища (KLVD_STORAGE_CONTENT_PATH).: Уузел пишбудет чработать с нким как нас локальныой дфайловой системой. Лок;альная SQLite-база с метаданныеми (SQLite)при этом остаюётся на локальном диске узла для быстрого доступа.
Используйте жёсткое монтирование hard: режим soft может привести к потере данных при тайм-ауте. Рекомендуется: hard mount (обязателен — soft mount(!) теряет данные при таймауте), длинный тайм-аут (— timeo=600).
Если NFS-сервер недоступен, операции записи завожисдают дего возврата — сставьте избыточность группы не мвленееия. 2 с локальным узлом, чЧтобы импортказ NFS не останавливал импорт, используйте группу с избыточностью не менее 2 и включите в неё локальный узел хранения.
S3-совместимое хранилище
ГS3-группа хранилищт байты чанков непосредственно в S3-совместипмом обэъекетнда S3ом хранит чанклище, напряимуюер в S3 (AWS S3, MinIO, Ceph,Ceph или DigitalOcean Spaces),Spaces. мТакой варианут подходит для роль хравынесения на узле. Удобно для холодного тиражирования, вныносах за пределы основной площадки, холодного хранения и масштабирования объёма без увеличения локального диска.
Как работает S3-группа
Узлы с ролью хранения работают как прокси между Клавдием и S3:
- локально на каждом прокси-узле хранится индекс чанков SQLite;
- сами байты чанков находятся в S3;
- остальные компоненты Клавдия используют тот же HTTP API хранилища, что и для локального диска;
- доступ к S3 нужен только узлам хранения этой группы.
Для S3-группы действуют следующие правила:
- избыточность всегда равна числу прокси-узлов:
R = N; каждый из них хранит полный локальный индекс, а байты общие в S3; - отказ одного прокси-узла не блокирует чтение, если доступен другой прокси той же группы;
- запись индекса направляется доступным прокси; вернувшийся после сбоя узел синхронизирует индекс с соседним узлом группы;
- дедупликация работает по содержимому так же, как в локальном хранилище;
- шифрование выполняется на стороне прокси и настраивается для всей группы.
Перед настройкой
Подготовьте:
- заранее созданный бакет: Клавдий не создаёт бакеты и не
огуправляет их жизниченным циклом; - сетевую доступность конечной
ёточки S3 со всех прокси-узлов группы; -
Access KeyиSecret Keyс правами чтения и записи объектов. Перечисление объектов, удаление и административные операции не требуются для обычного чтения и записи: наличие чанка определяется по локальному индексу. Для глубокой проверки целостности используются запросыHEAD, а для пересчёта контрольных сумм — также чтение объекта; проверьте поддержку этих операций у выбранного S3-провайдера.
Настройкате группу
- Создайте или откройте группу хранилищ.
- В [Тип бэкенда]
→выберите«[S3-совместимое хранилище»]. - Заполните
S3-параметры:S3:-
[S3
Endpoint(Endpoint] (!) — адрес,(например,https://s3.us-east-1.amazonaws.comдля AWSилиhttp://minio:9000для MinIO).; -
Bucket([Bucket] (!) — имябзакранета (должен существовать; Клавдий не создаётнного бакетыавтоматически).; -
Region[Region] — регион (обязателен для подписи запросов,;дпараметр обязателен также дляMinIO).MinIO, обычно используетсяus-east-1; -
[Access
KeyKey]/и [SecretKeyKey] — учётные данные;S3при(редактировании пустое значение сохраняет существующий секрет; -
[path-style] — включите для
вMinIO,зCeph и Spaces; для AWS с ашдресацифрованномей virtual-host выключидте).
-
[S3
ВыДобериавьтечленыв группу узлы с ролью хранения, которые имеют доступ к S3. Для отказоустойчивости рекомендуется не менее двух прокси-узлов.- Убедитесь, что избыточность
(установлена автоматически вR = N; дляS3S3-группы этобычполе недоступно1для— средамктирохрванилище надёжно)я. - Нажмите [Сохранить].
{{СКРИНШОТ}}
При сохранении Клавдий проверяет доступ к S3 тестовой записью и чтением небольшого объекта. Если проверка не проходит, группа не сохраняется, а интерфейс показывает причину, например неверный Access Key, отсутствие бакета или запрет доступа. Технические подробности записываются в журнал узла.
При включённом шифровании
группычанк шифруетсяна стдороне клиента передотправкойи в S3.КИдентификатор ключшифрованияи размерпесохреаносяются в метаданных объекта.Тип хранилища нельзя изменить после записи первого чанка: это предотвращает рассинхронизацию сохранённых данных с новой конфигурацией. Для перехода между локальным хранилищем и S3 подготовьте отдельную группу и согласованный план переноса с проверкой данных. Состав узлов, параметры шифрования и правила реакции при этом остаются редактируемыми.
Физическое удаление объектов
Если учётная запись S3 не имеет права
DELETE, удаление чанка из локального индекса не удаляет соответствующий объект из бакета. Для очистки таких объектов согласуйте политику с администратором S3. Правило жизненного цикла должно отличать ненужные объекты от используемых архивом: удаление только по возрасту или общему префиксу может удалить действующие чанки, в том числе используемые несколькими письмами.
Если проверка подключения не прошла
| Код S3 | Что проверить |
|---|---|
InvalidAccessKeyId |
правильность и существование Access Key (!) |
SignatureDoesNotMatch |
Secret Key (!) и параметры подписи запроса |
AccessDenied |
права чтения и записи в выбранный бакет |
NoSuchBucket |
имя бакета; он должен быть создан заранее |
InvalidRegion |
регион, используемый для подписи |
PermanentRedirect |
конечную точку S3 и способ адресации path-style (!) |
RequestTimeout |
доступность и время ответа S3 |
| Ошибка соединения | адрес, DNS, сеть и TLS |
После исправления повторите сохранение группы. При успешной проверке тестовый объект удаляется, если разрешено удаление. При отсутствии права DELETE он может остаться в бакете.
Проверка результата
- Убедитесь, что группа сохранилась и выбранные узлы доступны.
- Создайте {{ССЫЛКА:install.retention-create|правило хранения}} для тестового источника.
- Импортируйте письмо и проверьте его тело и вложение через архив.
- Проверьте {{ССЫЛКА:maintenance.storage-health|состояние группы и целостность данных}}.
Связанные материалы
- {{ССЫЛКА:maintenance.storage-drain|Вывод узла хранения из группы}}
- {{ССЫЛКА:maintenance.backup-storage|Резервная копия хранилища писем}}
Навигация по книге
- Следующая статья: {{ССЫЛКА:install.retention-overview|Как работают правила хранения
}}