NFS и S3-совместимые хранилища
Перед началом
NFS
Для NFS отдельная настройка в Клавдии не требуется. Примонтируйте NFS-экспорт в каталог KLVD_STORAGE_CONTENT_PATH: узел будет работать с ним как с локальной файловой системой. Локальная SQLite-база с метаданными при этом остаётся на диске узла.
Используйте жёсткое монтирование hard: режим soft может привести к потере данных при тайм-ауте. Рекомендуемый тайм-аут — timeo=600.
Если NFS-сервер недоступен, операции записи ожидают его восстановления. Чтобы отказ NFS не останавливал импорт, используйте группу с избыточностью не менее 2 и включите в неё локальный узел хранения.
S3-совместимое хранилище
S3-группа хранит байты чанков непосредственно в S3-совместимом объектном хранилище, например AWS S3, MinIO, Ceph или DigitalOcean Spaces. Такой вариант подходит для вынесения данных за пределы основной площадки, холодного хранения и масштабирования объёма без увеличения локального диска.
Как работает S3-группа
Узлы с ролью хранения работают как прокси между Клавдием и S3:
- локально на каждом прокси-узле хранится индекс чанков SQLite;
- сами байты чанков находятся в S3;
- остальные компоненты Клавдия используют тот же HTTP API хранилища, что и для локального диска;
- доступ к S3 нужен только узлам хранения этой группы.
Для S3-группы действуют следующие правила:
- избыточность всегда равна числу прокси-узлов:
R = N; каждый из них хранит полный локальный индекс, а байты общие в S3; - отказ одного прокси-узла не блокирует чтение, если доступен другой прокси той же группы;
- запись индекса направляется доступным прокси; вернувшийся после сбоя узел синхронизирует индекс с соседним узлом группы;
- дедупликация работает по содержимому так же, как в локальном хранилище;
- шифрование выполняется на стороне прокси и настраивается для всей группы.
Перед настройкой
Подготовьте:
- заранее созданный бакет: Клавдий не создаёт бакеты и не управляет их жизненным циклом;
- сетевую доступность конечной точки S3 со всех прокси-узлов группы;
-
Access KeyиSecret Keyс правами чтения и записи объектов. Перечисление объектов, удаление и административные операции не требуются для обычного чтения и записи: наличие чанка определяется по локальному индексу. Для глубокой проверки целостности используются запросыHEAD, а для пересчёта контрольных сумм — также чтение объекта; проверьте поддержку этих операций у выбранного S3-провайдера.
Настройте группу
- Создайте или откройте группу хранилищ.
- В [Тип бэкенда] выберите [S3-совместимое хранилище].
- Заполните параметры S3:
-
[S3 Endpoint] (!) — адрес, например
https://s3.us-east-1.amazonaws.comилиhttp://minio:9000; - [Bucket] (!) — имя заранее созданного бакета;
-
[Region] — регион для подписи запросов; параметр обязателен также для MinIO, обычно используется
us-east-1; - [Access Key] и [Secret Key] — учётные данные; при редактировании пустое значение сохраняет существующий секрет;
- [path-style] — включите для MinIO, Ceph и Spaces; для AWS с адресацией virtual-host выключите.
-
[S3 Endpoint] (!) — адрес, например
- Добавьте в группу узлы с ролью хранения, которые имеют доступ к S3. Для отказоустойчивости рекомендуется не менее двух прокси-узлов.
- Убедитесь, что избыточность установлена автоматически в
R = N; для S3-группы это поле недоступно для редактирования. - Нажмите [Сохранить].
{{СКРИНШОТ}}
При сохранении Клавдий проверяет доступ к S3 тестовой записью и чтением небольшого объекта. Если проверка не проходит, группа не сохраняется, а интерфейс показывает причину, например неверный Access Key, отсутствие бакета или запрет доступа. Технические подробности записываются в журнал узла.
При включённом шифровании чанк шифруется до отправки в S3. Идентификатор ключа и размер сохраняются в метаданных объекта.
Тип хранилища нельзя изменить после записи первого чанка: это предотвращает рассинхронизацию сохранённых данных с новой конфигурацией. Для перехода между локальным хранилищем и S3 подготовьте отдельную группу и согласованный план переноса с проверкой данных. Состав узлов, параметры шифрования и правила реакции при этом остаются редактируемыми.
Физическое удаление объектов
Если учётная запись S3 не имеет права DELETE, удаление чанка из локального индекса не удаляет соответствующий объект из бакета. Для очистки таких объектов согласуйте политику с администратором S3. Правило жизненного цикла должно отличать ненужные объекты от используемых архивом: удаление только по возрасту или общему префиксу может удалить действующие чанки, в том числе используемые несколькими письмами.
Если проверка подключения не прошла
| Код S3 | Что проверить |
|---|---|
InvalidAccessKeyId |
правильность и существование Access Key (!) |
SignatureDoesNotMatch |
Secret Key (!) и параметры подписи запроса |
AccessDenied |
права чтения и записи в выбранный бакет |
NoSuchBucket |
имя бакета; он должен быть создан заранее |
InvalidRegion |
регион, используемый для подписи |
PermanentRedirect |
конечную точку S3 и способ адресации path-style (!) |
RequestTimeout |
доступность и время ответа S3 |
| Ошибка соединения | адрес, DNS, сеть и TLS |
После исправления повторите сохранение группы. При успешной проверке тестовый объект удаляется, если разрешено удаление. При отсутствии права DELETE он может остаться в бакете.
Проверка результата
- Убедитесь, что группа сохранилась и выбранные узлы доступны.
- Создайте правило хранения для тестового источника.
- Импортируйте письмо и проверьте его тело и вложение через архив.
- Проверьте состояние группы и целостность данных.
Связанные материалы
Навигация по книге
- Следующая статья: Как работают правила хранения