Перейти к основному контенту

Расчёт ресурсов

Перед началом

Расчёт ниже основан на типичном профиле корпоративной почты. Если фактический размер писем, доля вложений, срок хранения или интенсивность поиска заметно отличаются, используйте собственные измерения.

Исходные допущения

Параметр Значение Комментарий
Средний размер письма около 200 КБ тело и вложения с учётом крупных писем; большинство писем меньше, около 50 КБ, но сканы и презентации увеличивают среднее значение
Доля писем с вложениями около 25 % вложения есть не во всех письмах
Экономия от дедупликации вложений около 25 % одинаковые файлы могут повторяться у многих получателей
Распознавание текста OCR выключено требования с OCR приведены отдельно
Срок хранения 5 лет используется для расчёта накопленного объёма

Накопление на одно письмо

Компонент Ориентировочно на письмо Что входит
Хранилище около 150 КБ тело, вложения, служебные данные с учётом дедупликации
Поисковый индекс Solr около 15 КБ тема, текст письма и вложений, технические поля
PostgreSQL около 8 КБ метаданные письма, адреса, папки, вложения и индексы

Накопленный объём

Писем в месяц Писем в год Хранилище Поисковый индекс База данных Хранилище за 5 лет
100 тыс. 1,2 млн 180 ГБ 18 ГБ 10 ГБ 900 ГБ
500 тыс. 6 млн 900 ГБ 90 ГБ 50 ГБ 4,5 ТБ
1 млн 12 млн 1,8 ТБ 180 ГБ 100 ГБ 9 ТБ

Объём растёт примерно линейно с количеством писем и сроком хранения.

Пропускная способность импорта

Письмо проходит последовательность: получение → извлечение текста вложений → запись в хранилище и проверка дедупликации → индексирование → запись метаданных.

Один узел «всё-в-одном» без OCR устойчиво обрабатывает 10–30 писем в секунду; допустимы пики до 100–150 писем в секунду.

Объём в месяц В день Средняя скорость Пиковая скорость
100 тыс. около 3 300 0,04/с около 0,4/с
500 тыс. около 16 700 0,2/с около 2/с
1 млн около 33 300 0,4/с около 4/с
70 млн около 2,3 млн 30/с 300/с

Оперативная память

  • PostgreSQL — ориентировочно 25 % доступной памяти под shared_buffers, дополнительно требуются память пула соединений и рабочая память. При накоплении от 1 млн писем рекомендуется не менее 8 ГБ.
  • Solr — 4–8 ГБ памяти JVM достаточно для индекса около 180 ГБ: в памяти находятся поисковые структуры и кэши, а не весь индекс. Месячное шардирование и выгрузка холодных бакетов уменьшают потребление памяти.
  • Узел Клавдия с веб-интерфейсом, импортом, индексированием и хранением — ориентировочно 1–2 ГБ.
  • Операционная система и Docker — ещё 1–2 ГБ.

Процессор

Извлечение текста вложений через Tika заметно нагружает процессор. Для 100–500 тыс. писем в месяц обычно достаточно 2–4 ядер. Для 1 млн писем в месяц рекомендуется 8–12 ядер, чтобы сохранить запас на пики и одновременные поисковые запросы.

Поиск и IMAP создают дополнительную нагрузку при активной работе пользователей.

Дисковая подсистема

Разделяйте данные по характеру нагрузки:

  • быстрый SSD — операционная система, PostgreSQL и поисковый индекс, где важны случайные операции чтения и записи;
  • хранилище писем — преимущественно последовательная запись и чтение при просмотре; допустим более медленный диск или NFS, хотя SSD ускоряет проверки дедупликации.

Объём хранилища планируйте на весь требуемый срок хранения.

Распознавание текста OCR

При включённом OCR обработка одного изображения через Tesseract занимает примерно 1–5 секунд одного процессорного ядра. При доле изображений около 10 %:

  • 100 тыс. писем в месяц — один узел справляется, но индексирование может отставать;
  • 500 тыс. писем в месяц — рекомендуется отдельный узел indexer или дополнительные 4–8 ядер для OCR;
  • 1 млн писем в месяц — индексирование и OCR необходимо вынести на отдельный узел или несколько узлов.

При включённом OCR рекомендации по процессору для 500 тыс. и 1 млн писем в месяц следует примерно удвоить.

Массовый первоначальный импорт

Расчёты выше описывают постоянный поток новых писем. Первоначальная загрузка существующего архива, например 5 млн писем, проходит тем же конвейером и может загрузить узлы импорта и хранения до 100 %. В этот период поиск и IMAP могут работать медленнее.

Для писем старше выбранного срока можно выделить отдельные тома хранения и отдельный маршрут сохранения.

Когда разделять роли по узлам

Условие Рекомендуемое действие
устойчиво около 1 млн писем в месяц и включён OCR вынести indexer на отдельный узел
хранилище больше 2 ТБ или требуется избыточность использовать отдельные узлы storage и группы с избыточностью от 2
несколько тысяч одновременных IMAP-пользователей вынести роль imap на отдельные граничные узлы
требуется отказоустойчивая база данных вынести PostgreSQL на отдельный сервер или кластер

Практический ориентир

Режим «всё-в-одном» рассчитан на 100–500 тыс. писем в месяц на сервере с 8–16 ГБ памяти и 4–8 ядрами. Для 1 млн писем в месяц ориентируйтесь на 32 ГБ памяти, 8–12 ядер и не менее 2 ТБ для накопления; это верхняя граница такого режима. При OCR или дальнейшем росте нагрузки разделяйте роли между узлами.

Связанные материалы

Что дальше

Навигация по книге