Перейти к основному контенту

Расчёт ресурсов

Перед началом

Допущения

Расчёт пниже острноеван на типичныхом значпрофилениях корпоративной почты. Если ваш профиль сильно отличается — пересчитайте по фактический размер писем, доля вложений, срок хранения или интенсивность поиска заметно отличаются, используйте собственные измерения.

Исходные допущения

Параметр Значение Комментарий
Средний размер письма ~около 200 КБ тело +и вложения с учётом тяжёлкрупных писем; (сканы, презентации). Ббольшинство писем меньше, околёгкиео (~50 КБ), но сканы и презентяжёации увелые тянуичивают среднее ввзначерхние
Доля писем с вложениями ~около 25 % вложения есть не уво каждоговсех письма есть вложениех
ДЭкономия от дедупликацияи вложений ~около 25 % экономии один и такот жвые файлы (ремогламенут, повторайс, рассылка) всятречаеться у многих получателей
Распознавание текста (OCR)OCR выключено отдельный сценарий ниже — при включении требования кс CPUOCR приведены озрастаютдельно
Срок хранения 5 лет используется для расчёта накопленныйого объёма

РНакоплесурсыние на одно письмо (накопление)

Компонент НОриентировочно на письмо ОЧткуо входаит
Хранилище (после дедупликации) ~около 150 КБ тело и, вложения минус дедупликация, плюс служебные данные с учётом дедупликации
Поисковый индекс (Solr)Solr ~около 15 КБ тема, текст теписьмы, тела и вложений, технические поля
База данных (PostgreSQL)PostgreSQL ~около 8 КБ метаданные письма, адреса, папки, вложения, и индексы

Накопленный объём

Объём растёт линейно и зависит от срока хранения. Ниже — суммарный объём по компонентам.

Писем в месяц Писем в год Хранилище Поисковый индекс База данных Хранилище (за 5 лет)
100 тыс. 1,2 млн 180 ГБ 18 ГБ 10 ГБ 900 ГБ
500 тыс. 6 млн 900 ГБ 90 ГБ 50 ГБ 4,5 ТБ
1 млн 12 млн 1,8 ТБ 180 ГБ 100 ГБ 9 ТБ

Объём растёт примерно линейно с количеством писем и сроком хранения.

Пропускная способность импорта

КПисьмонвейе проходит импорследоватаельность: получение письма → извлечение текста вложений → запись в хранилище си проверкойа дедупликации → индексировацния для поискае → записохранениеь метаданных.

Один узел в режиме "«всё-в-одном"» без OCR устойчиво обрабатывает 10-10–30 писем в секунду при; допустимых пикахи до 100–150 писем/ в секунду. Для примера:

Объём в месяц В день Среднийяя скоростемпь Пиковыйая скоростемпь
100 тыс. ~около 3 300 0,04/с ~около 0,4/с
500 тыс. ~около 16 700 0,2/с ~около 2/с
1 млн ~около 33 300 0,4/с ~около 4/с
70 млн ~2.около 2,3 млн 30/с 300/с

Ис

Оперативная память

  • PostgreSQL — ользриентироваочниео 25 % доступной памяти
    • PostgreSQL — около 25 % RAM под shared_buffers, адополнительно требуются пакжемять пула соединений и рабочая память. При накоплении от 1 млн писем —рекомендуется не менее 8 ГБ минимум.
    • Solr — heap(!) 4–8 ГБ памяти JVM достаточно для 180 ГБ индекса около 180 ГБ: в памятьи нахраниодятся поисковые структуры и кеэши, а не весь индекс. Месячное шардирование и выгрузка холодных бакетов экуменьшают потребленоие памят heap(!)и.
    • Узел Клавдия (с веб-интерфейсом, импортом, индексировацния,ем и храненилище)м — ориентировочно 1–2 ГБ.
    • Операционная система и Docker — ещё 1–2 ГБ.

    Нагрузка на п

    Процессор

    • Извлечение текста вложений (Tika)через —Tika заметно нагружает процессороёмкая операция. 2–4 Длядра покрывают 100–500 тыс. писем в месяц, 8–12обычно достаточно 2–4 ядер. — дДля 1 млн писем в месяц рекомендуется 8–12 ядер, чтобы сохранить запасом подна пики и одновременныйе поисковые запросы.

    • Поиск и IMAP создают дополнительноую нагружают процессорзку при активныхой зрапрбосахте пользователей.

    Дисковая —подсистема

    Разделяйте дванные по характерул нагрузки:

    • Ббыстрый SSD (случ— операйционый ввод-вывод) —ная система, базаPostgreSQL данных,и поисковый индекс., Сгде важны случайные операции чтения и записи требуют SSD.;
    • Ххранилище писем — блпреимущественноки писем пишутся последовательно,ая запись и чтенитаютсяе при просмотре.; Подойдёпустим более медленный диск или NFS, нхотя SSD лучшскоряе для быстрых провероки дедупликации.

    Объём храстёт нилинейноща с накоплеанием — закладываруйте подна весь требуемый срок хранения.

Распознавание текста (OCR) — отдельный сценарийOCR

ЕслПри включеённом распознавание текста во вложениях (tesseract для графических файлов),OCR обработка одного изображения на ядчерез Tesseract занимает примерно 1–5 секунд одного процессорного ядра занимает 1–5 секунд. При доле изображений около 10 %:

  • 100 тыс. писем в месяц — один узел справиляется, но индексировацнияе будможет отставать.;
  • 500 тыс. писем в месяц — нужрекомендуется отдельный узел с ролью indexer (или дополнительные 4–8 ядер тодлькоя под распознавание).OCR;
  • 1 млн писем в месяц — обязательно вынос индексации и распознаванияе и OCR необходимо вынести на отдельный узел или несколько узлов.

При включённом распознавании текстаOCR рекомендации по процессору для 500 тыс. и 1 млн писем в месяц следует примерно удваоивайтеь.

Массовый первоначальный импорт

ОРасчёты выше описыванныеют побъёмы — это устойчивянный приоток новых писем. Первоначальныйая импозагртузка существующего архива, (например, 5 млн писем, спразу) оходидёт тем же конвейером, и может загрузить узлы импорта и хранения могут быть загружены до 100%,100 %. В этотч пегриод поиск или IMAP могут работать медленнее.

РДля писем старше выбранного срока момежндуетсяо выделить под письма старше Х лет отдельные тома храненилищая и отдельный маршрут сохранения.

Когда ухораздиелять сроли «всёпо в одноузлам»

ТрУсловиггер ЧтРекомендуемое делайстьвие
1 млн в месяц устойчиво +около ра1 млн писпозем в месяц и включёнавание текстаOCR вынести роль indexer на отдельный узел
Ххранилище болеьше 2 ТБ или нтребужнается избыточность использовать отдельные узлы storage си группамиы (с избыточностью от 2)2
Ннесколько тысяч одновременных IMAP-пользователей IMAP вынести роль imap на отдельные граничные узлы imap
Отребуется отказоустойчивостьая базыа данных вынести PostgreSQL на отдельный сервер или кластер

Практический выводриентир

УстановкаРежим «всё -в -одном» уверенно справляессчитсяан сна 100 тыс. и 100–500 тыс. писем в месяц на одном сервере (с 8–16 ГБ памяти, и 4–8 ядер)ами. Для 1 млн писем в месяц нужориентируйтесь сервер сна 32 ГБ памяти, 8–12 ядерами и отне менее 2 ТБ подля накопление —я; это верхняя граница такого режима. При включённом распознавании текстаOCR или дальнейшем росте нагрузки разделяйте роли по отмеждельныму узлами.

Связанные м. атериакжелы

Что дальше

Навигация по книге