Расчёт ресурсов
Перед началом
Допущения
Расчёт пниже острноеван на типичныхом значпрофилениях корпоративной почты. Если ваш профиль сильно отличается — пересчитайте по фактический размер писем, доля вложений, срок хранения или интенсивность поиска заметно отличаются, используйте собственные измерения.
Исходные допущения
| Параметр | Значение | Комментарий |
|---|---|---|
| Средний размер письма | тело |
|
| Доля писем с вложениями | вложения есть не |
|
| один |
||
| Распознавание текста |
выключено | |
| Срок хранения | 5 лет | используется для расчёта накопленн |
РНакоплесурсыние на одно письмо (накопление)
| Компонент | ||
|---|---|---|
| Хранилище |
тело |
|
| Поисковый индекс |
тема, текст |
|
| метаданные письма, адреса, папки, вложения |
Накопленный объём
Объём растёт линейно и зависит от срока хранения. Ниже — суммарный объём по компонентам.
| Писем в месяц | Писем в год | Хранилище | Поисковый индекс | База данных | Хранилище |
|---|---|---|---|---|---|
| 100 тыс. | 1,2 млн | 180 ГБ | 18 ГБ | 10 ГБ | 900 ГБ |
| 500 тыс. | 6 млн | 900 ГБ | 90 ГБ | 50 ГБ | 4,5 ТБ |
| 1 млн | 12 млн | 1,8 ТБ | 180 ГБ | 100 ГБ | 9 ТБ |
Объём растёт примерно линейно с количеством писем и сроком хранения.
Пропускная способность импорта
КПисьмонвейе проходит импорследоватаельность: получение письма → извлечение текста вложений → запись в хранилище си проверкойа дедупликации → индексировацния для поискае → записохранениеь метаданных.
Один узел в режиме "«всё-в-одном"» без OCR устойчиво обрабатывает 10-10–30 писем в секунду при; допустимых пикахи до 100–150 писем/ в секунду. Для примера:
| Объём в месяц | В день | Средн |
Пиков |
|---|---|---|---|
| 100 тыс. | 0,04/с | ||
| 500 тыс. | 0,2/с | ||
| 1 млн | 0,4/с | ||
| 70 млн | 30/с | 300/с |
ИсОперативная память
- PostgreSQL — о
льзриентироваочниео 25 % доступной памяти
PostgreSQL— около 25 % RAMподshared_buffers,адополнительно требуются пакжемять пула соединений и рабочая память. При накоплении от 1 млн писем—рекомендуется не менее 8 ГБминимум.Solr —heap(!)4–8 ГБ памяти JVM достаточно для180 ГБиндекса около 180 ГБ: в памятьи нахраниодятся поисковые структуры и кеэши, а не весь индекс. Месячное шардирование и выгрузка холодных бакетовэкуменьшают потребленоие памятheap(!)и.Узел Клавдия(с веб-интерфейсом, импортом, индексировацния,ем и храненилище)м — ориентировочно 1–2 ГБ.Операционная система и Docker — ещё 1–2 ГБ.
Нагрузка на пПроцессор
Извлечение текста вложений
(Tika)через—Tika заметно нагружает процессороёмкая операция.2–4Длядра покрывают100–500 тыс. писем в месяц,8–12обычно достаточно 2–4 ядер.— дДля 1 млн писем в месяц рекомендуется 8–12 ядер, чтобы сохранить запасомподна пики и одновременныйе поисковые запросы.Поиск и IMAP создают дополнительн
оую нагружают процессорзку при активныхойзрапрбосахте пользователей.
Дисковая —подсистема
Разделяйте дванные по характерул нагрузки:
Ббыстрый SSD(случ— операйционый ввод-вывод)—ная система,базаPostgreSQLданных,и поисковый индекс.,Сгде важны случайные операции чтения и записитребуют SSD.;Ххранилище писем —блпреимущественноки писем пишутсяпоследовательно,ая запись и чтенитаютсяе при просмотре.;Подойдёпустим более медленный диск или NFS,нхотя SSDлучшскоряедля быстрыхпровероки дедупликации.
Объём храстёт нилинейноща с накоплеанием — закладываруйте подна весь требуемый срок хранения.
Распознавание текста (OCR) — отдельный сценарийOCR
ЕслПри включеённом распознавание текста во вложениях (tesseract для графических файлов),OCR обработка одного изображения на ядчерез Tesseract занимает примерно 1–5 секунд одного процессорного ядра занимает 1–5 секунд. При доле изображений около 10 %:
100 тыс. писем в месяц — один узел справиляется, но индексировацнияебудможет отставать.;500 тыс. писем в месяц —нужрекомендуется отдельный узелс рольюindexer(или дополнительные 4–8 ядертодлькояпод распознавание).OCR;1 млн писем в месяц —обязательно выносиндексации ираспознаванияе и OCR необходимо вынести на отдельный узел или несколько узлов.
При включённом
распознавании текстаOCR рекомендации по процессору для 500 тыс. и 1 млн писем в месяц следует примерно удваоивайтеь.
Массовый первоначальный импорт
ОРасчёты выше описыванныеют побъёмы — это устойчивянный приоток новых писем. Первоначальныйая импозагртузка существующего архива, (например, 5 млн писем, спразу) оходидёт тем же конвейером, и может загрузить узлы импорта и хранения могут быть загружены до 100%,100 %. В этотч пегриод поиск или IMAP могут работать медленнее.
РДля писем старше выбранного срока момежндуетсяо выделить под письма старше Х лет отдельные тома храненилищая и отдельный маршрут сохранения.
Когда ухораздиелять сроли «всёпо в одноузлам»
вынестиindexer на отдельный узел |
|
использовать отдельные узлы storage |
|
вынести роль imap на отдельные граничные узлы |
|
| вынести PostgreSQL на отдельный сервер или кластер |
Практический выводриентир
УстановкаРежим «всё -в -одном» уверенно справляессчитсяан сна 100 тыс. и 100–500 тыс. писем в месяц на одном сервере (с 8–16 ГБ памяти, и 4–8 ядер)ами. Для 1 млн писем в месяц нужориентируйтесь сервер сна 32 ГБ памяти, 8–12 ядерами и отне менее 2 ТБ подля накопление —я; это верхняя граница такого режима. При включённом распознавании текстаOCR или дальнейшем росте нагрузки разделяйте роли по отмеждельныму узлами.
Связанные м. атериакжелы
- {{ССЫЛКА:install.what-is-klvd|Что
Введенитакоеи требования— краткие системные требования, роли узКлавдий}} - {{ССЫЛКА:maintenance.solr-tuning|Solr:
Уэксплуатационная настанровйка}} - {{ССЫЛКА:maintenance.pg-tuning|PostgreSQL: настройка под нагрузку}}
- {{ССЫЛКА:install.choose-topology|Выбор с
пособхемы установки}} - {{ССЫЛКА:install.storage-overview|Как
Хустраоенилища и группы хранилища}} - {{ССЫЛКА:maintenance.cluster-status|Сост
ь и шифрование Обслуживаяние→ Ккластера и узлы— масштабирование}}
Что дальше
Навигация по книге
- Следующая статья: {{ССЫЛКА:install.network-install|Сетевые требования для установки
}}