SMTP-форвардинг из CommuniGate Pro
{{ВИДЕО}}
Раздел:ИнЭтеграции(внутри книги «Установка инструкция настройка»).иваетСвязанные разделы:СпервердачуSMTP,Исткочнпикий писем,Правила хранения.
Назначение
Перенаправление копии SMTP-трафика из CommuniGate Pro в Клавдий дляпо архивирования.
Клавдий выступает приёмником SMTP (роль «SMTP-сервер»);SMTP. CommuniGate Pro напроставляет емобычную доставкопииу писем сбез изменений и дополнительно передаёт комощьпию скархипватаору resubmitter.pl ичерез правилао обработки почты и скрипт resubmitter.pl.
Если Клавдий должен сам забирать
псочтуобщения из CommuniGate Pro поIMAP —IMAP, используйте {{ССЫЛКА:install.source-choose|источник«IMAP»IMAP}}(Ивместочникипиэтой схем). Эта страница описывает push-вариант (CommuniGate → Клавдий).
Документация производителя
CommuniGate Pro: https://doc.communigatepro.ru/russian/Установка на LinuxПравила обработки почтыВнешние фильтры (Helpers)SMTP / Маршрутизатор— синтаксисhost.port._relay
Пример подключения архиватора к CommuniGate Pro (Archiva): https://docs.archiva.ru/communigate.html
Как это работает схема
- Письмо попадает в очередь CommuniGate Pro и подпадает под правило
resubmitter. - Правило вызывает
Helperвнешний фильтрresubmitter.pl. - Скрипт
пменяет только SMTP-конверт: адреписываетполучателяuser@domain→преобразуется вuser%domain@<адрес-Клавдия>,ипослекладётчего файл помещается вкаталогSubmitted/. - Движок доставки CommuniGate Pro
берёт файл иотправляетписьмофайл по маршрутуизRouterдля адресна.<SMTP-слушадртес-ль Клавдия> - Клавдий принимает письмо,
по SMTP,а задачаsmtp_collectionапрхивируменяетего по{{ССЫЛКА:install.retention-overview|правиламхранения}}.
Скрипт
resubmitter.plсам неоустпранавляет ничего по сети — он только переписываетполучасетевое соединение с Кляавдием. Порт и клонечный адёрес задаютфайлся в Router CommuniGate Pro.Исхо
чдные адредь. Посетиа письмо отправляет движок доставки CommuniGate Pro по маршруту из Router. Поэтому порт доставки задаётся в Router, а не в скрипте.
Сохраняются ли отправитель и получатель?
Да. Скрипт пизмереписываняет только SMTP-команвертду SMTP (RCPT TO:. → user%domain@<адрес-Клавдия>),
а зЗаголовки тела письма (From:, To:, и Cc:) оставлются бетз изменений, поэтронмутыми. Клавдий сопхределаняет исходных отправителя и получателя для архива именно по заголовкам тела, поэтому в архиве письмо
попадает с корректными исходными адресами (напр.имер user1@cgp.lab → user2@cgp.lab),. Скрипт та нкже добавляет ис
пходменённым конвертным адресом. Оригинальные адреса также сохраняются в дописанных скриптом
заголовках Return-Path: и Envelope-To:.
Правила хранения, фильтрующие по отправителю/ и получателю, рабиспотальзуют как обычно — они
опираются на адреса из заголовков сообщения, а не изменаённый SMTP-конверт.
Перед началом
Подготовариьтельные требования:
- работающий CommuniGate Pro
установлен и обрабатывает почту (естьдомен,ом и почтовыми ящиками, ходят письма).; Клавдий установлен,настроенный Клавдий минимум по {{ССЫЛКА:install.quick-start|Быстрому старту:}},естьвключая группау хранилищ,и правило хранения, узел.;Ссетеваяую доступность SMTP-порта Клавдия с сервера CommuniGate Pro.
Полезные материалы производителя:
- документация CommuniGate Pro;
- установка на Linux;
-
правила обработ
ькиTCP-споедичты; - внешние фильтры (Helpers);
-
SMTP и Router, включая
Клсинтавдксиюснаhost.port._relay; -
пример подключения ар
т SMTP-слушхивателяора Archiva.
Шаг 1. Настроийтье SMTP-приёмник SMTP в Клавдии
В веб-панелиКлавдияо- Откройте [Сбор почты] → [SMTP-сервер]
(см.Сервер SMTP). - В блоке [Глобальные настройки SMTP] задайте:
-
[Порт] — порт
, на котором Клавдий будетприниёмать трафик от CommuniGate Pro.. Если CommuniGate Pro и Клавдийи CommuniGate Proработают на одном хосте(например, оба вnetwork_mode: host) —подойдёрт802525(стандартный 25 моужет бытьзанят).,Еможно использовать8025; еслипорты неконфликтуюа нет —25.; -
[Шифрование] —
[Без TLS (LAN/MX)] дляпртестового стейшегонда илаб-варианта;[STARTTLS] для рабочей экспSTARTTLSрод.луатации; -
[Имя сервера (hostname)] — напр
.имерklvd.local.
-
[Порт] — порт
- Нажмите [Сохранить настройки].
РазмесОтикройтеслушатель на узле:[Кластер] → [Узлы],→выберите узел→с ролью SMTP,пи настролйте [Размещение слушателей]:-
[SMTP
IPIP] — адрес приёма, накотором Клавдийприметртрафик от CommuniGate Pro (0.0.0.0— все интерфейсы,или конкретныйIP).IP; -
[Сети
SMTPSMTP](trusted networks)— сеть CommuniGate Pro вCIDRCIDR,(напр.имер127.0.0.1/32еслприCGPразмещении натодномжехосте,или192.168.1.0/24)в общей сети.Письма иИзэтидоверенных сетейКлписьмавдийпринимаеются без SMTP-AUTH — это и нужно для форвардинга.AUTH.
-
[SMTP
- Убедитесь, что роль SMTP включена
на узле (вкладка[Роли]).
ЗСохрапомните:адрес Клавдия(IP или hostname, видимый из CommuniGate Pro)и порт SMTP-слушателя.:Оони понадотребяуютсявпришнагстройке скриптах3–4.и Router.Шаг 2. Создайт
ье правило хранения дляSMTP-писемSMTPКлавдий сохран
ияет письма только пориявнымаличии правилам(стродходящегий режим). Безо правилапхранения. Письмо, принятое поSMTP,SMTP без подходящего правила, будет пропущено(и зафиксировано в журнале).- Откройте [Хранение] → [Правила хранения]
(см.Правила хранения). - Создайте правило
,с условиекоторого выделяет SMTP-источник:- м [Источник] =
«[Сбор из потокаSMTP»SMTP].(иИсточник создаётся автоматически после первого принятого SMTP-письма; при необходимости его можно создатьвзаручануюее в разделе [Источники]).
- м [Источник] =
- Задайте
действие (напр. «Хранить бессрочно» илисрок)хранения и категорию,пресли она треобходимоуетстия.
Шаг 3.
РазмеУстановить скриптеresubmitter.plна сервере CommuniGate ProСкрипт размещается в каталоге данных CommuniGate
ProPro,(обычно/var/CommuniGate).-
Создайте
файл/var/CommuniGate/resubmitter.plи скопируйте в него тексодержимымт из раздела «Скрипт resubmitter.pl»ниже. -
Откройте файл и вВ блокеBEGIN CONFIGукажите[адрес Клавдия](тот, что запомнили в шаге 1):my @ScannerAddresses = ( '127.0.0.1', );Для нескольких
Кэкземплавдиев (round-robin балансияровка) — перечислите через запятую.Адрес — это IP/hostnameКлавдия,можно указать несколько адресов для циклического распределенимя (round-robin(!)). Адрес должен быйть доступен с сервера CommuniGatePro. Если CGP и Клавдий на одном хосте —127.0.0.1. Если в одной сети — IP Клавдия в этой сети.
-
Сделайте
скриптфайл исполняемым:chmod +x /var/CommuniGate/resubmitter.pl -
УбПроведирьтесь,наличто в системеестьPerl:интерпретатор Perl (обычно есть по умолчанию):perl -v.
Если CommuniGate Pro работает в
Docker —Docker, скрипт можнопдоложбавить в образ,(чнапримерез:DockerfileCOPY resubmitter.pl /opt/CommuniGate/resubmitter.pl)Другой вари
лиант — примонтироватьчерез volumeфайл в/var/CommuniGate/.как том Docker. Адрес Клавдия приэсборке собственного образа можно подставляеить в конфигурацию сякрипта на этапе сборкиобраза.Шаг 4. Зарегистрир
овауйтьеHelperHelper(!) в CommuniGate Pro-
ВОткройдитев веб-интерфейс администратораWebAdmin CommuniGateProPro,(по умолчаниюhttp://<сервер-CGP>:8010), и войдите какpostmaster. -
Перейдите в [Установки] → [Общее] → [Помощники (Helpers)].
-
В
псвослебодней пустой строке таблицы [Фильтрация данных]зукаполнжитеполя:Поле Значение Имя программы resubmitterУровень журнала Подробности(для настротладйки), затемПроблемыПуть к программе /var/CommuniGate/resubmitter.plТайм-аут 60 секАвторестарт 1 сек -
УстановВключитефлажок рядом с именемresubmitterи нажмите [Модифицировать].
ЕУсли скриптешный запуск подтилверждается—строкойresubmitter.pl startedв журнале.появОшится стробкаresubmitter.pl started. Еслизапуска обычно означаетьневереный путь или недостаточные прав— отобразится ошибка.Раздел официальной документации:Внешние фильтры (Helpers).Шаг 5. Настройте Router(!)
Если
ть маршрутизацию доставки наКлавдий(Router)По умолчапринию CommuniGate Pro достмавляетпочтуSMTP не на стандартный порт 25. Если SMTP-слушатель Клавдия listens надругом порту25, Router CommuniGate Pro должен(явно напр.авлять8025), дсообщения навьтезапись в Router,нуказжнывающуюй порт.-
В WebAdmin CommuniGate Pro оОткройте [Установки] → [Почта] → [Маршрутизатор]. -
Добавьте
зпрапвисьло(синв форматаксисеадрес = хост.порт._relay,—напорт чимерез точку перед_relay):127.0.0.1 = 127.0.0.1.8025._relayЛевая часть
—должна совпадать с адресом, которыйскриптresubmitter.plподставляетпв SMTP-колучанвертелю.(<адрес-Клавдия>из шага 3).- Правая часть
—укудадосзываетавлять:хост.порт._relay.хост—адресКлавдия,порт—порт SMTP-слушателя Клавдия.из шага 1. -
Если
Кисполавдий сльзушается стандартный порт25,—отдельноезпрапвисьло не обязательнужо; при на (еобходимоставкаиидёт на 25 по умолчанию), него можно задать явно:как127.0.0.1 = 127.0.0.1._relay.
-
Нажмите [Обновить конфигурацию]
(или [Модифицировать]).
Документация по синтаксису:SMTP / Router.Записьhost.port._relayотключает MX-разрешение идостнаправляет сообщенаие непосрямуюедственно наhost:port.Шаг 6. Создайт
ье правило обработки почты(Rule)Правило вызывает
Helperвнешний фильтрresubmitterдля локальных писем,и исключает повторыную обработку сообщений, уже нужаправленоных в Клархвдивироватьй.-
В WebAdmin CommuniGate Pro оОткройте [Установки] → [Почта] → [Правила](общесерверные правила). -
Создайте общесерверн
овое правилос именемresubmitterи нажмите [Изменить]. -
Задайте условия
(чтобы правило применялось ко всем локальным письмам, но не зацикливалось на обратной доставке в Клавдий):Данные Операция Параметр Любой Маршрут is LOCAL*Submit Address not in SMTP[<адрес-Клавдия>*]Submit Address is not PIPE*LOCAL*— пвыбисьма, адресованные локальным ящикам CommuniGate Pro.not in SMTP[<адрес-Клавдия>*]— исключает письма для локальных ящиков,ка услоторывиеужепоидутSubmitот/кAddressКлавдию (предотвращаетцповторную отправку пикл).сьма - в
<адрес-Клавдия>— тот же адрес, что в шаге 3 (напрй.127.0.0.1).
-
Задайте действие:
Действие Параметр Внешний Фильтр resubmitter -
Сохраните и включите правило.
иОноубедолжно находитеьсь, что оновключено(стоит первым илия выше правил, косторые прекранавливщающихт дальнейшую обработку).
Раздел документации:Правила обработки почты. Действие «Внешний Фильтр» доступно только в общесерверных правилах.Шаг 7. Провер
иьтье передачуЧерез веб-почту CommuniGate Pro (или почтовый клиент) оОтправьте через CommuniGate Pro письмоuser1@<домен-CGP>→user2@<домен-CGP>с темойcgp-klvd-push-001.В CommuniGate Pro пПроверьтежурнал Helper:ФайлSystemLogs/<год>-<месяц>-<день>_resubmitter.log.вДлякаталсогобщения данных CGP.Должнабыпоявиться строкаdone ... transferedдля отправленного письма.
- В Клавдии проверьте:
-
[Клавдий] → [Обзор] →
блок[Системные метрики]→: счётрочики«SMTP-сервер» / «ПприёмаSMTP»:увеличилсяобрнаботано+1.1; - в [Задач
иах]—задачаsmtp_collectionзавыполнершилась без ошибок.и; Архив—письмоcgp-klvd-push-001появилось(в архиве, если правило хранения из шага 2 подходит;.
-
[Клавдий] → [Обзор] →
- Если письмо прин
ачято, но не—сохранено, проверьте журналена запись о пропускеписьма, и нужноскорректировауйтье правило).
- Откройте [Сбор почты] → [SMTP-сервер]
Пхри проблемах — см.Обслуживанение → ДиагностикаиКоды ошибок(коды#ERROR_KLVD_SMTP_*)я.
Диагностика типовых проблем
| Симптом | Вероятная причина | |
|---|---|---|
resubmitter.log пуст |
LOCAL*Submit Address |
|
REJECTED can't create ...tmp |
Submitted/ |
/var/CommuniGate/Submitted/; |
.sub создан, но письмо |
<адрес-Клавдия>:<порт> |
|
skip |
||
not in SMTP[<адрес-Клавдия>*] |
||
bind() failed |
При необходимости используйте {{ССЫЛКА:maintenance.troubleshooting|диагностику}} и {{ССЫЛКА:reference.errors-index|справочник кодов ошибок}}; SMTP-ошибки имеют префикс #ERROR_KLVD_SMTP_*.
Скрипт resubmitter.pl
Ниже — полный текст скрипта. Скопируйте в /var/CommuniGate/resubmitter.pl, подставьте адрес
Клавдия в @ScannerAddresses (шаг 3), сделайте исполняемым.
#!/usr/bin/perl -w
# script: resubmitter.pl
#
# howto:
# Invoke from CommuniGate Pro Rule, such as:
# Data:
# [Any Route] [is] 'LOCAL*'
# [Submit Address] [not in] 'SMTP [80.69.98.241*,SMTP [80.69.98.242*'
# [Submit Address] [is not] 'PIPE*'
# Action:
# [ExternalFilter] [resubmitter]
use strict;
use POSIX qw(strftime);
## BEGIN CONFIG
# Here you specify the scanner IPs or hostnames
# You can specify one or multiple names for round-robin load balancing
my @ScannerAddresses = (
'127.0.0.1', # ← адрес Клавдия (видимый с сервера CommuniGate Pro)
);
my $verbose = 1; # debug option
my $quitCounter = 0; # if >0, feed this number then quit
my $SubmittedDir= "Submitted";
## END CONFIG
$| = 1;
myLog("* resubmitter.pl started");
print "* resubmitter.pl started.\n";
my $msgCounter=0;
my $scannerCounter=0;
while(<STDIN>) {
chomp;
my ($prefix,$command,@args) = split(/ /);
myLog("Cmd: $_") if $verbose;
if($command eq 'INTF') {
print "$prefix INTF 3\n";
} elsif($command eq 'QUIT') {
myLog("QUIT command received");
print "$prefix OK\n";
last;
} elsif($command eq 'KEY') {
myLog("KEY command received") if $verbose;
print "$prefix OK\n";
} elsif($command eq 'FILE') {
processFILE($prefix,$args[0]);
} else {
print "$prefix ERROR unexpected command: $command\n";
myLog("Error: unexpected command: $command") if $verbose;
}
if($quitCounter>0) {
if(--$quitCounter==0) {
print "* time to quit and to be restarted\n";
myLog("* time to quit and to be restarted") if $verbose;
last;
}
}
}
print "* stopping the resubmitter plugin\n";
myLog("* stopping the plugin");
exit(0);
# Subs
sub processFILE {
my ($prefix,$fileName) = @_;
myLog("processing: $prefix FILE $fileName");
unless( open (FILE,"$fileName")) {
print qq/$prefix REJECTED can't open $fileName: $!\n/;
myLog("ERROR: REJECTED: can't open $fileName: $!");
return undef;
}
my $returnPath="";
my @recipients;
while(<FILE>) {
chomp;
last if($_ eq '');
my $address=(/\<(.*?)\>/)[0];
if(/^P/) {
$returnPath=$address;
myLog("returnPath: $returnPath") if $verbose;
}
elsif(/^R/) {
$address =~ s/\@/\%/g;
$address.='@'.$ScannerAddresses[$scannerCounter];
myLog("recipient: $address") if $verbose;
push(@recipients,$address);
}
}
$scannerCounter=0 if(++$scannerCounter>=scalar(@ScannerAddresses));
$fileName=~/(\d+)\./;
my $subFileName=$SubmittedDir.'/'.$1;
myLog("Submitted file name: $subFileName") if $verbose;
unless( open(WFILE,">$subFileName.tmp")) {
print qq/$prefix REJECTED can't create $subFileName.tmp: $!\n/;
myLog("ERROR: REJECTED: can't create $subFileName.tmp: $!");
close(FILE);
return undef;
}
print WFILE "Return-Path: <$returnPath>\n";
#print WFILE "Envelope-To: ".join(",",@recipients)."\n";
my $line='Envelope-To: ';
for(my $idx=0;$idx<@recipients;$idx++) {
$line.=$recipients[$idx];
$line.="," if($idx<@recipients-1);
if(length($line)>900) {
print WFILE "$line\n";
$line=' ';
}
}
if(length($line)>2) {
print WFILE "$line\n";
}
while(<FILE>) {
next if(/^Envelope-to:/i);
print WFILE $_;
}
close(WFILE);
close(FILE);
unless( rename("$subFileName.tmp","$subFileName.sub") ) {
print qq/$prefix REJECTED can't rename open $subFileName.tmp to $subFileName.sub: $!\n/;
myLog("ERROR: REJECTED: can't rename open $subFileName.tmp to $subFileName.sub: $!");
unlink("$subFileName.tmp");
return undef;
}
myLog("done $prefix $fileName, transfered");
print qq/$prefix OK\n/;
undef;
}
sub myLog {
my ($data)=@_;
$data =~ s/[\015\012]//g;
my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
my $fName=sprintf("SystemLogs/%04d-%02d-%02d_resubmitter.log",$year+1900,$mon+1,$mday);
my $tmstr=sprintf("%02d:%02d:%02d",$hour,$min,$sec);
unless (open LOG,">>$fName") {
print "* can't append to $fName: $!\n";
return;
}
# LOG->autoflush(1);
print LOG "$tmstr $data\n";
close LOG;
}
__END__
См. также
{{ССЫЛКА:install.smtp-service|СерверSMTPSMTP}} — встроенный приёмник Клавдия (настройка порта, TLS, trusted networks).{{ССЫЛКА:install.source-choose|Источники писем}} — IMAP/EWS как альтернатива форвардингу.{{ССЫЛКА:install.retention-overview|Правила хранения}} — без правила SMTP-письма не сохраняются.{{ССЫЛКА:reference.errors-index|Коды ошибок}} — расшифровка#ERROR_KLVD_SMTP_*.{{ССЫЛКА:install.api-access|HTTP API иSwaggerSwagger}} — программное управление Клавдием.
Навигация по книге
- Следующая статья: {{ССЫЛКА:install.api-access|Доступ к HTTP API и
SwaggerSwagger}}