Перейти к основному контенту

SMTP-форвардинг из CommuniGate Pro

{{ВИДЕО}}

Раздел: ИнЭтеграции (внутри книги «Установка инструкция настройка»).ивает Связанные разделы: Спервердачу SMTP, Исткочнпикий писем, Правила хранения.

Назначение

Перенаправление копии SMTP-трафика из CommuniGate Pro в Клавдий дляпо архивирования. Клавдий выступает приёмником SMTP (роль «SMTP-сервер»);SMTP. CommuniGate Pro напроставляет емобычную доставкопииу писем сбез изменений и дополнительно передаёт комощьпию скархипватаору resubmitter.pl ичерез правилао обработки почты и скрипт resubmitter.pl.

Если Клавдий должен сам забирать псочтуобщения из CommuniGate Pro по IMAP —IMAP, используйте {{ССЫЛКА:install.source-choose|источник «IMAP»IMAP}} (Ивместочники пиэтой схем). Эта страница описывает push-вариант (CommuniGate → Клавдий).

Документация производителя

Как это работает схема

  1. Письмо попадает в очередь CommuniGate Pro и подпадает под правило resubmitter.
  2. Правило вызывает Helperвнешний фильтр resubmitter.pl.
  3. Скрипт пменяет только SMTP-конверт: адреписывает получателя user@domain →преобразуется в user%domain@<адрес-Клавдия>, ипосле кладётчего файл помещается в каталог Submitted/.
  4. Движок доставки CommuniGate Pro берёт файл и отправляет письмофайл по маршруту из Router для адресна <SMTP-слушадртес-ль Клавдия>.
  5. Клавдий принимает письмо, по SMTP,а задача smtp_collection апрхивируменяет его по {{ССЫЛКА:install.retention-overview|правилам хранения}}.

Скрипт resubmitter.pl сам не оустпранавляет ничего по сети — он только переписывает получасетевое соединение с Кляавдием. Порт и клонечный адёрес задают файлся в Router CommuniGate Pro.

Исхочдные адредь. По сетиа письмо отправляет движок доставки CommuniGate Pro по маршруту из Router. Поэтому порт доставки задаётся в Router, а не в скрипте.

Сохраняются ли отправитель и получатель?

Да. Скрипт пизмереписываняет только SMTP-команвертду SMTP (RCPT TO:. → user%domain@<адрес-Клавдия>), а зЗаголовки тела письма (From:, To:, и Cc:) оставлются бетз изменений, поэтронмутыми. Клавдий сопхределаняет исходных отправителя и получателя для архива именно по заголовкам тела, поэтому в архиве письмо попадает с корректными исходными адресами (напр.имер user1@cgp.lab → user2@cgp.lab),. Скрипт та нкже добавляет ис пходменённым конвертным адресом. Оригинальные адреса также сохраняются в дописанных скриптом заголовках Return-Path: и Envelope-To:.

Правила хранения, фильтрующие по отправителю/ и получателю, рабиспотальзуют как обычно — они опираются на адреса из заголовков сообщения, а не изменаённый SMTP-конверт.

Перед началом

Подготовариьтельные требования:

  • работающий CommuniGate Pro установлен и обрабатывает почту (есть домен,ом и почтовыми ящиками, ходят письма).;
  • Клавдий установлен, настроенный Клавдий минимум по {{ССЫЛКА:install.quick-start|Быстрому старту:}}, естьвключая группау хранилищ, и правило хранения, узел.;
  • Ссетеваяую доступность SMTP-порта Клавдия с сервера CommuniGate Pro.

Полезные материалы производителя:

Шаг 1. Настроийтье SMTP-приёмник SMTP в Клавдии

  1. В веб-панели Клавдия о
    1. Откройте [Сбор почты] → [SMTP-сервер] (см. Сервер SMTP).
    2. В блоке [Глобальные настройки SMTP] задайте:
      • [Порт] — порт, на котором Клавдий будет приниёмать трафик от CommuniGate Pro.. Если CommuniGate Pro и Клавдий и CommuniGate Proработают на одном хосте (например, оба в network_mode: host) — подойдёрт 802525 (стандартный 25 моужет быть занят)., Еможно использовать 8025; если порты не конфликтуюа нет — 25.;
      • [Шифрование] — [Без TLS (LAN/MX)] для пртестового стейшегонда илаб-варианта; STARTTLS[STARTTLS] для рабочей экспрод.луатации;
      • [Имя сервера (hostname)] — напр.имер klvd.local.
    3. Нажмите [Сохранить настройки].
    4. РазмесОтикройте слушатель на узле: [Кластер] → [Узлы], →выберите узел →с ролью SMTP, пи настролйте [Размещение слушателей]:
      • [SMTP IPIP] — адрес приёма, на котором Клавдий приметр трафик от CommuniGate Pro (0.0.0.0 — все интерфейсы, или конкретный IP).IP;
      • [Сети SMTPSMTP] (trusted networks) — сеть CommuniGate Pro в CIDRCIDR, (напр.имер 127.0.0.1/32 еслпри CGPразмещении на тодном же хосте, или 192.168.1.0/24) в общей сети. Письма иИз этидоверенных сетей Клписьмавдий принимаеются без SMTP-AUTH — это и нужно для форвардинга.AUTH.
    5. Убедитесь, что роль SMTP включена на узле (вкладка [Роли]).

    ЗСохрапомните: адрес Клавдия (IP или hostname, видимый из CommuniGate Pro) и порт SMTP-слушателя.: Оони понадотребяуются впри шнагстройке скриптах 3–4.и Router.

    Шаг 2. Создайтье правило хранения для SMTP-писемSMTP

    Клавдий сохранияет письма только пори явнымаличии правилам (стродходящегий режим). Безо правила пхранения. Письмо, принятое по SMTP,SMTP без подходящего правила, будет пропущено (и зафиксировано в журнале).

    1. Откройте [Хранение] → [Правила хранения] (см. Правила хранения).
    2. Создайте правило, с условие которого выделяет SMTP-источник:
      • м [Источник] = «[Сбор из потока SMTP»SMTP]. (иИсточник создаётся автоматически после первого принятого SMTP-письма; при необходимости его можно создать взаручануюее в разделе [Источники]).
    3. Задайте действие (напр. «Хранить бессрочно» или срок) хранения и категорию, пресли она треобходимоуетстия.

    Шаг 3. РазмеУстановить скрипте resubmitter.pl на сервере CommuniGate Pro

    Скрипт размещается в каталоге данных CommuniGate ProPro, (обычно /var/CommuniGate).

    1. Создайте файл /var/CommuniGate/resubmitter.pl и скопируйте в него тексодержимымт из раздела «Скрипт resubmitter.pl» ниже.

    2. Откройте файл и вВ блоке BEGIN CONFIG укажите [адрес Клавдия] (тот, что запомнили в шаге 1):

      my @ScannerAddresses = (
          '127.0.0.1',
      );
      
      • Для нескольких Кэкземплавдиев (round-robin балансияровка) — перечислите через запятую.

      • Адрес — это IP/hostname Клавдия, можно указать несколько адресов для циклического распределенимя (round-robin(!)). Адрес должен быйть доступен с сервера CommuniGate Pro. Если CGP и Клавдий на одном хосте — 127.0.0.1. Если в одной сети — IP Клавдия в этой сети.
      Pro.

    3. Сделайте скриптфайл исполняемым:

      chmod +x /var/CommuniGate/resubmitter.pl
      
    4. УбПроведирьтесь, наличто в системе естьPerl:

      интерпретатор Perl (обычно есть по умолчанию):
      perl -v
      .

    Если CommuniGate Pro работает в Docker —Docker, скрипт можно пдоложбавить в образ, (чнапримерез:

    Dockerfile
    COPY resubmitter.pl /opt/CommuniGate/resubmitter.pl
    )

    Другой варилиант — примонтировать через volumeфайл в /var/CommuniGate/. как том Docker. Адрес Клавдия при эсборке собственного образа можно подставляеить в конфигурацию сякрипта на этапе сборки образа.

    Шаг 4. Зарегистрировауйтье HelperHelper(!) в CommuniGate Pro

    1. ВОткройдите в веб-интерфейс администратораWebAdmin CommuniGate ProPro, (по умолчанию http://<сервер-CGP>:8010), и войдите как postmaster.

    2. Перейдите в [Установки] → [Общее] → [Помощники (Helpers)].

    3. В псвослебодней пустой строке таблицы [Фильтрация данных] зукаполнжите поля:

      Поле Значение
      Имя программы resubmitter
      Уровень журнала Подробности (для настротладйки), затем Проблемы
      Путь к программе /var/CommuniGate/resubmitter.pl
      Тайм-аут 60 сек
      Авторестарт 1 сек
    4. УстановВключите флажок рядом с именем resubmitter и нажмите [Модифицировать].

    ЕУсли скриптешный запуск подтилверждается —строкой resubmitter.pl started в журнале. появОшится стробка resubmitter.pl started. Если запуска обычно означаеть невереный путь или недостаточные прав — отобразится ошибка.

    Раздел официальной документации: Внешние фильтры (Helpers).

    Шаг 5. Настройте Router(!)

    Еслить маршрутизацию доставки на Клавдий (Router)

    По умолчапринию CommuniGate Pro достмавляет почтуSMTP не на стандартный порт 25. Если SMTP-слушатель Клавдия listens на другом порту 25, Router CommuniGate Pro должен (явно напр.авлять 8025), дсообщения навьте запись в Router, нуказжнывающуюй порт.

    1. В WebAdmin CommuniGate Pro оОткройте [Установки] → [Почта] → [Маршрутизатор].

    2. Добавьте зпрапвисьло (синв форматаксисе адрес = хост.порт._relay, — напорт чимерез точку перед _relay):

      127.0.0.1 = 127.0.0.1.8025._relay
      
      • Левая часть —должна совпадать с адресом, который скриптresubmitter.pl подставляет пв SMTP-колучанвертелю. (<адрес-Клавдия> из шага 3).

      • Правая часть — укуда досзываетавлять: хост.порт._relay. хост — адрес Клавдия, порт — порт SMTP-слушателя Клавдия.

        из шага 1.
      • Если Кисполавдий сльзушается стандартный порт 25, —отдельное зпрапвисьло не обязательнужо; при на (еобходимоставкаи идёт на 25 по умолчанию), него можно задать явно: как 127.0.0.1 = 127.0.0.1._relay.

    3. Нажмите [Обновить конфигурацию] (или [Модифицировать]).

    Документация по синтаксису: SMTP / Router. Запись host.port._relay отключает MX-разрешение и достнаправляет сообщенаие непосрямуюедственно на host:port.

    Шаг 6. Создайтье правило обработки почты (Rule)

    Правило вызывает Helperвнешний фильтр resubmitter для локальных писем, и исключает повторыную обработку сообщений, уже нужаправленоных в Клархвдивироватьй.

    1. В WebAdmin CommuniGate Pro оОткройте [Установки] → [Почта] → [Правила] (общесерверные правила).

    2. Создайте общесерверновое правило с именем resubmitter и нажмите [Изменить].

    3. Задайте условия (чтобы правило применялось ко всем локальным письмам, но не зацикливалось на обратной доставке в Клавдий):

      Данные Операция Параметр
      Любой Маршрут is LOCAL*
      Submit Address not in SMTP[<адрес-Клавдия>*]
      Submit Address is not PIPE*
      • LOCAL* — пвыбисьма, адресованные локальным ящикам CommuniGate Pro.

      • not in SMTP[<адрес-Клавдия>*] — исключает письма для локальных ящиков, ка услоторывие ужепо идутSubmit от/кAddress Клавдию (предотвращает цповторную отправку пикл).
      • сьма
      • в <адрес-Клавдия> — тот же адрес, что в шаге 3 (напрй. 127.0.0.1).

    4. Задайте действие:

      Действие Параметр
      Внешний Фильтр resubmitter
    5. Сохраните и включите правило. иОно убедолжно находитеьсь, что оно включено (стоит первым илия выше правил, косторые прекранавливщающихт дальнейшую обработку).

    Раздел документации: Правила обработки почты. Действие «Внешний Фильтр» доступно только в общесерверных правилах.

    Шаг 7. Провериьтье передачу

    1. Через веб-почту CommuniGate Pro (или почтовый клиент) оОтправьте через CommuniGate Pro письмо user1@<домен-CGP> → user2@<домен-CGP> с темой cgp-klvd-push-001.
    2. В CommuniGate Pro пПроверьте журнал Helper:
      • Файл SystemLogs/<год>-<месяц>-<день>_resubmitter.log. вДля каталсогобщения данных CGP.
      • Должна быпоявиться строка done ... transfered для отправленного письма.
    3. В Клавдии проверьте:
      • [Клавдий] → [Обзор] → блок [Системные метрики] →: счётрочики «SMTP-сервер» / «Пприёма SMTP»:увеличился обрнаботано +1.1;
      • в [Задачиах] — задача smtp_collection завыполнершилась без ошибок.и;
      • Архив — письмо cgp-klvd-push-001 появилось (в архиве, если правило хранения из шага 2 подходит;.
    4. Если письмо приначято, но не —сохранено, проверьте журнале на запись о пропуске письма, и нужно скорректировауйтье правило).
    5. Пхри проблемах — см. Обслуживанение → Диагностика и Коды ошибок (коды #ERROR_KLVD_SMTP_*)я.

    Диагностика типовых проблем

    Симптом Вероятная причина ДЧто сдейслатвиеь
    В журнале CGP resubmitter.log пусто Пправило CommuniGate Pro не срабатывает Ппроверить условия правила (особенно LOCAL* и фильтр по, Submit Address); и временно поднявысить уровень журнала CGP «Установка в Очередь» до «Подробности»
    resubmitter.log: REJECTED can't create ...tmp Ннет прав на запись в Submitted/ Ппроверить права на /var/CommuniGate/Submitted/; (владельцецм —должен быть процесс CGP)CommuniGate Pro
    П.sub создан, но письмо доне приходит до .sub, но не доставляется в Клавдий Неверныйошибка Router /Router, порта /или сетьи Ппроверить зпрапвисьло Router (шаги 5); TCP-достубедиться, что CGP может открыть TCPп к <адрес-Клавдия>:<порт>
    Клавдий принимает SMTP, но SMTP-письмо принято, но отсутствует в архиве Ннет подходящего правила хранения (шаг 2) Ссоздать или исправить правило для SMTP-источника; и проверить журнал Клавдия на skip
    Цикл: письмо гповторняо циркулируется CGP↔между CGP и Клавдийем Не наотсутстровует исключен фильтре not in SMTP[<адрес-Клавдия>*] Ддобавить/ или ископрректавировать условие прав шилаге 6
    bind() failed в Клавдии на порту 25 Ппорт 25 занят другим MTA Пперенести SMTP-слушатель Клавдия на другой порт (шаг 1) и обновить Router (шаг 5)

    При необходимости используйте {{ССЫЛКА:maintenance.troubleshooting|диагностику}} и {{ССЫЛКА:reference.errors-index|справочник кодов ошибок}}; SMTP-ошибки имеют префикс #ERROR_KLVD_SMTP_*.

    Скрипт resubmitter.pl

    Ниже — полный текст скрипта. Скопируйте в /var/CommuniGate/resubmitter.pl, подставьте адрес Клавдия в @ScannerAddresses (шаг 3), сделайте исполняемым.

    #!/usr/bin/perl -w
    # script: resubmitter.pl
    #
    # howto:
    #   Invoke from CommuniGate Pro Rule, such as:
    #   Data:
    #     [Any Route] [is] 'LOCAL*'
    #     [Submit Address] [not in] 'SMTP [80.69.98.241*,SMTP [80.69.98.242*'
    #     [Submit Address] [is not] 'PIPE*'
    #   Action:
    #     [ExternalFilter] [resubmitter]
    
    use strict;
    use POSIX qw(strftime);
    
    ## BEGIN CONFIG
    
    # Here you specify the scanner IPs or hostnames
    # You can specify one or multiple names for round-robin load balancing
    my @ScannerAddresses = (
    '127.0.0.1',          # ← адрес Клавдия (видимый с сервера CommuniGate Pro)
    );
    
    
    my $verbose = 1;    # debug option
    my $quitCounter = 0;    # if >0, feed this number then quit
    my $SubmittedDir= "Submitted";
    
    ## END CONFIG
    
    $| = 1;
    
    myLog("* resubmitter.pl started");
    print "* resubmitter.pl started.\n";
    
    my $msgCounter=0;
    my $scannerCounter=0;
    
    while(<STDIN>) {
    chomp;
    my ($prefix,$command,@args) = split(/ /);
    myLog("Cmd: $_") if $verbose;
    if($command eq 'INTF') {
      print "$prefix INTF 3\n";
    
    } elsif($command eq 'QUIT') {
      myLog("QUIT command received");
      print "$prefix OK\n";
      last;
    } elsif($command eq 'KEY') {
      myLog("KEY command received") if $verbose;
      print "$prefix OK\n";
    } elsif($command eq 'FILE') {
      processFILE($prefix,$args[0]);
    } else {
      print "$prefix ERROR unexpected command: $command\n";
      myLog("Error: unexpected command: $command") if $verbose;
    
    }
    if($quitCounter>0) {
      if(--$quitCounter==0) {
        print "* time to quit and to be restarted\n";
        myLog("* time to quit and to be restarted") if $verbose;
        last;
      }
    }
    }
    
    print "* stopping the resubmitter plugin\n";
    myLog("* stopping the plugin");
    exit(0);
    
    # Subs
    
    sub processFILE {
    my ($prefix,$fileName) = @_;
    
    myLog("processing: $prefix FILE $fileName");
    unless( open (FILE,"$fileName")) {
      print qq/$prefix REJECTED can't open $fileName: $!\n/;
      myLog("ERROR: REJECTED: can't open $fileName: $!");
      return undef;
    }
    
    
    my $returnPath="";
    my @recipients;
    while(<FILE>) {
      chomp;
      last if($_ eq '');
      my $address=(/\<(.*?)\>/)[0];
      if(/^P/) {
        $returnPath=$address;
        myLog("returnPath: $returnPath") if $verbose;
      }
      elsif(/^R/) {
        $address =~ s/\@/\%/g;
        $address.='@'.$ScannerAddresses[$scannerCounter];
        myLog("recipient: $address") if $verbose;
        push(@recipients,$address);
      }
      
    }
    $scannerCounter=0 if(++$scannerCounter>=scalar(@ScannerAddresses));
    $fileName=~/(\d+)\./;
    my $subFileName=$SubmittedDir.'/'.$1;
    myLog("Submitted file name: $subFileName") if $verbose;
    
    unless( open(WFILE,">$subFileName.tmp")) {
      print qq/$prefix REJECTED can't create $subFileName.tmp: $!\n/;
      myLog("ERROR: REJECTED: can't create $subFileName.tmp: $!");
      close(FILE);
      return undef;
    }
    
    print WFILE "Return-Path: <$returnPath>\n";
    
    #print WFILE "Envelope-To: ".join(",",@recipients)."\n";
      my $line='Envelope-To: ';
      for(my $idx=0;$idx<@recipients;$idx++) {
        $line.=$recipients[$idx];
        $line.="," if($idx<@recipients-1);
        if(length($line)>900) {
          print WFILE "$line\n";
          $line=' ';
        }
      }
      if(length($line)>2) {
        print WFILE "$line\n";
      }
    
    
    while(<FILE>) {
      next if(/^Envelope-to:/i);
      print WFILE $_;
    }
    
    close(WFILE);
    close(FILE);
    
    unless( rename("$subFileName.tmp","$subFileName.sub") ) {
      print qq/$prefix REJECTED can't rename open $subFileName.tmp to $subFileName.sub: $!\n/;
      myLog("ERROR: REJECTED: can't rename open $subFileName.tmp to $subFileName.sub: $!");
      unlink("$subFileName.tmp");
      return undef;
    }
    
    myLog("done $prefix $fileName, transfered");
    print qq/$prefix OK\n/;
    
    undef;
    }
    
    sub myLog {
       my ($data)=@_;
    
       $data =~ s/[\015\012]//g;
       my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
       my $fName=sprintf("SystemLogs/%04d-%02d-%02d_resubmitter.log",$year+1900,$mon+1,$mday);
       my $tmstr=sprintf("%02d:%02d:%02d",$hour,$min,$sec);
    
       unless (open LOG,">>$fName") {
           print "* can't append to $fName: $!\n";
           return;
       }
    
    #    LOG->autoflush(1);
    
       print LOG "$tmstr $data\n";
       close LOG;
    }
    
    __END__
    

    См. также

    Навигация по книге