kocmuk.ru блог » mail

Dovecot LDA в качестве агента локальной доставки для ZMailer

kocmuk.ru — Sun, 18 Oct 2009 16:39:23 +0000

Для того, что бы доставлять сообщения в почтовый ящик пользователя, в ZMailer существует mailbox LDA. Но у него есть ряд ограничений:

он умеет работать только с mailbox ящиками (не умеет maildir или dbox)
он не имеет почтовых фильтров (и не умеет доставлять куда-либо, кроме INBOX)
квота может быть только на файловой системе (только fs_quota)
никак не учитывает того, кто дальше работает с этим ящиком (pop/imap)

Если же вы уже используете в качестве pop/imap сервера dovecot, то использование dovecot LDA выглядит хорошей идеей.

Тогда вы получаете:

индексирование ящика в момент доставки, что ускоряет доступ к нему через pop/imap
использование разных тип квот, которые умеет dovecot (fs, dirsize, dict, maildir)
язык фильтров sieve (переадресация, авто-ответ, доставка в любые папки)
ящик может быть не только mailbox типа (mbox, maildir, dbox)

Для установки в ZMailer'е dovecot LDA в качестве доставщика сообщений в ящик пользователя надо:

(...)
Читать полностью статью: Dovecot LDA в качестве агента локальной доставки для ZMailer

Метки: dovecot, zmailer

По теме:

NFS клиент в 2.6.x врёт, что записал файл целиком

kocmuk.ru — Sat, 05 Sep 2009 18:10:39 +0000

У NFS клиента в 2.6.x ядре появилась неприятная особенность. Он никак не сигнализирует о невозможности записать данные по причине превышения файловой квоты. А наоборот всем своим поведением говорит о том, что всё хорошо. Все операции, включая fsync() и close() заканчиваются успешно. Более того, даже ls после этого показывает якобы всё записано (размер файла равен записанному, что превышает квоту). Но через несколько секунд размер файла «укорачивается» до того размера, что поместилось в квоту (что в общем-то и есть правда).

Вот небольшая тестовая программа test_nfswrite.c, которая пишет 1024 байтные блоки. Тестовый файл /mount/m7/tmp/test должен быть на NFS сервере (не важно с каким ядром). А клиент, который пишет с ядром 2.6.x.

Компилить надо так: gcc test_nfswrite.c -o test_nfswrite

Запускать так: ./test_nfswrite 500

где 500 — это количество блоков по 1024 байта. Если указать большое количество блоков, которое не влезает в квоту, то вы должны наблюдать ошибки.(...)
Читать полностью статью: NFS клиент в 2.6.x врёт, что записал файл целиком

Метки: kernel, zmailer

По теме:

Медленный антивирус для CGP или ClamAV не виноват

kocmuk.ru — Sat, 05 Sep 2009 13:48:45 +0000

Как известно для прикручивания антивируса ClamAV к CGP есть два открытых helper’а: clamav-cgp и cgpav.

Есть еще один платный от "Niversoft", но его мы рассматривать не будем.

Как выяснилось, работают они не одинаково. При рассылке большого потока одинаковых сообщений, заметили, что письма уходят медленно — в среднем 1 в секунду. Анализ SMTP диалога отправки сообщений показал, что тормозит проверка антивирусом. При отключенном антивирусе трафик вырос до 30 писем в секунду.

Исследования показали, что сам антивирус не потребляет особо много ресурсов. Тогда возникла мысль про тормоза «прокладки» между CGP и ClamAV. В это время у нас работал cgpav, решили попробовать clamav-cgp. И о чудо, с новым helper`ом трафик вырос до 15 писем в секунду. Спасибо Andy Igoshin’у за замечательный продукт!

У себя я выложил слегка модифицированную «под себя» версию:

Добавлено отрезание CGP-ных заголовков перед отправкой письма на проверку к ClamAV (рекомендации Николая Варинова из рассылки mx.ru: http://mx.ru/Lists/CGatePro/Message/17475-P.txt).
Немного изменена логика работа helper’а. В случае каких-то внутренних проблем он всегда пропускает сообщение. В логи пишется диагностика ошибки.
Если ClamAV сообщает, что письмо инфицировано, то вместо молчаливого удаления сообщения, генерируется ответ с причиной: в сообщении <YYYYY> найден <XXXXX> вирус.

Комментарии к изменениям: (...)
Читать полностью статью: Медленный антивирус для CGP или ClamAV не виноват

Метки: antivirus, CGP

По теме:

Групповая NFS квота для Dovecot

kocmuk.ru — Thu, 19 Feb 2009 06:20:02 +0000

Dovecot — это IMAP и POP3 сервер для Linux/UNIX подобных систем. Он удобен и интересен тем, что имеет подключаемые плагины с различными расширениями функционала.

Одним из таких плагинов является quota-fs. Он позволяет IMAP пользователям сообщать о текущем занятом ими месте в ящике, и отправлять предупреждения, при подходе свободного места к концу. К сожалению, но у него нет функционала, получать групповые квоты для ящиков, лежащих на NFS хранилище.

В списке рассылки dovecot появился патч, для реализации поддержки в quota-fs групповых квот на NFS для linux.

Автор: fandorin at rol.ru

fandorin at rol.ru Tue Feb 17 10:14:11 EET 2009 Unfortunately, the existing quota-fs does not know how to get GROUP quota with NFS storage. But there is a tool for Linux quota-tools. This patch is made on the basis quota-tools. The patch was successful alpha-testing. Suggestions and comments are welcome.

UPD: Начиная с версии 1.2.* Dovecot поддерживает групповые fs квоты.

Метки: dovecot, imap, patch, quota

По теме:

Greylisting для CGP

kocmuk.ru — Wed, 11 Feb 2009 21:33:03 +0000

Как я уже писал чуть раньше в заметке: «Эффективность решений по борьбе с нежелательными сообщениями», различные технологии борьбы с нежелательными сообщениями имеют разный коэффициент эффективности. Кроме всем известных и часто используемых: DNSBL, SPF и прочего, я попробовал использовать DCC (Distributed Checksum Clearinghouse). Сама по себе технология не нова и не забыта. Яндекс.Cпамооборона работает по сходному принципу: сообщение превращается в шинглы (в контрольные суммы, по терминологии DCC), шинглы (суммы) отправляется на сервер хранения и сервер возвращает ответ. На основании этого ответа можно, либо принять сообщение, либо отвергнуть как массовую рассылку. Как показали тесты, технология «Серые списки» (англ. Greylisting) так же показала себя достаточно эффективно. По моим данным, поток спама упал в 2 раза (на 50%).

Для реализации технологии Greylisting и DCC для CommuniGate (CGP) можно применить «DCC interface for CommuniGate®Pro server» от Spam-Killer.Simtel.Ru

Под linux cобирается это достаточно просто:

берём исходный код DCC
берём исходный код DCC-CGP (он представляет собой несколько патчей для DCC)
патчим DCC по инструкции от DCC-CGP
собираем DCC и получаем сам DCC клиент и сервер, и DCC-CGP helper, который подключается в CGP так же как обычный helper

С этого момента в CGP доступны серые списки и контекстный антиспам фильтр на базе DCC. Как настроить сам DCC для работы с серыми списками и реализовывать антиспам защиту, я уже описывал ранее в заметке: DCC (Distributed Checksum Clearinghouse)

Метки: antispam, CGP, DCC, greylists

По теме:

Эффективность решений по борьбе с нежелательными сообщениями

kocmuk.ru — Sun, 25 Jan 2009 14:39:51 +0000

Фильтрация и принятие решения о приёме или об отказе принять почтовое сообщение может происходить синхронно и асинхронно. В синхронном режиме процесс проверки происходит во время SMTP-диалога с отправляющей стороной. Асинхронная работа заключается в том, что письмо принимается в любом случае, SMTP-диалог завершается успешно, а далее происходит принятие решения о доставке или отказе в доставке сообщения в ящик пользователя.

В каждом этом методе есть плюсы и минусы. Синхронный режим заставляет отправляющую сторону оставаться подключенной к нашему серверу в течении всего периода принятия решения, что тратит наши ресурсы (память, открытые сокеты). Асинхронный режим позволяет быстро завершить SMTP-диалог, освободить ресурсы, а уже потом заняться анализом сообщения.

Минусом асинхронного режима является ситуация, когда мы принимаем решение — отказать в доставке. В таком случае сообщение об ошибке доставки (bounce message) уходит на адрес отправителя. Распространенный ход при отправке спама — это подделка адреса отправителя. В результате этого, мы отправляем ошибку о доставке на поддельный адрес, который ничего не знает про исходное сообщение. А при большом потоке таких писем на наш сервер, мы можем попросту «завалить» чей-то ящик своими ошибками о доставке.

В настоящее время серверные ресурсы достаточно не дороги, потому синхронный режим выглядит более успешным. Мы не принимаем тех сообщений, что нам не нравится. Спам остаётся у спамера. Мы не копим очереди с bounce message у себя на сервере и не заваливаем ими не виновные сервера и ящики. Все довольны!

В синхронном режиме можно выделить два этапа принятия решения: ранний этап (early rejection) и поздний (rejection). Разница между ними в том, что ранний этап происходит до начала передачи основного тела сообщения (DATA), а поздний этап происходит, когда всё письмо уже принято и отправляющая сторона ждёт от нас завершающего ответа. Отклонение сообщения на раннем этапе позволяет сэкономить трафик и ресурсы нашего сервера. Мы не приняли еще само сообщение, но у нас уже есть ip-адрес передающей стороны, email-адрес отправителя и email-адреса получателей. Если по этим данным уже можно принять решение об отказе в приёме сообщения — надо это делать на ранней стадии.

Давайте на примере суточной статистика одного почтового сервера рассмотрим эффективность разных типов борьбы с нежелательными сообщениями на разных стадиях.

(...)
Читать полностью статью: Эффективность решений по борьбе с нежелательными сообщениями

Метки: antispam, antivirus, DCC, greylists

По теме:

DCC Honeypot — ловушка для спамеров

kocmuk.ru — Fri, 09 Jan 2009 21:05:50 +0000

Honeypot (от англ. — «горшочек с медом»), в компьютерной терминологии — это приманка для злоумышленника. Задача Honeypot — подвергнуться атаке или несанкционированному исследованию, что позволит изучить стратегию злоумышленника и определить круг средств, с помощью которых могут быть нанесены удары по реальным объектам безопасности. Реализация Honeypot не принципиальна, это может быть как специальный выделенный сервер, так и один сетевой сервис, задача которого — привлечь внимание хакеров.

В применении к почте такие ловушки называют «email trap» или «spam trap». Задача таких ловушек — привлечь к себе спамера и начать получать спамерские рассылки в большом количестве. Анализируя приходящие в эти ловушки сообщения и их источники, можно адаптироваться к поведению спамеров и эффективно защищать реальные почтовые системы.

Давайте рассмотрим реальный пример построение honeypot (spamtrap) с использованием DCC (Distributed Checksum Clearinghouse).

(...)
Читать полностью статью: DCC Honeypot — ловушка для спамеров

Метки: antispam, DCC, honeypot

По теме:

Борьба со СПАМом для высоконагруженных почтовых систем на примере MTA Zmailer

kocmuk.ru — Fri, 09 Jan 2009 16:37:37 +0000

MTA ZMailer(zmailer.org) у нас не популярен. Порывшись в русском сегменте сети, я нашёл более-менее подробный рассказ про ZMailer только в статье Игоря Ченцова: «Борьба со СПАМ-ом на примере почтового сервера zmailer».

Для больших высоконагруженных почтовых систем подходят далеко не все методы борьбы со спамом и вирусами. К сожалению, но гибкий и достаточно универсальный SpamAssassin с ядром на Perl становится узким местом, при большом потоке почты. Приходится или экстенсивным методом наращивать железо или искать другие методы решения задач.

Здесь я хочу рассказать, как организовать проверку на вирусы и некоторые типы борьбы со спамом в промышленных масштабах, с потоком почты более 5'000'000 писем в сутки.

(...)
Читать полностью статью: Борьба со СПАМом для высоконагруженных почтовых систем на примере MTA Zmailer

Метки: antispam, antivirus, DCC, greylists, zmailer, zmscanner

По теме:

Zmscanner — модульный фильтр для MTA Zmailer

kocmuk.ru — Sun, 28 Dec 2008 22:22:54 +0000

Zmscanner — это модульный фильтр для почтовых систем Zmailer и Sendmail. Архитектура этого фильтра позволяет использовать его на высоко-нагруженных почтовых системах (>1'500'000 писем в сутки). Модульность фильтра позволяет гибко конфигурировать его функциональность, добавляя нужные вам модули и отключая не нужные.

Автор: Eugene Crosser
Домашняя страница: http://www.average.org/zmscanner
Дополнительные модули: http://kocmuk.ru/zmscanner

Существующие стандартные модули:

Автор: Eugene Crosser

check_ct (входит в zmscanner) — позволяет использовать регулярные выражения, для фильтрации сообщений по «Content-Type». Вы можете заблокировать HTML сообщения или сообщения с опасными вложениями (*.exe, *.pif и подобные).
zms_dehtml (отдельный модуль) — преобразует HTML сообщение в текстовый вид, для дальнейшего анализа следующими фильтрами.
zms_pcre (отдельный модуль) — PCRE библиотека от Philip Hazel используется для фильтрации писем по регулярным выражениям. Анализируется только текстовое тело письма. Для анализа HTML сообщений следует использовать модуль zms_dehtml для преобразования HTML в текстовый вид.
zms_clamav (отдельный модуль) — используется библиотека антивируса ClamAV для проверки вложений на вирусы.(Замечание: сам clamd демон не используется, проверка идёт через низкоуровневые вызовы библиотеки).

Дополнительные модули:

Авторы: kocmuk.ru и Mike Fandorin

zms_dcc (отдельный модуль) — адаптер Zmailer и Sendmail MTA к DCC-клиенту. Позволяет организовать проверку входящей почты через контекстный антиспам фильтр Distributed Checksum Clearinghouse (DCC). А так же возможность использовать DCC greylisting механизм для Zmailer.
zms_restage (отдельный модуль) — PCRE библиотека используется для фильтрации писем по регулярным выражениям. Анализируются: EHLO/HELO, env_From, env_To и wholeRFC822 сообщение. Фильтр позволяет задать условия передачи сообщений для обработки в другие программы (”| exec”).

Метки: antispam, zmailer, zmscanner, zms_dcc, zms_restage

По теме:

RoundCube MVISION v2 skin

kocmuk.ru — Sat, 17 May 2008 13:23:32 +0000

Надеюсь, что все уже заметили, что на официальном форуме RoundCube выложили скин MVISION v2.

Пока он только на английском языке. Вернее на английском — картинки с текстом (кнопки). Часть аналогичных русских кнопок есть в первой версии русского скина, но часть появилось новых.

Новое в v2:

Additional CSS work done on mail view
Support added for Sub Folders
Added additional Support for Preview Pane
Preview Pane now supports «Microsoft 3 Column View» and Horizontal View
With additional User Control Options for switching between Vertical and Horizontal View

Но пока данный скин не умеет отображать колонку «size». Автор обещает очень скоро поправить это и добавить еще некоторые возможности:

Support for Size column in Horizontal mode
Support for remembering which view the user prefers
Detect screen size in Horizontal mode (currently the default RC method is used)
Import address book feature for Outlook / Thunderbird / Mac OS X Mail

Скриншоты и сам скин тут, следите за обсуждением тут. А так же напоминаю, что есть русский форум по КруглоКубу, где можно обсудить этот скин и возможно там появится его русская версия.

Метки: roundcube, roundcube_skin, webmail