Как стать автором
Обновить

Gmail и Yahoo ужесточают правила для входящих писем: теперь DKM и DMARC обязательны

Время на прочтение3 мин
Количество просмотров20K
Всего голосов 29: ↑26 и ↓3+23
Комментарии79

Комментарии 79

Как-то отписался от одной рассылки и через пару месяцев они мне прислали этот "шедевр":

${firstName} ${lastName}, недавно вы отписались от рассылки. Не могли бы рассказать почему?

Facepalm.jpeg

Надеюсь, я не один такой, кто жалуется на спам в таких случаях.

Я тоже жму кнопку "Отписаться" в письме, надеясь на честность тамошнего маркетолога. Но это, видимо, как искать истину в речах политиков.

От блокировки писем средствами почтового сервиса меня останавливает то, что письма приходят с одного и того же домена с плавающей темой и изменяющимся текстом, что никак не позволяет отделить служебные уведомления и настоящие подписки от их же рекламного мусора.

Как с такими бороться?

Как с такими бороться?

Превентивно. Один сайт - один e-mail.
Регистриуешься на vk.com - оставляешь почту kenya-west+vk+com@gmail.com (или аналогичные методы).
Сразу понятно откуда утекла почта, сразу понятно где ее поменять, сразу понятно что старый адрес (после смены его на новый) можно сразу кидать в спам безальтернативно.

Какая то фигня. Лучше просто создать доп почтовый адрес и привязать к основной, тогда никаких проблем.

А все не нужные рассылки можно отправить в папку спам

А когда уже прекратится попадание огромного количества реально важных мейлов в спам-папку?

Наверное, когда использующих SPF+DKIM+DMARC станет больше 44%.

Собственно это никак не связано, а может и наоборот:

  • DKIM не понимает что такое MIME - гарантировано без проблем работает только с чисто текстовыми мейлами. С MIME-кодированными письмами нужно сильно напрягаться по всей цепочке MX/MTA (википедия пишет 10% потерь)

  • SPF решил проигнорировать форварды и 20-30 истории SMTP до него. Без SRS или открытой политики (?all) все накрывается медным тазом

В результате нормальные мейлы попадают в спам из-за " SPF+DKIM+DMARC " : только-что вытащил один из спама GMail (битый DKIM)

И как объяснить что мейл с одного ящика на gmail-е в другой ящик на gmail-е летит в спам? Чего из всех этих аббревиатур там не хватало?

Эти все аббревиатуры, по большому счету, со спамом никак не связаны. С тех пор как Google купил Postini - GMail в целом решил проблему спама. По-этому есть 2 отдельных вопроса:

  • Зачем GMail хочет DKIM+DMARC ? Спойлер: скорее всего чтобы удобно "послать в рощу" (на postmaster портал) маркетологов чья почта падает в спам

  • Почему " мейл с одного ящика на gmail-е в другой ящик на gmail-е летит в спам " ?

Ответ на второй вопрос, если разговор не о массовой рассылке и оба адреса находятся в одном домене -> @gmail.com, прост: ваш адрес, ваши письма (такие письма) - получатели регулярно помечают как "спам"

Для гугла спам - это то что получатель считает спамом.

Соглашусь, что SPF+DKIM (и примкнувший к ним DMARC) скорее про фишинг, чем про спам. Но вот насчёт подхода к спаму гугла - тут всё не совсем так. Первые же письма со свежеподнятого сервера, не засветившегося ни в каких DNSBL, с корректными PTR, SPF и DKIM, которые ни один отправитель не то, что пометить как спам, но и вообще прочитать ещё не успел, в изрядном количестве случаев отправляются gmail'ом в спам. И в этом как раз проблема - отсутствие чётких критериев, что надо делать и чего не надо, чтобы туда не попадать.

Первые же письма со свежеподнятого сервера, не засветившегося ни в каких DNSBL, с корректными PTR, SPF и DKIM, которые ни один отправитель не то, что пометить как спам, но и вообще прочитать ещё не успел, в изрядном количестве случаев отправляются gmail'ом в спам

У Spamhaus это называется Zero Reputation Domain зона. Довольно эффективна - рекомендую.

И вообще, СПАМ это на 99% вопрос репутации: не торопитесь, делайте как для себя и все будет работать...

ZRD - это первые 24 часа, как я понял, это прекрасно, но речь про более длительный период.

А я и делаю только для себя :) Открываю новый бизнес, завожу новый домен. На первых порах с него писем на сторону может уходить одно в несколько дней, а на какой-нибудь конкретный mail.ru так и вообще одно в месяц. Но, в общем-то, рассчитываешь, что они будут доходить сразу. Делать какие-то фейковые рассылки на левые адреса, чтобы наработать репутацию - ну это ж абсурд, я-то как раз почту использую по назначению, а мне предлагается воспользоваться инструментами спамеров, чтобы она начала адекватно работать.

Проблема "меньшего зла":

  • ваш IP возможно не в RBL, но был там

  • у вашей сети и сервис провайдера уже есть репутация (он сам и другие клиенты)

  • спамеры регистрируют домены сотнями ежедневно

При "обычном" новом бизнесе, ожидается что поток писем идет к вам, а не от вас: клиент написал в суппорт, клиент попросил уточнить цены, и т.д. - письма идут к вам, а вы отвечаете и все будет работать (большинство крупных "анти-спамов" понимают разницу между перепиской и просто письмом). Со временем накапливается репутация и все просто работает

Чтоб такого избежать, предварительно изучите вопрос. Даже у мейл.ру есть статья про "прогрев домена", и о том, почему так происходит.

Только вот это всё для рассылок актуально. А я в своей практике ни разу рассылок не делал и не планировал. А для обычного домена, с которого несколько пользователей маленькой организации отправляют единичные письма, (а) то количество писем, которое позволяет набрать репутацию и хоть что-то показать в постмастере, можно набирать месяцами и (б) пользователями ожидается, что их письма доходить начнут до получателей сразу, а не через полгода... Так и получается, что нормальное использование почты, ради которого её изобрели, принесено в жертву из-за ненормального.

В статье написано, что эти меры будут применяться для тех, кто шлет более 5 тыс писем в день на ящики gmail. Для доменов с единичными письмами ничего не меняется.

Так речь уже не про эти новые меры, а про и так давно существующую практику рандомного помещения в спам абсолютно безобидных писем.

Первые же письма со свежеподнятого сервера, не засветившегося ни в каких DNSBL, с корректными PTR, SPF и DKIM, которые ни один отправитель не то, что пометить как спам, но и вообще прочитать ещё не успел, в изрядном количестве случаев отправляются gmail'ом в спам. 

У меня совершенно другой опыт. За последние полгода завел три домена на self hosted - со всех все успешно начало ходить на ms/gmail с первого тестового письма.

Раз на раз не приходится. У меня почта на 5 доменах, из них 3 добавлены в последние пару лет. Так где-то всё сразу ОК, а где-то упорно в спам отправлялись. Причём иногда Гуглу ОК, а у Яндекса оказался в спаме, а иногда наоборот. Хотя настроено всё совершенно одинаково и с одного сервера, письма тоже все в стиле "пара вложений и сопроводительная фраза, мол направляем вам то-то и то-то". В чём и есть моя главная претензия - непонятно, что именно надо соблюсти, чтобы получить гарантию 100% непопадания в спам. Ну кроме того, что реально не слать спам :) и соблюдать стандарты. Делали бы какую-то верификацию что ли, да хоть даже платную.

Извиняюсь за капитанство, но вот это пробовали с одним из обычных сообщений?

И mxtoolbox.com до кучи.

Конкретно этот не пробовал, упомянутый ниже mxtoolbox и ещё пару гонял неоднократно. Ну вот запустил и эту проверялку. В основном ОК, баллы снимает только за то, что мало текста (ну так тут ничего не поделать, как раз обычная деловая переписка в основном и превратилась в пересылание файлов с парой сопроводительных фраз и картинкой корпоративного лого в подписи) и отсутствие List-Unsubscribe (ну так логично, это ж не рассылка).

А вы у какого провайдера хостите? Возможно в этом дело, см. тредик ниже.

Vultr в Голландии, Selectel в России, конкретно этот тест был с Vultr'а. И там и там физические серверы, оба открывают 25 порт только по заявке. Конкретно по Vultr ещё и этот IP не менялся уже больше года.

P.S. В целом всё это очень увлекательно, не спорю :) Но у меня как раз месседж был в том, что если я вместо соблюдения простых и понятных правил вынужден гадать, что там большим почтовым сервисам в моём письме могло не понравиться, - что-то во всей этой системе очень неправильно.

Ну в целом я согласен, но и предполагаемую логику гугла я могу понять - спамеры же тоже могут следовать всем правилам, и в этом случае фильтрация спама немного осложнится.

Выплёскивание ребёнка с водой мне не кажется правильной стратегией. Пусть лучше тысяча спамерских писем пройдёт, чем одно нужное потеряется. И уж по крайней мере, надо давать выбор, что он предпочтёт из этого, пользователю. По-хорошему, на уровне серверов должна обеспечиваться 100% связность. А защита пользователя от всякой заразы - на уровне софта этого пользователя, если он захочет его таким образом настроить.

А то настроили заборов посреди интернета - блоки по GeoIP, Cloudflare и прочие защиты с непрозрачной логикой, капчи на каждом углу, ещё вот это...

P.S. Что самое интересное, эффект может быть обратным. Как пониженный иммунитет у людей, которые в детстве в слишком стерильных условиях росли. Когда пользователь каждый день видит кучу спама и фишинга - он по умолчанию никому не верит. А когда заботливый Gmail отфильтровывает бóльшую часть - бдительность теряется и на удочку того подкованного мошенника, который пробился через все фильтры и алгоритмы, шанс попасться больше.

Да, я тоже скучаю по 2007 :)

Пусть лучше тысяча спамерских писем пройдёт, чем одно нужное потеряется.

Не все пользователи так считают.

Особенно если "одно нужное" - нужно скорее отправителю а не пользователю.

У меня вот на тех доменах для которых почту я поддерживаю - всплывает серьезная проблема со спамом с новосозданных доменов в .best/.today/.wtf - улетает в блок tld по маске (для author.today прописано отдельное исключение) и после этого все автоматом в спам. Пролазит через существующие фильтры спам с (например) aeza - /24 улетает в блок (а потом возможно улетает письмо на abuse). И так далее. Просто - так проще. При этом если реально проблемы с получением почты которая нужна уже кому то на этих доменах и я это вижу в логах - буду прописывать исключения и придется иногда дернуть отправителя.

В крайнем случае можно посмотреть карантин на Proxmox Mail Gateway (а список что туда попало он присылает).

А защита пользователя от всякой заразы - на уровне софта этого пользователя, если он захочет его таким образом настроить.

Не все пользователи готовы и могут это настраивать.

Я думаю, есть еще такой вариант парного ответа:

  1. Чтобы все затрахались к моменту получения благой вести: оформите подписку всего за 99,99 на сервис Х и ваши письма перестанут улетать в спам. Сервис X, разумеется, будет принадлежать корпорации лучезарного бобра.

  2. Потому что куда вы денетесь с подводной лодки?

Не сработает (было уже несколько попыток):

  1. Зачем создавать конкурента даже за 99999.99 если в результате вы быстро растеряете клиентскую базу

  2. " Потому что куда вы денетесь с подводной лодки? " : на почту вашего интернет провайдера. Я знаю что местами с этим есть проблемы, но в целом в мире это нормальная альтернатива

Возможно, Вы не поняли мою гипотезу:

  1. Это предложение отправителям, а не получателям: чтобы гарантированно доставляться на Gmail, вам следует настроить SPF+DKIM+DMARK+PIRZHIGGL и прыгнуть через костер в полнолуние, либо всего за 99,99 воспользоваться сервисом "Кавайный почтмейстер". Кого тут Гугл растеряет?

  2. Полтора землекопа разозлятся и начнут наконец изучать альтернативы, включив голову, остальные миллионы продолжат вздыхать и охать.

либо всего за 99,99 воспользоваться сервисом "Кавайный почтмейстер". Кого тут Гугл растеряет?

Пользователей получающих спам от "Кавайных почтмейстеров"

У меня нет подтверждений но я практически уверен что требование "DKIM+DMARK" нужно чтобы вам (вашему постмастеру) показать качество вашего трафика и заставить учитывать мнение пользователя.

Если вам нужно более "меркантильное" объяснение: обрубив маркетологам возможность слать "рекламу" и обрубив возможность жаловаться на GMail (чтобы заставить его пропускать рекламу) у маркетологов не будет другого выхода как просто покупать рекламу у того-же Googla

Пользователей получающих спам от "Кавайных почтмейстеров"

Полтора землекопа отправителя забьют и вывесят на сайте отчаянную рекомендацию пользователям не пользоваться гуглопочтой, остальные прогнутся.

я практически уверен что требование "DKIM+DMARK" нужно чтобы вам (вашему постмастеру) показать качество вашего трафика и заставить учитывать мнение пользователя.

Разумеется, согласен, вопрос лишь в том, где зарыта собака - как именно Гугл намерен монетезировать эту "заботу о пользователе".

у маркетологов не будет другого выхода как просто покупать рекламу у того-же Googla

Тоже вариант.

Кстати, это не только к администраторам собственных почтовых серверов относится. Как показывает опыт (со стороны получателя, который честно пытается проверять SPF/DKIM), всякие мелкие конторы, размещающие почту со своим доменом у Яндекса/Мэйла, косячат в SPF/DKIM записях только в путь. Моё любимое - две разных SPF записи для домена, что прямо запрещено RFC. Ну а что - Яндекс попросил добавить одну, сервис рассылок - другую, а как их объединить - никто не рассказал...

Да, да, от спамеров. Верю, верю.

Спамеры как раз соберут письмо тебе согласно всех стандартов, а вот реально важные письма с банка (или государства) живут по принципу "клиенту это нужнее"

Про иные ресурсы или сервисы выставления счетов вообше молчу.

Лучше бы сделали фильтацию по генерированым именам (для обхода спам-фильтра) из за чего письма с отправителем формата {UUID}@domain.com проходят все спам кордоны и успешно "доходят" до почтового ящика.

Банк не в состоянии DKIM SPF настроить? Бежать из такого банка надо.

На приведенном вами скриншоте DKIM валиден.
Можно не бежать? Или вы хотели донести что-то другое?

DKIM валиден, но заголовки по какой-то причине не подписаны, только тело письма. В зависимости от того, как реализована проверка у получателя, уже может отправиться в спам. Вот даже расширение для Thunderbird для проверки DKIM уже подсвечивает жёлтым как подозрительное.

Ну вот ещё нашёл. От Сбера, конечно, бежать надо, не буду спорить, но по совсем другим причинам :) А забивание на DKIM - массовая практика, увы.

У сбера используются более современные подписи DMARC ARC.

(сорри, что двумя комментами, редактор Хабра никак не загружает вторую картинку в один комментарий...)

Картинки можно загружать на hsto.org (хабрасторадж) в любом количестве и получать макркдаун код для вставки всех этих картинок в сообщение.

А разве маркдаун в wyswyg-редакторе работает?

Какой еще wyswyg-редактор, зачем он нужен?

А где старый включается-то? На старую версию хабра лично меня уже не пускают.

Новый можно переключить в режим маркдауна. У меня в самом редакторе в правом нижнем углу кнопка переключения.

Банк-то ладно, а ведь есть ещё куча мелких нерыночных шарашкиных контор типа школ, или домовых управляющих компаний, у них нет ни ресурсов, ни желания этим всем заниматься.

Ээээ, они тоже по 5000 писем в день рассылают?

TL;DR: Мы, триллионые транснациональные корпорации с многомиллиардными бюджетами на лучших в мире специалистов, с многоэтапными литкодсобесами как мерилом типа профессионализма этих специалистов, признаём что в очередной раз обосрались в нашей битве с какими-то ноунеймами из интернетов. И в очередной раз просто перекладываем решение проблемы на плечи честных отправителей почтовых сообщений.

А с другой стороны, если они решат эту проблему, зачем часть из них тогда будет нужна? Бизнес, ничего личного.

Теперь письма из адресной книги с того же gmail будут улетать в спам в 2 раза чаще?

Пользуюсь ящиком от эппл, их генерация ящиков для регистрации меня избавил от спама. Более того в период взлома, сразу стало понятно кого взломали

Конечно, спам приходит. Но после первого же сообщения, я либо перенаправляю на папку спам, либо просто стираю ящик

Кстати, вопрос в тему (ибо на бывшем Тостере получить полезный ответ стало почти невозможно, умные люди туда, видимо, перестали ходить)

Аналог Outlook с Mail Merge под линукс?

Нужно разослать несколько десятков мейлов вида
Здравствуйте <имя>! Есть ли у вас в продаже серобуромалиновые сепульки длиной 123 см и массой 4.5 кг, сколько будет стоить партия из 67 штук?
Под винду есть вот это - https://support.microsoft.com/en-gb/office/use-mail-merge-to-send-bulk-email-messages-0f123521-20ce-4aa8-8b62-ac211dedefa4
А что есть под линукс?

P.S. Советчикам про скрипт на питоне c smtplib. Почти все современные почтовые сервера отличают почтовые клиенты от скиптов и не дают скриптам коннектиться по SMTP. Такая вот борьба со спамом, дошедшая до маразма.

Почти все современные почтовые сервера отличают почтовые клиенты от скиптов и не дают скриптам коннектиться по SMTP.

SMTP - очень простой протокол, там не по чему особо отличать, кроме заголовков письма. Ну так посмотрите, какие заголовки Outlook ставит и включите в своё письмо такие же.

А тот вопрос, на который ссылка, он вообще про другое, там credentials не принимает, по ходу, проблема с PLAIN vs CRAM-MD5 или что-то подобное.

Ну или отправляйте со своего сервера, а не через сторонний релей. Или используйте сторонний сервис рассылок, у которых функционал генерации писем по шаблону встроенный и deliverability обеспечивать - их хлеб, так что по-любому лучше получится, чем самому.

Почти все современные почтовые сервера отличают почтовые клиенты от скиптов и не дают скриптам коннектиться по SMTP

Нет, это не так, есть скрипт на php там буквально 20 строк кода для отправки письма через SMTP, все нормально работает без проблем, тестировалось уже полгода на SMTP для mail.ru, все письма уходят.

Насколько я понимаю письма дойдут, но попадут в спам
Чудно, мне как раз лень настраивать DKIM и совершенно все-равно куда они попадут

Почтовый домен на яндексе - яндекс сообщил, что письмо было отклонено почтовым сервером получателя. This mail has been blocked because the sender is unauthenticated.Gmail requires all senders to authenticate with either SPF or DKIM.

До адресата соответственно не дошло ни в каком виде

Чудно, мне как раз лень настраивать DKIM и совершенно все-равно куда они попадут

Держите в курсе!

Не дойдут:

550-5.7.26 This mail has been blocked because the sender is unauthenticated.
550-5.7.26 Gmail requires all senders to authenticate with either SPF or DKIM.
550-5.7.26 Authentication results:
550-5.7.26 DKIM = did not pass
550-5.7.26 SPF [...] with ip: [...] = did not pass
550-5.7.26 550-5.7.26 For instructions on setting up authentication, go to
550 5.7.26 https://support.google.com/mail/answer/81126#authentication ... - gsmtp

Кто в теме, подскажите пожалуйста мануал по настройке всего этого добра на своём сервере.

Честно говоря, если "для дома, для семьи" то проще взять готовую сборку типа Mailcow, Mailu или iRedMail, чем склеивать все это самому.

Прекрасно. Технологии давно созданы, но игроки не стремились их внедрять, особенно малые. Доходило, что подменить отправителя стало тривиальной задачей. Поднимал тикет в mailbox в том числе, потому что на своём домене у них всё настроено, но они не проверяют dkim, spf, dmarc - сейчас хотя бы такие умные админы начнут бегать и приводить свои детища в безопасный вид.

Мне кажется, крупные компании тут лукавят, и это очень, очень мягко говоря. Соблюдение SPF/DKIM/DMARC и раньше де-факто было минимальной необходимой планкой для того чтобы письмо вообще было доставлено, хотя бы в папку "спам", да и настроить это дело - не проблема. Реальные проблемы - в сломанном институте репутации, в том что весь бизнес связанный с электронной почтой в мире в первую очередь ориентирован на самих же спамеров и зависит от их денег, и в том, что большие корпорации заинтересованы в том чтобы ограничить конкуренцию и потенциально загнать всех возможных клиентов к крупным провайдерам, желательно - к себе.

Как человек поддерживающий свой сервер с почтой могу сказать, что тот же gmail отказывается принимать письма с личного сервера с полностью настроенными RDNS, PTR, DNSSEC, DANE, TLSA, MTA-STS, SPF, DKIM, DMARC, оценкой 10/10 на mailtester-e, доменом который существует уже 7 лет и 100% кристально чистой репутацией IP-адреса в базах типа spamhaus-а. Просто их smtp-сервер отвечает "мы вашему адресу не доверяем, письмо принимать не будем". Тот же Яндекс, например, письма всё же принимает и доставляет до адресатов, но они 100% улетают в спам.

В итоге для доставки важных писем на ящики содержащиеся у крупных провайдеров электронной почты мне приходится отправлять их через smtp-реле, что в общем-то подрывает саму идею использования своего почтового сервера, т.к. во-первых, все письма проходят через третьи руки, и доставка проходит не напрямую, а во-вторых, владельцы smtp-реле подсовывают в проходящие через них письма свои заголовки и пиксели для слежки за письмом, контролем доставки, и т.д. чем, например, ломают оригинальную подпись и получатель получает письмо с большим предупреждением о том что "цифровая подпись нарушена, кто-то подделал содержание этого письма".

Я понимаю, в общих чертах, почему так получилось и как мы пришли к жизни такой. Понимаю, что спам - реальная проблема. Но тот факт что письма принимаются от провайдеров smtp реле и не принимаются от владельцев частных email серверов, потому что у владельцев smtp-реле более высокая репутация - это просто вздор. Если вы зайдёте на сайт любого из них, то увидите рекламные слоганы в духе "надёжно доставляйте миллионы писем клиентам", "поможем вам провести маркетинговую компанию под ключ", "без головной боли поможем вам постоянно напоминать о себе" и т.д. Суть всех этих компаний - рассылать миллионы писем людям которые по неосторожности оставили где-то свою настоящую почту, и smtp-реле зарабатывают на этом огромные деньги. Именно эти письма: "купи у нас ещё и вот это...", "у нас акция...", "скидки только для вас..." - различный кликбейтный мусор и спам, пользователи чаще всего потом не глядя отправляют в корзину разбирая свой почтовый ящик. Если вы посмотрите на заголовки письма - в половине случаев отправлены именно через подобные smtp-реле.

Ирония в том, что для того чтобы письма надёжно доставлялись, адрес должен иметь репутацию у крупных провайдеров почты. Большие ребята дружат между собой и адресам smtp-серверов друг-друга доверяют. В противном случае вступает в силу обычный подход, где нужен прогрев, репутация и т.д. Таким образом почта становится удовольствием только для крупных компаний, у которых есть возможность отправлять десятки и сотни писем ежедневно, ещё и желательно с адреса внутри своей AS и блока адресов, который случайно не окажется по соседству со случайной VPS, которую спамеры арендуют на день-два чтобы разослать миллионы спама про казино, т.к. репутация адресов соседей влияет и на вашу - спамеры после своей рассылки забудут и про VPS и про её адрес, а вот именно ваши письма приниматься из-за плохой репутации перестанут. Мелкий и средний бизнес же, в виду сломанности репутации, обязан либо обращаться к разным мутным конторам бизнес которых - просто доставить почту, либо к крупным провайдерам, тем же самым Google и им подобным, которых такая ситуация на 100% устраивает.

На вашем сервера проблема именно с соседями? Вы проверяли IP соседей в базах типа spamhaus-а? Хочу детальнее разобраться в проблеме и нужны подробности т.к. скоро столкнусь с подобной проблемой сам.

По спамхаусу проверял - всё абсолютно чисто.

Есть такая система - uceprotect, у них помимо репутации самого адреса отслеживаются также виды репутации "L2" и "L3", что означает, если я правильно помню, средняя отрицательная репутация с соседями по блоку адресов и с соседями по AS. Вот эти значения для моего адреса ненулевые, однако я пользуюсь прям очень небольшим VPS провайдером и эти значения у меня на порядок или даже несколько порядков, в десятки и сотни раз, ниже чем у других, специально проверял. Просто видимо Google не желает принимать почту от мелких провайдеров, только от крупных. Я читал иностранные форумы по администрированию и вычитал мнение что те, кто хостит почту у крупных провайдеров с внимательной к абузам поддержкой типа Contabo, подобные проблемы испытывают реже. Внимательные - это значит готовые по первому требованию выключить VPS на адресе, ограничить доступ владельцу VPS к своей машине, или выдать его данные. Вообще, люди рекомендуют заранее смотреть в интернете у каких провайдеров лучше размещать свою почту. Некоторые провайдеры вообще явно запрещают это делать и на уровне своих фаерволов просто блокируют все связанные с почтой порты, т.е. почту на них вы не сможете ни отправить, ни принять.

Особенно пикантно то, что uceprotect зарабатывают тем, что за деньги, достаточно немаленькие деньги, по подписке, удаляют из своей базы записи о плохой репутации адресов. Это почти легализованное вымогательство, и это в очередной раз подводит к тому, что вся индустрия электронной почты живёт на деньги спамеров и корпораций занимающихся массовой слежкой. Спамеру абсолютно не проблема заплатить несколько сотен долларов за чистоту репутации адреса. Обычный владелец почтового сервера этого делать не будет. Письма со спамом доставятся, а вот письма обычного владельца почтового сервера попадут в спам. Если вы обычный человек и вам хочется чтобы ваша почта доставлялась до адресата - добро пожаловать в крупные конторы вроде Google.

Я читал иностранные форумы по администрированию и вычитал мнение что те, кто хостит почту у крупных провайдеров с внимательной к абузам поддержкой типа Contabo, подобные проблемы испытывают реже.

Да, похоже на правду. У меня почта хостится на vultr, у них открытие 25 порта только по запросу в саппорт и полиси на эту тему. Проблем с доставкой не наблюдал.

Как-то сам попадал на таких соседей. В итоге через провайдера написали, что адрес ко мне не относится, а прошлого клиента они заблокировали. После тех поддержка gmail написала, что необходимо подождать 24 часа. Всю почту на gmail поставил на паузу. И после начал пробовать, письма дошли, но в спам. Я отметил, как не спам и начал искусственную переписку. В итоге почта потихоньку пошла уже совершенно нормально при этом с разных адресов.

Согласен, это всё грустно очень. Когда к тебе приходят пользователи «наши контрагенты на хотмейл не получают наши письма!», а у тебя всё настроено по всем стандартам и всё равно ошибка 550. Причём попытка выяснить что же не так — приводит к двухходовке «выполните все требования и попробуйте ещё раз» – «выполнил, не работает» – «сожалеем, но мы не можем раскрыть вам причину отбрасывания ваших писем».

Пришёл к тому, что завели несколько dedicated server в разных странах, на них собтвенные почтовые релеи; и если с основного сервера почту отбивают — прописываю в transport Postfix-а один из этих релеев, с какого принимают. Пока работает так.

Учитывая, что в природе уже встречаются и российские почтовые серверы, не принимающие почту с иностранных серверов, и иностранные, блокирующие российские IP, - как минимум два MTA: в России и вне её - стали суровой необходимостью.

Именно так и поступаю: на все физические сервера (dedicated / colocated) ставлю Postfix, они и как резервные MX для входящей почты настроены, и как резервные релеи для исходящей (если кто-то важный напрочь отказывается принимать письма от основного сервера — прописываю в transport дополнительный хоп на свой исходящий релей).

Так хотмейл как раз легендарен тем, что принимает почту только от самых крупных участников. с ним бесполезно бодаться: сразу заблочить у себя, возвращая отправителю объяснение, что на этот сервер доставки нет. А если неприемлемо - пересылать через аккаунт у крупного спамера.

Шлю почту напрямую, подключение к Интернету от обычного (немецкого) провайдера, но с фиксированным IP - гугл и яндекс принимают без проблем. Настроены бэкрезолвинг, SPF, DKIM, DMARC.

Видимо повезло с выданным IP.

Электронная почта, пожалуй, это последний артефакт того старого интернета, когда все люди были братья, стремились к максимальной связности и т.п. И вот такие инициативы ключевых игроков наводят на грустные мысли, что недолго ей осталось — до того времени, когда более-менее работать будет только почта гугла / майкрософта (и «дружественных» им провайдеров). А всякая мелочь, живущая реалиями вчерашнего дня (достаточно иметь подключение к сети и соблюдать RFC) — в отвал…

Да фиг бы с этими SPF/DKIM и т.д, это не так сложно и не так страшно. Но вот тот же iCloud свирепствует сильно больше гугла так точно. Они опираются на базы реальных вымогателей.

This is the mail system at host ****
I'm sorry to have to inform you that your message could not
be delivered to one or more recipients. It's attached below.
For further assistance, please send mail to postmaster.
If you do so, please include this problem report. You can
delete your own text from the attached returned message.
 The mail system
<******@icloud.com>: host mx01.mail.icloud.com[17.42.251.62] said:
   554 5.7.0 Blocked - see
   https://support.proofpoint.com/dnsbl-lookup.cgi?ip=xx.xx.xx.xx (in reply  to RCPT TO command)

В свое время написал хостеру с этой проблемой и меня заслали куда по дальше ссылаясь на то, что пруфпринт не что иное как вымогатели и хостер платить им не будет. Если хочешь — плати сам. Из-за чего я не то, что письмо на iCloud отправить не могу, я даже в спам в iCloud не попадаю, просто отбивает и всё и никакого выхода, кроме как установки почтового сервера на другом адресе попросту нет.

А ещё абсолютно все почтовые сервисы читают письма. Я время от времени работаю с маркетологами которые запрашивают информацию о рассылках, а сообщать нечего. Часто бывает письмо прочитано, а адресат об этом не вкурсе, т.к по пикселю сервиса «прогулялся» бот. Пробовал отфильтровать запросы по User-Agent, но тогда вообще нет информации о доставке, т.к бот прочитал письмо и закешировал, а клиенту отдал письмо с кэша и писксель тоже в кэше и никакого толку от него нет.

Плюс эти же боты пытаются уловить контекст, есть целые сервисы которые оценивают «заспамленност писем по тексту, а не по техническим настройкам. Можно сколь угодно хорошо настроить сервер, но это никак не повлияет на доставляемость писем. Картинки эти боты тоже рассматривают и пытаются понять, что на них изображено или написано.

Попутно есть еще и некий рейтинг доменов. Вот например с доменов com почта идет чуть бодрее и с более высокой доставляемостью, чем с домена online и который подвязан к тому же серверу и датой регистрации не отличается и соответственно с тем же содержимым письма.

Поигравшись несколько месяцев я понял, что в конечном итоге емейл оказывается дорогим и достаточно бесполезным каналом связи и реальность такова, что имеешь дело не столько с стандартами и настройками, сколько находишься где-то по середине между спамерами и корпоративным скамом.

ох уж ентот гугол я кончен за бизепасность но чесн слово тока раб оты прибовляют одминисраторам, один раз случей был - начиная не помню с какой с 49 версии вроде гугол хрома они ввели обязательное требование к наличию в сертефикате поля subject alt name и если его не было не браузер не доверял сертефикату и всё тут даже если он закинут в довереные, прикол в том что в зимбре версии 8.6 как раз баг был который не позвалял генерировать cert с такой опцией... пришлось обновлятся

У меня с гуглом обидно... mail-tester.com показывает 10/10, есть и PTR и SPF и DKIM c DMARC, всё идеально :) но не для гугла. Гугл говорит "иди в лес, брат", а точнее:

550-5.7.1 The IP you're using to send mail is not authorized to send email directly to our servers. Please use the SMTP relay at your service provider instead

Ещё в прошлом году гугл перестал принимать в массовом порядке письма без DKIM и DMARC, сейчас, видимо, просто официально обьявили.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий