Новая система ии будет отфильтровывать спам в интернете
Centr86.ru

Ремонт бытовой техники

Новая система ии будет отфильтровывать спам в интернете

Как работает спам-фильтр?

Как сделать так, чтобы ваши письма не отправлялись в нежелательную почту?

Ведь с этой проблемой наверняка сталкивался каждый, кто на протяжении достаточно долгого срока занимался email рассылкой. В среднем, «благодаря» спам-фильтрам, порядка 10-20% всех электронных писем бесследно исчезают на необъятном киберпространстве. И все это по вине слишком усердных спам-фильтров.

Даже не нужно быть злостным спамером, чтобы корреспонденция удалялась.

Даже те компании, которые производят рассылку совершенно легально, с разрешения и по желанию адресата, с завидной регулярностью подвергаются атакам честолюбивых спам-фильтров.

Увы, но быстрого и простого решения проблемы не существует. Чтобы избежать фильтров, надо понять их природу, понять, как они работают. А это процесс весьма долгий и скрупулезный.

В программах электронной почты заложен очень большой список критериев, на который ориентируются фильтры, чтобы распознать «мусорное» письмо. В этот список включены в первую очередь «спамерские» фразы.

К ним относится, например: «ВНИМАНИЕ, РАСПРОДАЖА. », « НАЖМИ СЮДА И БУДЕТ ТЕБЕ МИЛЛИОН ДОЛЛАРОВ!». Распознав одну из подобных фраз (или очень похожую на неё), почтовый робот утилизирует письмо. Некоторые критерии дают больше очков, некоторые меньше. Вот, например, образец разбора критериев от «Spam Assassin». Это наиболее популярный спам-фильтр во всем мире.

Итак, письмо будет помещено в спам, если оно:

  • упоминает выигрыши огромных денежных сумм (0.2 очка);
  • спрашивает, зачем платить больше? (1.25 очка);
  • гарантирует возврат денег за что-либо (2 очка);
  • содержит обращение о каком-то срочном вопросе, не терпящем отлагательств (2.9 очков);
  • предлагает дешёвую ипотеку или рефинансирование (3 очка);
  • рассказывает секрет небывалого успеха (2.4 очка);

Если ваше письмо содержит количество спама выше определенного порога, то оно удаляется.

Конечно, вы сразу захотите спросить, на каком уровне установлен этот порог? К сожалению, утешительного ответа нет. На каждом сервере администратор индивидуально устанавливает планку. Если пользователь уже сыт по горло мусорной рассылкой, то порог будет установлен очень низко. Почти ВСЯ корреспонденция в таком случае будет отправляться в утиль.

Упомянутый выше список критериев для определения спама постоянно растет, фильтры сами подстраиваются под изменения и новые уловки «спаммеров». Список обновляется каждый раз, когда пользователь нажимает кнопку «Это спам» в своем почтовом ящике. Спам-фильтры способны даже синхронизировать работу и обмениваться опытом в режиме онлайн.

Какие могут быть стандартные ошибки и как их избежать?

  • Использование спамерских фраз: «Нажми сюда!», «Получили миллион за минуту!»;
  • Обилие восклицательных знаков в заголовках и в теле письма;
  • Злоупотребление клавишей «CAPS LOCK»;
  • Яркие цвета шрифтов, в частности красный, зеленый;
  • Неправильная кодировка;
  • Использование одного большого изображения вместо текстового письма. Когда изображение не сопровождается минимальным количеством текста, письмо удаляется, признанное спамом;
  • Использование слов «Тест», «Привет», «Проверка», «Test» в теме письма. Эту ошибку допускают те, кто проводит тестовую рассылку внутри своей корпоративной почты;
  • Рассылка одного письма множеству адресатов в рамках одной организации. В этом случае брендмауэр почтового клиента фирмы идентифицирует рассылку, как спам-атаку. Это сложный вариант, с которым не справится никакая почтовая служба. Здесь всё зависит только от системного администратора компании;
  • Копирование текста из документа Microsoft Word в почту. Тут имеет место несовпадение форматов, текст и Word-а в формате HTML будет отображаться не правильно. В частности, это касается кавычек, троеточия;

Как узнать, попадают ли письма в Корзину или Нежелательные?

Для начала проанализируйте уровень открытия писем рассылки, используя доступ к статистике. Если он резко снижается, значит письма стали удаляться без прочтения.

Также вы можете ознакомиться с отчетами SMTP.

Зачастую спам-фильтры оставляют подсказки, почему то или иное письмо от вас было заблокировано. В очень многих почтовых службах была создана система обратной связи. Если получатель сообщает о письме как о спаме, то сигнал тревоги посылается отправителю. Для вас эти сигналы сохраняются долгое время, и вы можете ознакомиться со статистикой, сколько людей признало вас спамером. Эти люди, кстати, сразу будут удалены из вашего списка, автоматически.

Также, вы можете настроить email-аутентификацию и отслеживать статистику по письмам напрямую в почтовых программах.

Как искусственный интеллект повлиял на поисковые системы

10 минут на чтение

Искусственный интеллект (artificial intelligence, AI) — это свойство технических или программных систем выполнять творческие функции, которые присущи человеку. Одна из основных задач ИИ — понимание человеческого интеллекта.

Выделяют 3 вида искусственного интеллекта:

  • Ограниченный (Artificial Narrow Intelligence, ANI) — ИИ, который создан для решения конкретных задач. Например, угадывать изображения, играть в шахматы.
  • Общий (Artificial General Intelligence, AGI) — универсальный искусственный интеллект, который находится на одном уровне с человеческим и способен решать множество разнообразных задач.
  • Искусственный суперинтеллект (Artificial Superintelligence, ASI) — сверхинтеллект, который превосходит уровень отдельного человека или всего человечества.

На данный момент все существующие формы искусственного интеллекта — ограниченные. То есть способны решать исключительно конкретные, прикладные задачи и не могут соревноваться с человеческим разумом в универсальности.

Между тем, ИИ уже широко используется. Как указывает Google в своем блоге, корпорация применяет искусственный интеллект в следующих сервисах:

  • Переводчике Google — для прямого перевода.
  • Почте Gmail — в блокировщике спама и при написании текста писем.
  • Голосовом помощнике Google Assistant — для распознавания речи.
  • Google Photo — для распознавания изображений.
  • YouTube — для рекомендаций видеороликов.

Разработки ИИ на основе глубокого обучения начались еще в 2011 году в проекте Google Brain. Например, в 2012 году нейронная сеть из 16 000 компьютеров научилась распознавать на изображениях котов.

В России искусственный интеллект использует «Яндекс» — для предсказания погоды, управления беспилотными автомобилями, написания стихов и музыки, распознавания изображений и речи; в голосовом помощнике «Алиса», мультимедийном устройстве «Яндекс.Станция», и, конечно, в алгоритмах поиска.

Эволюция поисковых систем

Поисковые системы развивались по мере роста количества документов в интернете. Чем больше их становилось, тем заметнее увеличивалась сложность алгоритмов. Сначала поисковики просто искали страницы, затем решали задачи, а теперь становятся постоянными помощниками.

Этапы развития поисковых систем:

Наивный поиск

Ссылочное ранжирование

Машинное обучение

В поисковых алгоритмах машинное обучение начали использовать в начале 2000-х. В «Яндексе» это была система «Матрикснет», которая обучалась на основе образцов, составленных специальными людьми — асессорами. В 2017 году «Яндекс» перешел на новую систему машинного обучения — Cat Boost, он дает более точные результаты в задачах ранжирования.

Обе системы используют технологию градиентного бустинга — метод машинного обучения для регрессии и классификации проблем. Метод производит модели прогнозирования в виде дерева решений. Это позволяет обрабатывать разнородные данные, поэтому можно использовать системы сразу в нескольких направлениях: например, в прогнозе погоды, навигаторе, блокировке спама и т. д.

У классического машинного обучения есть определенные ограничения — оно эффективно только при большом количестве данных. Метод отлично работает, когда пользователи запрашивают миллионы и тысячи одинаковых запросов, то есть когда сигнал очень явный и мощный. Однако поиск развивается в сторону уникальных, низкочастотных и многословных запросов.

Искусственный интеллект в алгоритмах поиска

Искусственный интеллект базируется на достижениях машинного обучения. Разработки в этом направлении велись еще с 2013 года, когда были проведены первые исследования возможностей системы Word2Vec для семантического анализа.

Читать еще:  Почему швейная машинка рвет верхнюю нитку

На базе этой программы в Google была создана самообучающаяся система с искусственным интеллектом — Rank Brain. Запуск был утвержден 26 октября 2015 года. Цель алгоритма — уяснить смысл текста, отыскивая связи между отдельными словами.

Rank Brain является частью алгоритма Hummingbird («Колибри») в Google. Когда система встречает незнакомые слова, она ищет подсказки и синонимы по запросу. Найденные аналогии становятся основой для фильтрации данных. На данный момент Rank Brain является одним из трех важнейших критериев оценки страницы, наряду со ссылками и текстом.

В 2016 году «Яндекс» объявил о запуске нового алгоритма «Палех», который работает на основе нейросетей. Алгоритм позволил лучше искать страницы, которые соответствуют запросу не только по ключевым словам, но и по смыслу. «Палех» анализирует заголовки страниц и извлекает из них скрытые семантические связи.

Развитием технологии стал алгоритм «Королев», о введении которого объявили 22 августа 2017 года. В отличие от «Палеха», «Королев» сравнивает семантические векторы запросов и страниц целиком, а не только заголовков. При этом, помимо нейросетей, здесь задействовано машинное обучение на основе поведения людей. В роли асессоров выступают миллионы обезличенных пользователей.

Все алгоритмы имеют схожую схему работы и 1 задачу — улучшить понимание сложных и многословных запросов.

Instagram внедряет ИИ для распознавания травли

Facebook как один из мировых лидеров в разработке технологий искусственного интеллекта нашёл прикладное применение для этих программ: фильтрация общения людей. Передовые инновации внедряют в социальной сети Instagram (см. пресс-релиз Instagram, а также репортаж в Time с комментарием Йоава Шапиры, ведущего разработчика нейросетевых классификаторов травли).

Самая интересная из новых функций — что «грубого человека» можно заблокировать так, что он даже этого не заметит. Пользователь продолжит хамить, но его опубликованные сообщения будут видны только ему одному. Это идеальный вариант, чтобы не блокировать грубияна и не обострять ситуацию. Впрочем, конкретно эта функция не связана с системой ИИ.

Как сказано в пресс-релизе, в ближайшее время Instagram представит новые функции, «направленные на сдерживание онлайн-буллинга» (травли). Это происходит в то время, когда во всём мире растут призывы усилить контроль за такими платформами, как Facebook и Twitter, на фоне критики за распространение ненависти и фейковых новостей, а также за широко распространённую агрессию и грубость в комментариях.

Instagram с аудиторией в 500 миллионов человек является платформой, ориентированной на изображения. Здесь пользователи размещают фотографии и видео, которые затем прокомментируют другие пользователями.

Сейчас компания заявила, что в течение многих лет использует ИИ для мониторинга травли и вредоносного контента, а теперь представляет интерфейс непосредственного взаимодействия этого ИИ с пользователями.

Две новые функции

Во-первых, это технология мгновенного обнаружения, когда пользователь пытается опубликовать что-то оскорбительное. Система будем выдавать предупреждение перед публикацией. «Это вмешательство даёт людям возможность задуматься и отменить свой комментарий, — говорится в заявлении руководителя Instagram Адама Моссери. — Из ранних тестов этой функции мы обнаружили, что она побуждает некоторых людей отменить свой комментарий и поделиться чем-то менее вредным, как только у него появляется возможность подумать».

Другая новая функция — «Ограничение» (Restrict) — направлена на ограничение оскорбительных комментариев в ленте пользователя. «Мы слышали от молодых людей в нашем сообществе, что они не хотят ни блокировать, ни удалять из фоловеров, ни сообщать о хулигане, потому что это может обострить ситуацию, особенно если они взаимодействуют с ним в реальной жизни», — сказал Моссери.

Теперь появился новый вариант: сделать так, что посты обидчика будут видимы только ему. Грубияна переводят в «ограниченный» (restricted) режим, то есть он буквально становится «ограниченным пользователем».

Шаг 1. Вы видите комментарий грубияна

Шаг 2. Вы удаляете комментарий и переводите грубияна в режим Restricted

«Ограниченные люди не смогут видеть, когда вы активны на Instagram или когда вы прочитали их прямые сообщения», — добавил Моссери.

Шаг Instagram должен помочь защитить особенно подростков. Согласно опросу, опубликованному исследовательским центром Pew Research Center в прошлом году, 72% подростков США заявили, что они использовали Instagram.

Запугивание и травля — лишь один из многих фронтов, на которых от социальных сетей требуют действий в последние годы. Растут призывы к регулированию таких платформ в связи с распространением сообщений, разжигающих ненависть, и фейковых новостей.

Такие компании, как Facebook, в ответ на это начали изменять политику и внедрять функции, направленные на повышение прозрачности и безопасности. Пока получается с переменным успехом, но без давления общества не было бы и этого.

Искусственный интеллект

В интервью Time представители Instagram сказали, что для фильтрации грубого поведения и издевательств в будущем они полагаются на технологии искусственного интеллекта, чтобы полностью искоренить травлю, издевательства и неуважение. Молодые люди сейчас зачастую запуганы и стесняются, бояться сообщить о неподобающем поведении, дать отпор группе хулиганов или заблокировать их. В будущем им не придётся этого делать: система ИИ сама позаботится о слабых.

Создание искусственного интеллекта для борьбы с грубостью — это своеобразный технический Эверест, пишет Time. Это означает обучение машин пониманию проблемы со сложными нюансами. Instagram также должен опасаться проблем со свободой слова, поскольку инженеры создают инструменты, которые оптимизированы для поиска того, что надо, не фильтруя лишнего: «Я беспокоюсь, что если мы не будем осторожны, то можем переступить грань», — говорит Адам Моссери, глава Instagram. Однако он готов принимать решения, которые означают снижение активности пользователей в Instagram, если это повышает безопасность.

Сайт для обмена фотографиями практически с самого начала начали использовать извращенцы. 20-летние основатели компании Кевин Систром и Майк Кригер целыми днями лично удаляли неприятные комментарии и блокировли троллей. Затем они применили инструмент ИИ, известный как DeepText, разработанный для понимания и интерпретации языка.

Инженеры Instagram впервые использовали DeepText в 2016 году для поиска спама. В 2017 году его обучили находить и блокировать оскорбительные комментарии, включая расовые оскорбления. К середине 2018 года программа — по сути, набор нейросетей, — обучили находить в комментариях также и травлю, то есть умышленную грубость. В октябре 2018 года компания объявила, что система ИИ будет анализировать не только комментарии, но и сами посты.

Когда инженеры хотят научить машину выполнять ту или иную задачу, они начинают с создания обучающего набора — набора простых терминов, набора материала, который поможет машине понять правила её новой работы. В этом случае поиск начинается с того, что модераторы сортируют сотни тысяч фрагментов контента и решают, содержат они издевательства или нет. Они помечают их и вводят примеры в так называемый классификатор. Конечно, эти начальные примеры не могут охватить всё, с чем столкнётся классификатор в реальной жизни. Но он помечает контент и как люди-модераторы тоже учится на дополнительных примерах. В идеале, с помощью инженеров, настраивая свои привычки изучения, он становится всё лучше и лучше с течением времени.

Читать еще:  Как починить обогреватель

Сегодня Instagram использует для сканирования контента три отдельных классификатора травли. Один обучен на распознавание оскорбляющего текста, второй — фотографий, третий — видео. Классификаторы уже живут в нормальном режиме: работают, ищут и помечают контент. Тем не менее, они пока находятся «на довольно ранней стадии разработки», говорит ведущий инженер Йоав Шапира. Другими словами, они пропускают много издевательств, и не обязательно находят оскорбления. То есть допускают много ложноположительных и ложноотрицательных срабатываний.

Распознать грубости сложнее, чем обучить нейросеть, например, находить наготу, поскольку гораздо легче распознать, когда кто-то на фотографии не носит штаны, чем распознать широкий спектр поведения, которое может считаться издевательством. Исследования киберзапугивания сильно различаются в своих выводах о том, сколько людей испытали его, от 5% до 72%, отчасти потому, что никто не согласен с тем, что это такое. «То, что делает издевательства настолько трудными для решения, заключается в том, что определение настолько отличается у разных людей», — говорит Карина Ньютон, глава по публичной политике Instagram.

Другими словами, какое-то замечание может глубоко оскорбить одного человека, а другой воспримет его абсолютно нейтрально и спокойно, то есть вообще не примет за оскорбление.

А инженерам нужно дать чёткие инструкции, что квалифицируется как травля, а что нет, чтобы построить надёжный набор данных для обучения.

Формы издевательств в Instagram со временем изменились, пишет Time. Есть много того, что можно назвать «старомодными издевательствами»: это самые распространённые комментарии, оскорбления и угрозы, согласно собственным исследованиям Instagram. Некоторые из них легко обнаружить. Текстовый классификатор, например, хорошо обучен искать предложения типа «Ты уродливая задница, сука с зубами» (you ugly ass gapped tooth ass bitch) или «Твоя дочь шлюха» (Your daughter is a slag). Но сленг меняется со временем и в разных культурах, особенно в молодёжной. А для выявления агрессивного поведения требуется осмысление полных предложений, а не только нескольких слов. Есть разница между «Я приду позже» и «Я приду позже, что бы ты ни говорил».

Пользователи Instagram также становятся жертвами агрессивного поведения, которое выходит за рамки слов. На сайте есть так называемые «страницы ненависти», анонимные учётные записи, посвященные высмеиванию людей. Парень может поставить тег своей бывшей девушки на сообщениях, где он с другими девушками. Или девушка может пометить кучу друзей в сообщении и демонстративно исключить кого-то. Другие могут сделать скриншот чьей-то фотографии, изменить её или просто издеваться над ней в групповом чате. Есть повторяющийся контент как оскорбление — например, размещение одного и того же смайлика на каждой фотографии, которую публикует человек, что имитирует преследование. Многие подростки находят неловкие фотографии или видео со своим участием, размещённые без их согласия, или оказываются предметом голосования HotOrNot (примерно такую голосовалку под названием Facemash создал Марк Цукерберг, будучи студентом Гарварде на веб-сайте, который позже был переименован в Facebook).

В рамках своих усилий по разработке эффективного ИИ Instagram сейчас проводит опрос тысяч пользователей в надежде лучше понять все формы, которые могут принимать издевательства, в глазах аудитории. Ответы также помогут Instagram оценить распространённость издевательств на платформе. Эти данные впервые будут обнародованы в этом году.

Сейчас для обучения классификатора команда Шапиры разбила травлю на семь подкатегорий:

  • оскорбления,
  • пристыживания,
  • угрозы,
  • атаки на личность,
  • неуважение,
  • нежелательные контакты,
  • измены.

Грандиозный план заключается в создании искусственного интеллекта, который обучен понимать каждую концепцию.

Поскольку издевательства могут быть привязаны к внутреннему контексту и тому, насколько хорошо два человека знают друг друга, инженеры Instagram также исследуют способы анализа активности и историю пользователей. Например, слово «хо», может быть классифицировано как издевательство, когда мужчина говорит это женщине, но не когда женщина использует его для приветствия друга. Точно так же, если кто-то однажды скажет «потрясающая картинка», это может быть комплиментом. Но если они говорят это на каждой фотографии, которую публикует человек, то это начинает выглядеть подозрительно.

Инженеры извлекают выгоду из сигналов, которые помогают выявить эти отношения: часто ли две учётные записи ставят метки друг у друга? Кто-нибудь из них когда-то в прошлом блокировал другого? Является ли имя пользователя похожим на того, кто был заблокирован в прошлом? Есть ли признаки скоординированных действий с другими пользователями?

Когда дело доходит до фотографий и видео, у классификаторов меньше практики и они менее продвинуты. Инженеры и модераторы пока идентифицируют шаблоны, но некоторые ориентиры уже появились. Например, экран, разделённый на две половины, часто является признаком издевательств, особенно если машина обнаруживает на одной стороне человека, а на другой — животное. Как и фотография трёх человек, где лицо одного из них перечёркнуто. Команда также учится понимать такие факторы, как осанка. Скорее всего, фотография была сделана без согласия, если она выглядит как снимок «под юбкой». Если один человек стоит, а другой находится в позе жертвы, это красный флаг.

Каждую неделю исследователи отчитываются о своих находках, и почти каждую неделю появляется какая-то новая форма издевательств, которую инженеры раньше и не думали искать, говорит Шапира. Но Facebook и Instagram уверены, что способны справиться с этими проблемами.

Неизвестно, сколько из примерно 1200 сотрудников Instagram или примерно 37 700 сотрудников Facebook работают над проектом.

Ведущий разработчик также отказался сообщить текущий процент ошибок классификаторов и объём контента, который они помечают для модераторов. «В ближайшие год-два будет намного лучше», — только сказал Йоав Шапира.

Как работает спам-фильтр?

Как сделать так, чтобы ваши письма не отправлялись в нежелательную почту?

Ведь с этой проблемой наверняка сталкивался каждый, кто на протяжении достаточно долгого срока занимался email рассылкой. В среднем, «благодаря» спам-фильтрам, порядка 10-20% всех электронных писем бесследно исчезают на необъятном киберпространстве. И все это по вине слишком усердных спам-фильтров.

Даже не нужно быть злостным спамером, чтобы корреспонденция удалялась.

Даже те компании, которые производят рассылку совершенно легально, с разрешения и по желанию адресата, с завидной регулярностью подвергаются атакам честолюбивых спам-фильтров.

Увы, но быстрого и простого решения проблемы не существует. Чтобы избежать фильтров, надо понять их природу, понять, как они работают. А это процесс весьма долгий и скрупулезный.

В программах электронной почты заложен очень большой список критериев, на который ориентируются фильтры, чтобы распознать «мусорное» письмо. В этот список включены в первую очередь «спамерские» фразы.

К ним относится, например: «ВНИМАНИЕ, РАСПРОДАЖА. », « НАЖМИ СЮДА И БУДЕТ ТЕБЕ МИЛЛИОН ДОЛЛАРОВ!». Распознав одну из подобных фраз (или очень похожую на неё), почтовый робот утилизирует письмо. Некоторые критерии дают больше очков, некоторые меньше. Вот, например, образец разбора критериев от «Spam Assassin». Это наиболее популярный спам-фильтр во всем мире.

Итак, письмо будет помещено в спам, если оно:

  • упоминает выигрыши огромных денежных сумм (0.2 очка);
  • спрашивает, зачем платить больше? (1.25 очка);
  • гарантирует возврат денег за что-либо (2 очка);
  • содержит обращение о каком-то срочном вопросе, не терпящем отлагательств (2.9 очков);
  • предлагает дешёвую ипотеку или рефинансирование (3 очка);
  • рассказывает секрет небывалого успеха (2.4 очка);
Читать еще:  Есть ли в стиральной машине предохранитель?

Если ваше письмо содержит количество спама выше определенного порога, то оно удаляется.

Конечно, вы сразу захотите спросить, на каком уровне установлен этот порог? К сожалению, утешительного ответа нет. На каждом сервере администратор индивидуально устанавливает планку. Если пользователь уже сыт по горло мусорной рассылкой, то порог будет установлен очень низко. Почти ВСЯ корреспонденция в таком случае будет отправляться в утиль.

Упомянутый выше список критериев для определения спама постоянно растет, фильтры сами подстраиваются под изменения и новые уловки «спаммеров». Список обновляется каждый раз, когда пользователь нажимает кнопку «Это спам» в своем почтовом ящике. Спам-фильтры способны даже синхронизировать работу и обмениваться опытом в режиме онлайн.

Какие могут быть стандартные ошибки и как их избежать?

  • Использование спамерских фраз: «Нажми сюда!», «Получили миллион за минуту!»;
  • Обилие восклицательных знаков в заголовках и в теле письма;
  • Злоупотребление клавишей «CAPS LOCK»;
  • Яркие цвета шрифтов, в частности красный, зеленый;
  • Неправильная кодировка;
  • Использование одного большого изображения вместо текстового письма. Когда изображение не сопровождается минимальным количеством текста, письмо удаляется, признанное спамом;
  • Использование слов «Тест», «Привет», «Проверка», «Test» в теме письма. Эту ошибку допускают те, кто проводит тестовую рассылку внутри своей корпоративной почты;
  • Рассылка одного письма множеству адресатов в рамках одной организации. В этом случае брендмауэр почтового клиента фирмы идентифицирует рассылку, как спам-атаку. Это сложный вариант, с которым не справится никакая почтовая служба. Здесь всё зависит только от системного администратора компании;
  • Копирование текста из документа Microsoft Word в почту. Тут имеет место несовпадение форматов, текст и Word-а в формате HTML будет отображаться не правильно. В частности, это касается кавычек, троеточия;

Как узнать, попадают ли письма в Корзину или Нежелательные?

Для начала проанализируйте уровень открытия писем рассылки, используя доступ к статистике. Если он резко снижается, значит письма стали удаляться без прочтения.

Также вы можете ознакомиться с отчетами SMTP.

Зачастую спам-фильтры оставляют подсказки, почему то или иное письмо от вас было заблокировано. В очень многих почтовых службах была создана система обратной связи. Если получатель сообщает о письме как о спаме, то сигнал тревоги посылается отправителю. Для вас эти сигналы сохраняются долгое время, и вы можете ознакомиться со статистикой, сколько людей признало вас спамером. Эти люди, кстати, сразу будут удалены из вашего списка, автоматически.

Также, вы можете настроить email-аутентификацию и отслеживать статистику по письмам напрямую в почтовых программах.

Как отфильтровать спам и не потерять важные письма

04.10.2017 Советы от технической поддержки 0 Комментариев 1497

Нередка ситуация, когда в погоне за чистым почтовым трафиком системный администратор устанавливает такие настройки почтового шлюза, которые не только начисто избавляют организацию от спама, но и лишают ее сотрудников важных писем от контрагентов. Чтобы не пришлось искать виновных, поделюсь опытом, на что необходимо обратить внимание при настройке антиспам-модулей в системах информационной безопасности.

Больше половины почтового трафика в Интернете – чистый, незамутненный спам. Адресату он либо просто не нужен, либо опасен, так как это самый популярный у киберпреступников канал распространения вредоносных программ. Очевидно, его надо устранять из входящей почты, и для этого имеются эффективные и простые в настройке инструменты.

Однако случается, что администратор, установив систему информационной безопасности и настроив ее почтовый шлюз, лишает свою организацию входящей почты, полностью или частично. Бесследно исчезают письма от контрагентов, подрядчиков, контролирующих органов. Поздравляем победителя: спам он действительно отфильтровал. А теперь разберемся, как все-таки настроить почтовый шлюз, избавиться от спама, но сохранить полезные письма. «Разбор полетов» на примере антиспам-модулей комплексного решения информационной безопасности Traffic Inspector, которым сам пользуюсь.

Что именно делать с письмом, решает SMTP-шлюз Traffic Inspector на основе весового коэффициента, присвоенного антиспам-модулями. В настройках шлюза можно установить пороговые значения коэффициента и соответствующие действия. По умолчанию блокируется доставка сообщений с весовым коэффициентом более 100.


Настройки действий с письмом в SMTP-шлюзе Traffic Inspector

Коэффициент сообщения модифицируется двумя антиспам-модулями: Traffic Inspector Anti-Spam powered by Kaspersky и RBL SMTP Filter. Первый проверяет письма с помощью сигнатурного и лингвистического анализа. В его настройках можно установить предпочтительную агрессивность вердикта, дополнительные признаки спама, и определить, что делать с письмом – как изменять его весовой коэффициент, заголовки и тему.

Настройки действий с письмом в модуле Traffic Inspector Anti-Spam powered by Kaspersky

Второй модуль содержит перечень публичных RBL-служб. Эти сервисы ведут собственные «черные» и «серые» списки IP-адресов, считающихся источниками спама. Модуль RBL SMTP Filter опрашивает их все одновременно, рассылая IP-адрес отправителя. В ответ те сообщают, присутствует ли этот адрес в их списках, и, если присутствует, как именно он классифицируется.

Настройки действий с письмом в службе модуля RBL SMTP Filter

В настройках каждой службы можно установить, будет ли сообщение блокироваться, если отправитель есть в писке, и, если нет, как изменять его весовой коэффициент. Вот тут у администратора может возникнуть искушение включить блокировку по всем RBL, и навсегда избавиться от спама.

Так делать не стоит. Каждый RBL-сервис руководствуется собственными правилами по добавлению и удалению из списков. Попадают в «черный» список сервера с Open Relay (то есть принимающие к отправке письма от кого угодно), анонимные HTTP- и SOCKS-прокси, и целые подсети, из которых активно рассылается спам.

Нередки ситуации, когда вполне легитимный почтовый сервер попадает в один или несколько «серых» списков из-за действовавшего через него спамера. Администратор сервера, получив несколько жалоб от пользователей, что их письма не доходят, скорее всего, обратится к нескольким операторам RBL, чтобы те исправили ситуацию, но это занимает время, и какие-то RBL могут быть пропущены.

С попавшими в список подсетями ситуация еще сложнее – например, локальные провайдеры могут вообще игнорировать проблемы доставки почты от своих пользователей. В результате сервер будет «висеть» в списках одного-двух RBL долгое время, и все письма, отравленные через него, будут отбрасываться в случае включения бескомпромиссной блокировки на SMTP-шлюзе Traffic Inspector.

Решением этой проблемы и является система весовых коэффициентов. Но точное значение весового коэффициента, при котором стоит «рубить» сообщение, зависит от очень многих факторов – от числа активных RBL-служб в модуле RBL SMTP Filter, до размера и отрасли деятельности вашей организации.

Лучше всего устанавливать пороговый коэффициент динамически, исходя из результатов фильтрации, установив не блокировку, а маркировку спама. Соответственно, на почтовых клиентах нужно настроить перемещение маркированных писем в отдельную папку в почтовом ящике – так ценные письма точно не пропадут.

Если пользователи наблюдают ложноположительные срабатывания фильтров (то есть в папку для спама попадают легитимные письма) – коэффициент стоит повысить, если же много ложноотрицательных вердиктов (спам проходит через фильтры) – пора понижать. Полностью исключить ошибки фильтрации невозможно, но снизить уровень спама до долей процента – вполне реально. Лучшие результаты даст периодическая подстройка порогового коэффициента вслед за изменениями в спам-трафике.

Ссылка на основную публикацию
Adblock
detector