Pull to refresh
29
0.1
Павел Егоров @PEgorov

Сырники со сметанкой

Send message

DPI мобильных операторов: от бесплатного интернета до раскрытия номера и местоположения

Reading time 11 min
Views 177K
Системы глубокого анализа трафика (Deep Packet Inspection, DPI) — программно-аппаратные комплексы для классификации проходящего интернет-трафика по типу данных (веб-страница, документ, аудио, видео), протоколу (HTTP, BitTorrent, VoIP/SIP) и конкретным программам (Skype, WhatsApp), зачастую обладающие дополнительной функциональностью. Системы DPI распространены и используются по всему миру продвайдерами проводного и беспроводного доступа.

Мобильные операторы используют системы глубокого анализа трафика, прежде всего, для приоритизации разного контента в интернете (QoS), чтобы можно было одновременно скачивать большой файл и смотреть видео на YouTube, и чтобы один пользователь сотовой сети, активно использующий интернет, не создавал проблем другим пользователям. Операторы используют DPI примерно с начала двухтысячных, с приходом UMTS (3G), чтобы более-менее честно разделять беспроводной канал ограниченной пропускной способности.

Мобильные операторы используют и другие возможности DPI, например, ускорение TCP и HTTP-трафика (TCP PEP, Performance-enhancing Proxy), для ускорения интернета в мобильных сетях и идентификации пользователей веб-сайтами. Если попытаться зайти в личный кабинет оператора с телефона, на многих операторах он откроется сразу, без необходимости ввода логина и пароля. Или, что можно было встретить лет 5 назад, простой заход на подозрительный веб-сайт или клик по рекламному баннеру из Android-игры оборачивался автоматической подпиской на платную услугу, о чем можно было узнать из СМС-сообщения.
Читать дальше →
Total votes 196: ↑194 and ↓2 +192
Comments 121

Let's Encrypt и nginx: настройка в Debian и Ubuntu

Reading time 13 min
Views 302K

image


Если вдруг вся эта история прошла мимо вас, Let's Encrypt — центр сертификации от некоммерческой организации ISRG, существующий при поддержке EFF и многих компаний, взявшей на себя миссию дать людям бесплатные SSL/TLS сертификаты для сайтов и серверов. Сертификаты от Let's Encrypt уже используются на более чем 10 миллионах доменов.


Кроме очевидной бесплатности у сертификатов от Let's Encrypt есть особое, отсутствующее у любых других коммерческих сертификационных центров, достоинство: если вы однажды получили сертификат от Let's Encrypt, то, при прочих равных, это навсегда. Не нужно раз в год-два вручную обновлять сертификаты. Не нужно вообще вспоминать что сертификаты где-то есть. Получил, настроил и забыл!


Внимательный читатель сразу захочет возразить: как же так, ведь известно что сертификаты выдаются со сроком действия в три месяца? Всё дело в автоматическом обновлении сертификатов, которое возможно при полном отсутствии действий со стороны человека.


Организации автоматического обновления сертификатов в статье уделено пристальное внимание, с тем чтобы вы могли в полной мере оценить это принципиальное преимущество Let's Encrypt.

Читать дальше →
Total votes 48: ↑46 and ↓2 +44
Comments 96

Скучно о дешифрации

Reading time 5 min
Views 13K

Нет, а вы вообще когда-либо видели веселый текст про SSL?

Я – нет. Но нам все равно придется страдать. Вы могли бы пролистать этот материал и почитать что-нибудь более интересное и интригующее. Но если вам надо разобраться, как и зачем это работает, то советую запастись чем-нибудь бодрящим. Ибо далее неподготовленный человек рискует заснуть.

Я, конечно, возьму на себя ответственность и буду периодически вас будить. Однако, советую все же налить себе чашечку крепкого кофе и устроиться поудобнее. Поговорить нам надо о многом:
дешифрация NGFW – дело тонкое.
Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Comments 3

DPI-дайджест: Анализ трафика, блокировки, платформы и производители систем DPI

Reading time 3 min
Views 12K
В первых материалах, которые мы опубликовали в своем блоге на Хабре, мы рассказывали как о самой технологии DPI, так и о различных сценариях, которые позволяют ее использовать, а еще мы затрагивали тему оборудования.

Сегодня мы решили подвести промежуточный итог цикла вводных материалов и подготовили для вас DPI-дайджест. Теорию мы постарались разнообразить информационно-развлекательными материалами из тематического блога VAS Experts.

Total votes 14: ↑13 and ↓1 +12
Comments 1

Основы компьютерных сетей. Тема №4. Сетевые устройства и виды применяемых кабелей

Reading time 26 min
Views 264K


Приветствую всех! Добрались мы до 4-ой темы. Поговорим сегодня про различные сетевые устройства и применяемые кабели. Узнаем, чем отличается коммутатор от маршрутизатора, что такое концентратор и многое другое. Приглашаю заинтересовавшихся под кат.
Читать дальше →
Total votes 35: ↑32 and ↓3 +29
Comments 45

Deep Packet Inspection: Оборудование и применение

Reading time 5 min
Views 14K
Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.

В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.


/ Flickr / Sean MacEntee / CC
Читать дальше →
Total votes 23: ↑18 and ↓5 +13
Comments 1

Введение в DPI: Сценарии использования системы

Reading time 4 min
Views 9.6K
Вчера мы начали рассматривать базовые элементы DPI и поговорили о составе системы и схемах подключения. Сегодня мы решили взглянуть на реальные варианты использования DPI и поговорить о технических сценариях, которые позволяют операторам обеспечивать высокое качество услуг.


/ Flickr / Yuri Samoilov / CC
Читать дальше →
Total votes 15: ↑12 and ↓3 +9
Comments 8

Введение в DPI: Состав системы и схемы подключения

Reading time 3 min
Views 15K
Привет, Хабр! Мы в VAS Experts специализируемся на создании и внедрении сервисов в области контроля и анализа интернет трафика. В нашем блоге мы будем делиться собственным опытом работы и рассказывать о том, как устроены те или иные технологии, имеющие отношение к нашей сфере деятельности.


/ Flickr / Andrew Hart / CC

Глобальный рынок систем глубокого анализа трафика (DPI) в 2013 году оценивался практически в 742 млн долларов США. По прогнозу аналитиков, к 2020 он вырастет более чем в 6 раз и будет оцениваться в 4,7 млрд. DPI-системы в основном применяют интернет-провайдеры и операторы связи, которые стремятся защитить своих абонентов и оптимизировать полосу пропускания до клиента за счет фильтров, приоритетов и кешей.

DPI выполняет анализ всех проходящих через неё пакетов вплоть до 7 уровня модели OSI и распознает приложения, не использующие для обмена данными заранее известные заголовки и структуры. Однако система DPI сама по себе не решает проблемы и задачи, описанные выше. Она взаимодействует с другими устройствами и сервисами сети передачи данных оператора. Об этом сегодня и поговорим.
Читать дальше →
Total votes 24: ↑19 and ↓5 +14
Comments 10

Как найти поддомены за считанные минуты?

Reading time 4 min
Views 146K
Поиск поддоменов — неотъемлемая часть подготовки ко взлому, а благодаря некоторым инструментам противостояние этим действиям стало намного проще.

Незащищенные поддомены подвергают вашу деятельность серьезной опасности, а в последнее время произошел целый ряд инцидентов, при которых взломщики воспользовались поддоменами для обхода защиты.

В случае последнего из череды инцидентов весь код сайта Vine можно было загрузить с незащищенного поддомена.

Если вы владелец сайта или изучаете вопросы информационной безопасности, вы можете воспользоваться следующими инструментами чтобы найти поддомены любого домена.

image
Читать дальше →
Total votes 29: ↑27 and ↓2 +25
Comments 10

Что нужно знать, уметь и понимать, чтобы не иметь проблем с поиском работы питонистом

Reading time 10 min
Views 175K
Язык — лишь малая часть того, что вам нужно знать. Может быть около 5%, а то и меньше.

Эта статья повторяет и дополняет содержание моего выступления «Что отличает джуниора от сеньора или как питонисту не иметь проблем с поиском работы» на последнем MoscowPython Meetup 39. Многие обращались ко мне после выступления с вопросами и я обещал опубликовать статью на Хабре и обсудить в комментариях.

Под катом вы найдете ответ на тему статьи и немного оффтопа. Имейте ввиду, что эта статья написана мной лично, по моему практическому опыту, так как у меня редко когда-либо возникали трудности с поиском работы. Она может отличаться от опыта других людей и я буду очень рад любым дополнениям и исправлениям, если я в чем-нибудь неправ.

no problem

Таки что же?!
Total votes 56: ↑41 and ↓15 +26
Comments 190

Мониторинг сети с помощью FlapMyPort

Reading time 5 min
Views 16K
image

Я создал систему мониторинга сети сугубо под свои нужды, но со временем проект развился до такого состояния, при котором он вполне может быть полезен другим людям. Эта статья адресована прежде всего сетевым инженерам, системным администраторам, и другим специалистам, чья деятельность связана с коммутаторами и маршрутизаторами. Если кто-то из вас захочет внедрить FlapMyPort в своей сети, я готов оказать персональное содействие в ее развертывании, так как хочу, чтобы люди пользовались ею.
Читать дальше →
Total votes 25: ↑24 and ↓1 +23
Comments 6

Искусственный Интеллект в Excel предсказывает обладателя золотой медали в мужском турнире на Рио 2016

Reading time 6 min
Views 14K
Каждый раз, когда мы используем сложные математические алгоритмы и современные методы машинного обучения, мы ставим задачу получить тренд, понять внутренние зависимости, и в конечном счете произвести предсказания. Более точные результаты можно получить, если алгоритм может быть адаптирован под имеющиеся знания, под имеющуюся модель процесса. Одним из направлений в машинном обучении, которое позволяет создавать и обучать модели для получения предсказаний, является «порождающее (или Байесовское) моделирование» (в отличие от «дискриминативного» моделирования, например, нейронных сетей). Для создания вероятностных моделей и работы с ними существуют платформы, которые в последнее время относятся к направлению «вероятностным программированием». Более подробно о вероятностном программировании можно почитать в других статьях на Хабрахабре: «Вероятностное программирование», «Вероятностное программирование – ключ к искусственному интеллекту?» и «Вероятностное программирование».

Совсем недавно появился стартап Invrea, который в качестве вероятностного языка программирования предлагает использовать Excel: вероятностная модель может быть создана в Экселе и предсказания могут быть получены там же. Ниже находится перевод одной из статьи с сайта стартапа (перевод выполнен исключительно в образовательных целях). В статье авторы рассматривают пример «бытовой» ситуации. Им интересно понять, кто победит в теннисном турнире на Олимпийских играх 2016. Они производят предсказания о том, кто наиболее вероятный кандидат на победу. Статья была написана 7 августа, во время игр, после завершения всех игр первого тура.

Total votes 19: ↑19 and ↓0 +19
Comments 1

Машинное обучение вместо DPI. Строим классификатор трафика

Reading time 10 min
Views 29K
image

Вряд ли можно представить мир современных сетевых технологий без DPI (deep packet inspection – глубокий анализ пакетов). На нём держатся системы обнаружения сетевых атак, львиная доля политик безопасности корпоративных сетей, шейпинг и блокировка пользовательского трафика оператором связи – да-да, чтобы выполнять требования Роскомнадзора, средства DPI обязан иметь каждый провайдер.

И всё-таки, при всей своей востребованности, DPI имеет некоторые недостатки. Главный из них в том, что средствам DPI необходимо видеть полезную нагрузку анализируемых пакетов. А что делать, когда клиент использует шифрование? Или, например, если у нас нет DPI здесь и сейчас, но в перспективе потребуется проводить какой-то анализ текущего по сети трафика – тогда нам остаётся только сохранять всю полезную нагрузку для последующего анализа, что очень неудобно.

В данной статье я хочу предложить альтернативный способ решения одной из главных задач DPI – определения протокола прикладного уровня – на основе очень маленького количества информации, при этом не сверяясь со списком широко известных портов (well-known ports) и не глядя в полезную нагрузку пакетов. Вообще.
Читать дальше →
Total votes 33: ↑32 and ↓1 +31
Comments 22

Исследуем «Ревизор» Роскомнадзора

Reading time 17 min
Views 177K
ФСБшник хороший
Aqua Mine
Ревизор — программно±аппаратный комплекс для мониторинга доступа к сайтам из реестра со стороны провайдеров — берет свое начало в октябре 2015 года, когда компания «МФИ Софт», та же компания, что сделала СОРМы, выиграла тендер на разработку ПО за 84 миллиона рублей. Согласно условиям тендера, разработчик должен был предоставить работоспособное ПО под Windows и Linux и 700 аппаратных «Агентов» в срок до 14.12.2015, всего через 2.5 месяца, и, похоже, все было готово даже на пару недель раньше дедлайна. Провайдерам в добровольно-принудительном порядке уже в начале декабря предлагалось установить один из трех вариантов Ревизора: в виде образа виртуальной машины VMWare, основанной на OpenWRT 14.07, в виде программы-сервиса под Windows, либо же в виде железного «Агента», который представлял из себя маршрутизатор TP-Link MR3020 с установленным на него OpenWRT и необходимым ПО. Многие провайдеры отказывались от установки комплекса из-за того, что он не сертифицирован, а использоваться будет только им во вред, а другим устройств просто не досталось, и им пришлось установить софтовую версию.

Итак, у меня в руках последняя версия VMWare-образа и exe-файла Ревизора. Давайте же посмотрим, что внутри!
image
Читать дальше →
Total votes 191: ↑191 and ↓0 +191
Comments 292

Ключ от продуктов JetBrains всем учащимся на Stepic.org

Reading time 1 min
Views 64K
Этой весной JetBrains дарит ключи от своих продуктов всем активным учащимся массовых открытых онлайн-курсов по программированию на Stepic.org!




Мы в Stepic.org, конечно, считаем, что учиться классно в любое время года, но весной'16 это делать будет особенно приятно!
Читать дальше →
Total votes 35: ↑27 and ↓8 +19
Comments 16

Ботнет для «накрутки» прослушиваний

Reading time 3 min
Views 27K


В нашем блоге на GT и разделе "Мир Hi-Fi" мы делимся не только экспертизой сотрудников Аудиомании, но и разбираем интересные кейсы, охватывающие самые разные аспекты функционирования музыкальной индустрии. Так, мы говорили о возможностях, которые может предоставить настоящий 3D-звук, рассказывали о различных гаджетах и стартапах из мира аудио.

Сегодня мы решили посмотреть на явление, с которым сталкиваются многие начинающие музыканты и популярные производители музыки. Речь пойдет о "накрутке" прослушиваний.
Читать дальше →
Total votes 14: ↑14 and ↓0 +14
Comments 6

Чему мы научились, разрабатывая backend

Reading time 3 min
Views 33K
imageРазработка Parallels Access потребовала создания геораспределенного сервиса, позволяющего безопасно устанавливать связь между компьютерами и мобильными клиентами пользователей в различных точках земного шара. Команда, которая над ним трудится, хочет поделиться полученным опытом в форме цитат, чтобы облегчить участь тем, кто только планирует создание своего клиент/серверного продукта, и погрузить в ностальгию профессионалов, имеющих за спиной дюжину успешных проектов:
Читать дальше →
Total votes 73: ↑68 and ↓5 +63
Comments 37

Гиганты прошлого, маленькие русские и китайские драконы: обзор крупнейших мировых биткоин-бирж

Reading time 6 min
Views 18K
Биржи криптовалют — это место, где люди обменивают одни криптовалюты на другие, либо на основные мировые валюты (доллар, евро, рубли, юани). Это второе место, где их можно получить после майнинга и, на данный момент, первое место, где их можно потратить (Bitcoin Wiki).



В этом посте майнинговый сервис Hashflare расскажет об основных западных, русскоязычных и китайских биржах, которые специализируются на торговле биткоинами и другими криптовалютами, чтобы сравнить их по параметрам доступности, стоимости услуг и выделить ключевые особенности.
Читать дальше →
Total votes 22: ↑16 and ↓6 +10
Comments 4

Определяем, что у пользователя заблокирована Википедия

Reading time 5 min
Views 26K

Недавно Роскомнадзор предпринял попытку блокировки доступа с территории РФ к Википедии. Попытка провалилась, и самое время перейти в контрнаступление. В статье под катом я покажу, что, если пользователь Х зашёл на сайт А, то сайт А может определить, заблокирован ли для пользователя другой сайт Б. А дальше, по намечающейся традиции, изложение пойдёт в вопросно-ответной форме.

Для чего это вообще нужно?


При обсуждении блокировки Википедии сообщество заметило два обстоятельства, которые весьма выгодны цензуре. Во-первых, Википедия использует HTTPS и, более того, HSTS. Это означает, что заблокирована энциклопедия может быть только целиком (с точностью до домена), но при этом перенаправить на пресловутую страницу с сообщением о блокировке нельзя. Вместо этого высвечивается сообщение об ошибке установления соединения. Это выглядит как внутренняя проблема Википедии и смягчает недовольство пользователя действиями Роскомнадзора; в то же время для развития правового государства необходима обратная связь. Во-вторых, даже если пользователи узнают о блокировке, многие из них просто не будут знать, что делать. Вешать перманентную плашку «Если заблокировали Википедию — качайте Tor Browser!» на неравнодушных сайтах как минимум странно; в то же время, оповещение пользователей о блокировке Википедии и способах её обхода необходимо. Решение поставленной проблемы и пытается дать настоящая статья.
Читать дальше →
Total votes 38: ↑31 and ↓7 +24
Comments 38

Определяем пользователей VPN (и их настройки!) и прокси со стороны сайта

Reading time 6 min
Views 168K
W.I.T.C.H.
We can save the day from dark, from bad
There's no one we need


Многие из вас используют VPN или прокси в повседневной жизни. Кто-то использует его постоянно, получая доступ к заблокированным на государственном или корпоративном уровне ресурсам, многие используют его изредка, для обхода ограничений по географическому положению. Как вы можете знать, крупные интернет-игроки в сфере стриминга видео, музыки и продажи игр никогда не любили пользователей, которые легко обходят географические ограничения, разблокируя недоступный в их стране контент, или совершая покупки заметно дешевле. За примерами не нужно далеко ходить: Netflix изменил свое соглашение об использовании, добавив пункт о блокировке VPN, всего 2 месяца назад; Hulu тоже грешил блокировкой пользователей, а Steam вообще подозрительно смотрит на не-русскоязычных пользователей из России. В последнее время, компании пытаются блокировать уже не конкретных пользователей, а сами IP-адреса VPN-сервисов, создавая определенные неудобства уже самому VPN-сервису и его пользователям. Похоже, они не используют никаких спецсредств, а блокируют выборочно и вручную. Хоть я и не поддерживаю какие-либо блокировки вообще, меня заинтересовала техническая часть вопроса: можно ли как-то определить использование прокси-серверов и VPN со стороны сервера, не прикладывая особых усилий?
Можно, при определенных условиях. И достаточно точно.
Читать дальше →
Total votes 53: ↑49 and ↓4 +45
Comments 84

Information

Rating
2,305-th
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity