company_banner

Тайный мир сетей СВЧ (РРЛ) связи

http://arstechnica.co.uk/information-technology/2016/11/private-microwave-networks-financial-hft/
  • Перевод
image

Между Лондоном и Франкфуртом протянулась таинственная частная сеть связи, которая работает вдвое быстрее обычного интернета. Соединение обеспечивается цепочкой вышек с СВЧ-приёмопередатчиками (у нас именуемых радиорелейными или РРЛ — примеч. пер.). Когда-то сеть была совершенно секретной: её использовала единственная, очень богатая компания, и никто об этом не знал.

Однако пару лет спустя конкурент построил свою собственную линию СВЧ-связи между двумя городами. И тогда первая компания, чтобы не потерять преимущество в бизнесе, раскрыла информацию о своей линии. Если бы не усилия конкурента, вероятно, этот секрет до сих пор не был бы раскрыт.

Аналогичные истории происходили по всему миру. Но в связи с тем, что это частные сети и их зачастую используют финансовые группы, стараясь получить преимущество на фондовом рынке и заработать больше миллиардов, приходится прилагать усилия, чтобы найти информацию о таких сетях связи.

К примеру, в 2013 году, когда только начал лопаться пузырь высокочастотного трейдинга (high-frequency trading, HFT), исследователи из Калифорнии изучили большую выборку биржевых торгов и обнаружили, что с марта 2011-го сетевая задержка между Чикаго и Нью-Йорком резко снизилась на 2,5 мс. До этого лучший результат был 7,5 мс, так что снижение до 5 мс оказалось значительным. Далее исследователи воспользовались FCC и другими записями, на основании которых сделали вывод, что по состоянию на 2013 год (когда проводилось исследование) существовало 15 (!) сетей СВЧ-связи между упомянутыми двумя городами. Вероятно, отмеченное снижение задержки было связано с введением в строй новой сети.

image

Заметка из газеты 1949 года, рассказывающая о сети СВЧ-связи компании AT&T, «всего за 34 прыжка» соединяющей Нью-Йорк с Чикаго

А что насчёт британской погоды?


Сами по себе СВЧ-сети известны очень давно. В 1949 году между Нью-Йорком и Чикаго (около 1140 км по прямой) компания AT&T ввела в строй линию связи из 34 отрезков ретрансляции между вышками связи, стоящими на расстоянии прямой видимости. В Великобритании с середины 1950-х по 1980-е из СВЧ-сетей была создана национальная магистральная сеть связи. Она обслуживала всё, от телевидения и телефонов до нужд военных и разведки.

image

Основа британской СВЧ-сети в 1956-м
Развернуть СВЧ-сеть было дешевле, чем тянуть кабели, а её пропускная способность была выше, чем у меднопроводных технологий того времени. Но недостатком микроволн (обычно это частоты от 6 до 30 ГГц) является необходимость очень точного позиционирования антенн и обеспечения прямой видимости между вышками. Более того, дождь, облачность или просто замутнённость воздуха ослабляют СВЧ-сигнал — так называемый эффект rain fade («замирание при дожде»).

Частично компенсировать затухание можно с помощью усиления мощности передачи, установив более крупные антенны с гидрофобным покрытием, а также внедрив отказоустойчивые протоколы, использующие понижение радиочастоты для улучшения стабильности связи при ненастной погоде. Также с 1980-х годов СВЧ-связь заменяется или дополняется оптоволокном в качестве дополнительного канала передачи.

На сегодняшний день оптоволокно практически вытеснило СВЧ в магистральных каналах. Тем не менее микроволновые сети широко используются до сих пор, а лежащие в их основе технологии активно развиваются. В наши дни СВЧ по большей части применяется для подключения удалённых, труднодоступных районов к интернету, а также для специальных задач вроде обслуживания частных финансовых организаций. Ещё несколько лет назад практически все вышки сотовой связи в Европе обеспечивали СВЧ-транзит, но сейчас многие участки заменены оптоволокном, чтобы уменьшить нагрузку на базовые станции LTE и LTE-Advanced.

image

Карта некоторых СВЧ-сетей на юге Англии и в континентальной Европе. Сети в районе Корнуолла используются для подключения к подводным магистральным кабелям, которые здесь выходят на поверхность

Сколько они ещё продержатся?


Учитывая, что мир уже плотно покрыт высокоскоростными оптоволоконными кабелями, возникает логичный вопрос: зачем нужны собственные СВЧ-сети?

Первая причина очевидна: в своей сети легче обеспечивать безопасность, качество обслуживания, пропускную способность и прочие вещи, важные для бизнеса.

Вторая причина, о которой уже упоминалось: как ни удивительно, СВЧ-сети имеют более низкий уровень задержки по сравнению с оптоволоконными каналами. На коротких участках оптоволокно работает быстро, но на длинных маршрутах, например между зарубежными офисами и биржей ценных бумаг, часто возникают лаги.

К сожалению, протяжённые оптоволоконные сети очень дорого прокладывать: необходимо копать траншею длиной в сотни или тысячи километров (либо оплачивать доступ к уже проложенным другими компаниями сетям). Также надо учитывать рельеф: как пересекать горы и реки — напрямую (дороже) или делать крюк и протягивать кабель через ближайший мост или тоннель? Собственно, поэтому большинство наземных оптоволоконных линий проходят поблизости от автомобильных и железных дорог.

Каждый раз, когда разработчикам сетей при планировании маршрута прокладки приходится принимать подобные важные решения, общая задержка несколько увеличивается. В сумме набирается несколько дополнительных миллисекунд. И в результате СВЧ-сети начинают выигрывать по этому параметру.

image

Карта наземных и подводных европейских линий, 2001 год. Более современные карты найти трудно, но большинство линий используется до сих пор, просто с обновлённым оборудованием
image

Карта наземных линий в Европе, 2002 год

image

Современная карта подводных кабелей между Великобританией и континентом
Возьмём для примера Лондон и Франкфурт. Между ними по прямой около 644 км. Свет преодолеет это расстояние (299 700 км/с) за 2,126 мс. В оптоволокне световой луч движется не по прямой линии, а по ломаной, поэтому скорость снижается до 200 000 км/с, что даёт нам теоретический минимум в 3,186 мс.

Кроме того, в реальности кабель между Лондоном и Франкфуртом не состоит из цельного куска. Например, пакет данных может несколько раз пересылаться внутри самого Лондона, прежде чем достигнуть нужного роутера и начать путешествие через Европу. На пути ему встречаются другие роутеры и репитеры. Прибыв во Франкфурт, пакет также может быть передан несколько раз от одного сетевого узла к другому, прежде чем попасть к адресату. Добавьте сюда разнообразие рельефа и инфраструктуры, прохождение по подводному кабелю (через французский Кале или бельгийский Остенде), а также вероятность того, что роутер в Лондоне решит отправить пакет через Париж. В результате получаем среднюю задержку между Лондоном и Франкфуртом на уровне 17 мс.

А теперь сравните: задержка частной СВЧ-сети между ними — около 4,2 мс. Около — потому что параметры новейших сетей держатся в секрете. Поэтому компании, для которых критично время задержки, делают выбор в пользу СВЧ, а не оптоволокна.

Создание сети с двухточечным соединением


У СВЧ-сетей есть два ключевых преимущества:

  • радиосигнал идёт по воздуху примерно в 1,5 раза быстрее света в оптоволокне,
  • чаще всего между двумя пунктами можно построить сеть, близкую к прямой линии.

Последнее означает, что можно сильно уменьшить физическое расстояние прохождения пакета. Кроме того, снижается количество промежуточных роутеров при передаче пакета из пункта А в пункт Б.

image

Приёмопередатчик BridgeWave FP80-3000, способный передавать до 3 Гбит/с на частоте 80 ГГц. Диаметр антенны — 30 см
Если говорить об инфраструктуре, то СВЧ-сеть представляет собой цепочку вышек с двумя приёмопередатчиками, направленными в противоположные стороны. Расстояние между вышками зависит от условий на местности, но в среднем — от 40 до 65 км. Максимальное расстояние определяется высотой антенн над землёй, частотными ограничениями и рельефом. Если водрузить мачту на вершину возвышенности и поставить мощный передатчик, то можно легко преодолевать и 80 с лишним километров, упираясь только в радиогоризонт.

Стоимость приёмопередатчика — в районе 10—20 тыс. фунтов стерлингов за устройство наподобие вышеупомянутого BridgeWave плюс 100—200 тыс. фунтов за каждую вышку (сюда входит доставка материала, возведение, резервное питание и так далее). Возвращаясь к примеру с Лондоном — Франкфуртом: такая сеть состоит примерно из 20 вышек, то есть стоимость возведения — 2,5—5 млн фунтов стерлингов. Сюда не входят затраты на персонал, операционные расходы (питание, аренда земли, техподдержка) и многое другое. Компании, управляющие такими сетями, отказываются раскрывать общие затраты, но про Лондон — Франкфурт известно, что речь идёт о сумме от 10 до 20 млн евро.

Если сравнить стоимость развёртывания СВЧ-сети и сотовой, то во втором случае нужно закупить массу оборудования и объединить вышки сетью, оптоволоконной или СВЧ. По данным на 2013 год, компания AT&T продала 9700 вышек на 4,85 млрд долларов, по 500 тыс. долларов каждая.

Наконец, для полноты сравнения давайте посмотрим, сколько будет стоить использование прямой оптоволоконной сети между Лондоном и Франкфуртом. Допустим, у нас есть 644-километровый кабель, аренда которого обходится примерно в 1 фунтов стерлингов за метр в год. Стоимость прокладки своего кабеля зависит от ряда параметров, в том числе от количества узлов и экранирования, но в целом это 0,5—1 фунт за метр для обычного наземного кабеля. Кроме того, как и в случае с СВЧ-сетью, через каждые 30—50 км нам нужны усилители сигнала, которые хоть и дороги, но всё же дешевле СВЧ-приёмопередатчиков.

Укладка нового оптоволокна дешевле развёртывания собственной СВЧ-сети, но это верно только в том случае, если между двумя пунктами уже есть магистраль, к которой можно подключиться с обеих сторон. Но если нужно построить свою 640-километровую линию… удачи!

Быстрым сетям нужно быстрое ПО


Уменьшение задержки на несколько микросекунд при подключении брокеров к биржевой системе впечатляет, но от неё не будет толку, если программное обеспечение не успевает за скоростью работы сети.

По большей части финансовые организации используют СВЧ-сети для алгоритмического высокочастотного трейдинга. Речь идёт о компьютерных алгоритмах, обрабатывающих данные о рынках ценных бумаг и быстро принимающих решения (продавать, покупать, длинные позиции, короткие), чтобы обогнать других трейдеров. В начале 2000-х первые алгоритмы соперничали с людьми, но сегодня на рынке сплошное засилье алгоритмов.

Как вы понимаете, подробности работы алгоритмов — строго охраняемый секрет. Но мы можем рассказать о любопытном случае. Утром 1 августа 2012 года компания Knight Capital, занимавшая одну из ведущих позиций в сфере HFT, выкатила новое трейдинговое ПО. Начиная примерно с 9:30 приложение вышло из-под контроля и начало хаотично покупать и продавать. За 45 минут убытки составили 7 млрд долларов. В конце концов компании удалось откатить часть сделок и снизить ущерб до 460 млн долларов, на тот момент — около половины рыночной стоимости самой Knight Capital. С тех пор этот случай называют «the Knightmare» (игра слов: nightmare — страшный сон).

image

На графике изображено изменчивое поведение трейдингового приложения Knight Capital. В 9:52 был провал, вероятно, кто-то вмешался в работу ПО, затем оно снова взбрыкнуло. К 10 утра его пофиксили
image

График показывает объём торговли приложения по сравнению с другими биржами. Вероятно, именно здесь было потеряно больше всего денег
image

Более подробное поведение алгоритма на протяжении 27-секундного отрезка. Синим цветом обозначены цены предложения и спроса на Нью-Йоркской фондовой бирже (NYSE)
image

Ещё более подробный график. Приложение продаёт по 38,60, затем покупает по 38,75, каждый раз теряя 15 центов. Бот осуществлял сделки около 40 раз в секунду, 2400 раз в минуту
image

А здесь показано поведение другого трейдингового ПО (Nokia). Бот снова и снова продаёт и покупает

Помимо СВЧ


В последние пару лет некоторые сетевые компании экспериментировали с лазерной связью в качестве замены двухточечных СВЧ-сетей.

На сегодняшний день лазерные сети работают ненамного быстрее: задержка чуть ниже, пропускная способность почти та же. А передаваемый на сверхвысоких частотах (около 200 000 ГГц) сигнал крайне чувствителен к осадкам и облачности. Отчасти это можно компенсировать адаптивной оптикой (когда приёмник пытается изменить её форму для компенсации искажения сигнала), но на случай плохой погоды всё равно не обойтись без резервного канала — СВЧ, миллиметровой связи или оптоволокна.



Оборудование для создания лазерной сети производства компании AOptix
Сейчас растёт популярность двухточечных миллиметровых сетей, использующих часть спектра над микроволновым диапазоном (~30—300 ГГц). Но во многих случаях они играют роль альтернативной связи, их пропускная способность по сравнению с СВЧ чуть выше, а устойчивость к погоде — ещё хуже. Также сейчас обсуждается использование миллиметрового диапазона для развёртывания 5G, а ряд WiGig-устройств (802.11ad) уже его используют. Но всё это сильно отличается от направленных двухточечных сетей.

Будущее частных сетей


image

Одна из СВЧ-вышек
Компании, создающие сети связи, не особо распространяются о своих текущих и будущих проектах. Однако была озвучена любопытная информация о создании трансатлантической СВЧ-сети. Теоретически можно поместить приёмопередатчики на стоящих на якорях баржах (наподобие маленьких нефтяных платформ) или на привязанных воздушных шарах. Выгода та же, что и в случае с наземными сетями: низкая задержка. Сегодня при передаче данных по оптоволокну с западного побережья Англии на восточный берег Лонг-Айленда (4960 км) задержка составляет 25 мс. По СВЧ она будет около 16 мс.

Разница в 9 мс выглядит не слишком впечатляюще, но если добавить задержки при передаче по СВЧ из Лондона в Корнуолл (такая сеть уже есть), а также из Лонг-Айленда в Нью-Йорк (тоже есть), то в сумме получим на линии Лондон — Нью-Йорк задержку около 25 мс. А это ГОРАЗДО быстрее, чем нынешние 60 мс по оптоволокну.

Но, увы, никто пока не вложился в создание 80 плавучих СВЧ-вышек, пересекающих Атлантику. Насколько известно…
Метки:
Mail.Ru Group 232,20
Строим Интернет
Поделиться публикацией
Комментарии 23
  • +2
    Описанный в статье вид связи во-первых, не является ничем секретным (хоть это и не утверждается в статье, но заголовок...), а во-вторых, в русскоязычной литературе такие линии связи именуются радиорелейными (РРЛ). WiFi, например, тоже можно причислить к СВЧ связи.
    Таких линий связи было построено вагон и маленькая тележка, и до сих пор они повсеместно используются в «гражданских» сетях, например, для связи базовых станций сотовых сетей, можете сами увидеть за городом на вышках закреплены антенны в виде горизонтально расположенных «барабанов».
    В целом за статью спасибо, но заголовок и СВЧ-РРЛ я бы поменял.
    • +2
      Спасибо за инфу, исправил!
      • +2
        Совершенно верно.
        Хотелось бы добавить, что все сотовые операторы используют РРЛ исключительно для быстрого увеличения карты покрытия и при первой же возможности переводят их на оптику (обычно на арендованную у РТК, который не особо торопится развивать свои сети), т.к. РРЛ это реально дорого и всё-равно на узловых станциях трафик от РРЛ переводится на магистральный канал до коммутатора (опять доп затраты на конвертеры).
        • +1
          Сотовые операторы — это то что на виду. А так у того же Газпрома своя сеть. Сеть РРЛ развернутая для связи и телевидения по всей территории СССР лет 50 назад, только оборудование немного меняется, а сами вышки стоят как прежде.
      • +3
        В оптоволокне световой луч движется не по прямой линии, а по ломаной, поэтому скорость снижается до 200 000 км/с, что даёт нам теоретический минимум в 3,186 мс.
        Теоретический предел получается не из-за ломаной линии, а из-за снижения скорости света в веществе в показатель преломления раз, который для кварца в видимом диапазоне примерно равен полутора. Ломаная линия дополнительно снижает скорость, для устранения этого эффекта волокно надо максимально распрямить и завести луч лазера как можно параллельнее оси волокна.
        • –1
          Ломаная получается только для мультимода, если я не ошибаюсь. А его как раз и нет нигде в магистральных линиях. Так что — только из-за диэлектрических свойств волокна скорость снижается.
          • +4
            Принцип работы у них совершенно одинаковый. Разница только в длине волны, начиная с определенной происходит отсечка лишних мод.
          • 0
            да и волокно будет лежать не по прямой поэтому его длина может увеличиться в два раза легко
          • 0
            На коротких участках оптоволокно работает быстро, но на длинных маршрутах, например между зарубежными офисами и биржей ценных бумаг, часто возникают лаги.

            что за лаги такие?
            • 0
              Лаг (от англ. lag, [læɡ] — «запаздывание», «задержка») — задержка в работе компьютерного приложения, когда оно не реагирует на пользовательский ввод вовремя. Производное от него «лагать» широко используются пользователями интернета для обозначения задержек в работе различных интернет-сервисов, онлайн-игр. Также геймеры используют слово «лаг» применительно к задержкам самой программы. Часто встречается в сетевых играх. С технической точки зрения представляет собой проявление влияния латентности операций передачи и обработки данных на качество работы системы реального времени.
              Слово вполне уместно, так что с использованием сленга придется смириться.
              • 0
                Ресурс вроде технический, вот меня и интересует на каком участке инфраструктуры возникают подобные проблемы
                • 0
                  Написано же в статье и комментах. Сигнал в оптоволокне идет медленнее, т.к. это не вакуум и даже не воздух; оптоволокно обычно длиннее расстояния между А и В по прямой, и чем дальше А от В — тем больше это удлинение; оптоволокно обычно не используется монопольно, как следствие сигнал пойдет так, как захочется «не своим» роутерам по пути.
                  • 0
                    Это вы про физическую природу распространения сигнала (среда, путь). А я про электрическую.
            • +2
              Я не настоящий сварщ… связист, но немного дополню:

              1) Не такой уж этот мир СВЧ и тайный. Куча фирм делает оборудование. Оно, конечно, дорогое, но не космически. Свою линию можно тыщ за 100 сделать, но нужно строить мачты, получать разрешение.
              Оборудование СВЧ-связи производится и у нас в России и свободно продается.

              2) Незаслуженно забыта в статье Тропосферная радиосвязь

              Это не претензия автору, т.к. это перевод.
              • +2
                На Хабре кстати есть цикл переводов более подробно рассказывающий про СВЧ в HFT https://habrahabr.ru/company/itinvest/blog/242991/ и там еще 5 частей )
                • 0
                  Меня одного смутила цитата?
                  радиосигнал идёт по воздуху примерно в 1,5 раза быстрее света в оптоволокне,
                  • +2
                    Да, скорость распространения разная
                    • +1
                      Академичнее сравнивать с вакуумом, но показатель преломления воздуха отличается от единицы в 5-6 знаке после запятой.
                    • +2
                      Во первых, ключевым моментом является то, для каких целей используется канал связи. Либо это частный канал, не обремененный бесполезным трафиком, либо это транзитный канал, в который надо упаковать миллиарды подключений с сомнительным (на пример с точки зрения той же биржы) контентом. Во вторых, скорость передачи данных в РРЛ ограничена полосой пропускания и из-за специфики метода передачи очень и очень мала, 1 Гбит/с — скорость близкая к предельной. А вот скорость в оптоволокне может достигать 32 ТБит/с (не взирая на разницу в скорости пинг в этих сетях может быть одинаковым). В третьих, время отклика определяется количеством промежуточного оборудования в узлах сети, а не методом передачи. То есть если это коммерческая сеть и ее задача передавать как можно больше трафика, то жертвой тут будет конечно время отклика. С этой точки зрения выгодней держать собственную сеть, если ключевым является время отклика и безусловно безопасность (свое оборудование контролировать гораздо проще). В четвертых, использование РРЛ на морских маршрутах не целесообразно с любой точки зрения: энергозатраты для РРЛ несоизмеримо больше чем для оптической линии — для передачи сигнала в гигагерцовом диапазоне на большие расстояния требуется достаточно большая мощность ибо поглощение СВЧ сигнала атмосферой (а также парами соленой воды) при повышение частоты возрастает геометрически. Питание промежуточных станций в таком случае будет автономным (это как, периодически оплывать все станции и заправлять их соляркой?), по сравнению с питанием не обслуживаемых регенерационных пунктов оптоволоконной линии, питание на которые подается с токоведущих жил расположенных внутри оптокабеля (потребление энергии НРП уходит только на регенерацию). Плюс ко всему прочему, для радиоканала антенны должны находится постоянно в фиксированном состоянии, небольшой дрейф антенн или их вибрации сразу начинают влиять на количество ошибок при передаче.
                      Прошу прощения за контекст комментария, когда-то учился на связиста и все это проходил, тогда мне это казалось занудным, а сейчас вспомнилось. Ностальгия что-ли xD
                      • +1
                        * Про оптические усилители каждые 30-50 км несколько приукрашено: пользовательские трансиверы могут работать на расстояниях до 120км.
                        * Проблема влияния локальных хопов на задержку (и что за «репитеры») преувеличена: порядок вносимой задержки на оборудовании — микросекунды или сотни наносекунд.
                        * 17ms для FRA-LON — это RTT. А «задержка по СВЧ 4.2мс» — это RTT или в одну сторону?
                        • 0
                          Могут работать — а должны гарантированно работать, в любую погоду…
                          • 0
                            Хорошо, давайте зайдём с другой стороны: оптические трансиверы работают всегда, в любую погоду, надо только рассчитать оптический бюджет и обеспечить качественное волокно (сварки, стыки).

                            Под «могут» подразумевалось «существуют». И это только простые трансиверы (пользовательские — значит дешевые), которые вы можете вставить в дешевый коммутатор. Модули DWDM систем по долгу службы могут еще больше (снова: всегда, в любую погоду).
                        • 0
                          Где-то я такое уже видел…
                          image

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое