Париж, 1989 год — начало создания одного из величайших и дорогостоящих творений современности, Большого адронного коллайдера. Это событие несомненно можно назвать подвигом, но установка, образовавшая почти 27-километровое кольцо, вкопанное более чем на 90 метров под землёй на франко-швейцарской границе, бесполезна без огромных вычислительных мощностей и не менее огромного хранилища данных.
Такие вычислительные мощности для Европейской организации по ядерным исследованиям (CERN) поставляются ИТ-командой из 4 облачных сред, базирующихся на программном обеспечении с открытым исходным кодом OpenStack, которое быстро становится промышленным стандартом для создания облака. В настоящее время CERN располагает четырьмя OpenStack облаками, расположенными в двух центрах обработки данных: один — в Мейране, Швейцария, второй — в Будапеште, Венгрия.
Крупнейшее облако, расположенное в Мейране, содержит около 70 000 вычислительных ядер на 3000 серверах, другие три облака содержат в общей сложности 45 000 вычислительных ядер. Кроме того, подразделение CERN в Будапеште будет соединено со штаб-квартирой в Женеве двумя линиями связи с пропускной способностью 100 Гбит/с.
CERN начал строить свою облачную среду ещё в 2011 году с помощью Cactus (облачное программное обеспечение с открытым исходным кодом). Облака увидели свет с выпуском интерфейса OpenStack Grizzly в июле 2013 года. Сегодня все четыре облака работают на девятом по счёту релизе платформ OpenStack, получившем название Icehouse. В данный момент CERN готовит к активации около 2000 дополнительных серверов, которые на порядок увеличат вычислительные способности облака. Увеличение энергии столкновения частиц в коллайдере с 8 ТэВ (тераэлектронвольт) до 13-14 ТэВ приведёт к тому, что он будет генерировать больше данных чем он генерирует сейчас. За весь период экспериментов было собрано более 100 петабайт данных, из которых 27 только за этот год. В первом квартале 2015 года эта цифра возрастёт, по планам, до 400 петабайт в год, и облако должно быть готово к этому.
Архитектура облака CERN является единой системой, которая располагается в двух центрах обработки данных. У каждого центра обработки данных, в Швейцарии и в Венгрии, есть кластеры, вычислительные узлы и контроллеры для этих кластеров. Кластерные контроллеры обращаются к главному контроллеру в Швейцарии, который в свою очередь распределяет поток данных между двумя балансёрами.
Облако OpenStack никогда не создается, используя просто компоненты OpenStack suite, и облако CERN не исключение. Совместно с ним используются и другие компоненты с открытым исходным кодом:
Выбор стоял между утилитами Chef и Puppet, оба инструмента являются зрелыми, хорошо интегрируемыми с другими разработками. Однако строгий декларативный подход Puppet был сочтен более подходящим для такого рода работы.
Нынешнюю архитектуру системы демонстрирует нижеприведенная схема:
Среда OpenStack CERN уже достаточно массивная, но это не предел. В не столь далёком будущем планируется её увеличение по меньшей мере вдвое, что будет связано с обновлением самого коллайдера.
По планам это произойдёт в первом квартале 2015-го года, так как на данном этапе физикам уже не достаточно мощности коллайдера для поиска ответов на фундаментальны вопрос вселенной.
P.s. Мирных всем элементарных частичек.
Такие вычислительные мощности для Европейской организации по ядерным исследованиям (CERN) поставляются ИТ-командой из 4 облачных сред, базирующихся на программном обеспечении с открытым исходным кодом OpenStack, которое быстро становится промышленным стандартом для создания облака. В настоящее время CERN располагает четырьмя OpenStack облаками, расположенными в двух центрах обработки данных: один — в Мейране, Швейцария, второй — в Будапеште, Венгрия.
Крупнейшее облако, расположенное в Мейране, содержит около 70 000 вычислительных ядер на 3000 серверах, другие три облака содержат в общей сложности 45 000 вычислительных ядер. Кроме того, подразделение CERN в Будапеште будет соединено со штаб-квартирой в Женеве двумя линиями связи с пропускной способностью 100 Гбит/с.
CERN начал строить свою облачную среду ещё в 2011 году с помощью Cactus (облачное программное обеспечение с открытым исходным кодом). Облака увидели свет с выпуском интерфейса OpenStack Grizzly в июле 2013 года. Сегодня все четыре облака работают на девятом по счёту релизе платформ OpenStack, получившем название Icehouse. В данный момент CERN готовит к активации около 2000 дополнительных серверов, которые на порядок увеличат вычислительные способности облака. Увеличение энергии столкновения частиц в коллайдере с 8 ТэВ (тераэлектронвольт) до 13-14 ТэВ приведёт к тому, что он будет генерировать больше данных чем он генерирует сейчас. За весь период экспериментов было собрано более 100 петабайт данных, из которых 27 только за этот год. В первом квартале 2015 года эта цифра возрастёт, по планам, до 400 петабайт в год, и облако должно быть готово к этому.
Архитектура облака CERN является единой системой, которая располагается в двух центрах обработки данных. У каждого центра обработки данных, в Швейцарии и в Венгрии, есть кластеры, вычислительные узлы и контроллеры для этих кластеров. Кластерные контроллеры обращаются к главному контроллеру в Швейцарии, который в свою очередь распределяет поток данных между двумя балансёрами.
Облако OpenStack никогда не создается, используя просто компоненты OpenStack suite, и облако CERN не исключение. Совместно с ним используются и другие компоненты с открытым исходным кодом:
- Git: система управления версиями программного обеспечения.
- Ceph: распределенное объектное хранилище, которое работает на серверах-обработчиках.
- Elasticsearch: распределенный поиск в режиме реального времени и система аналитики.
- Kibana: механизм визуализации для Elasticsearch.
- Puppet: утилита по управлению конфигурацией.
- Foreman: инструмент по настройке и контролю серверных ресурсов.
- Hadoop: архитектура распределения вычислений, используемая при анализе большого объёма данных на серверах кластера.
- Rundeck: планировщик задания.
- RDO: пакет программного обеспечения для развертывания облаков OpenStack на дистрибутиве Linux Red Hat.
- Jenkins: инструмент непрерывной интеграции.
Выбор стоял между утилитами Chef и Puppet, оба инструмента являются зрелыми, хорошо интегрируемыми с другими разработками. Однако строгий декларативный подход Puppet был сочтен более подходящим для такого рода работы.
Нынешнюю архитектуру системы демонстрирует нижеприведенная схема:
Среда OpenStack CERN уже достаточно массивная, но это не предел. В не столь далёком будущем планируется её увеличение по меньшей мере вдвое, что будет связано с обновлением самого коллайдера.
По планам это произойдёт в первом квартале 2015-го года, так как на данном этапе физикам уже не достаточно мощности коллайдера для поиска ответов на фундаментальны вопрос вселенной.
P.s. Мирных всем элементарных частичек.
