Пользователь
1,1
рейтинг
5 октября 2013 в 18:25

Большой Адронный Коллайдер своими глазами. Часть 3

Продолжу свой рассказ про посещение дня открытых дверей в CERN.

Первая часть здесь

Вторая часть здесь

Часть 3. Вычислительный центр.



В этой части я расскажу о месте, где хранят и обрабатывают то, что является продуктом работы CERN — результаты экспериментов. Речь пойдет про вычислительный центр, хотя правильнее, наверное, его назвать дата центром. Но сначала я немного коснусь проблематики вычислений и хранения данных в CERN. Каждый год один только Большой Адронный Коллайдер производит такое количество данных, что если их записать на CD, получится стопка высотой 20 километров. Это происходит из-за того, что при работе коллайдера пучки сталкиваются 30 миллионов раз в секунду и при каждом столкновении возникает примерно 20 событий, каждое из которых производит большое количество информации в детекторе. Конечно, эта информация обрабатывается сначала в самом детекторе, затем поступает в локальный вычислительный центр и только потом передается в главный центр хранения и обработки данных. Тем не менее, приходится обрабатывать примерно петабайт данных каждый день. К этому надо добавить то, что эти данные надо не только хранить но и распределять между исследовательскими центрами по всему миру, а кроме того, поддерживать примерно 4000 пользователей WiFi сети в самом CERN. Необходимо добавить, что существует вспомогательный центр хранения и обработки данных в Венгрии, с которым существует 100 гигабитный линк. При этом внутри CERN проложено 35000 километров оптического кабеля.
Однако, таким мощным компьютерный центр был не всегда. На фотографии видно, как менялось используемое оборудование с течением времени.

image

Сейчас произошел переход от мейнфреймов к гриду обычных РС. В настоящее время центр обладает 90000 процессорных ядер в 10000 серверов, которые работают 24 часа в сутки 7 дней в неделю. В среднем на этом гриде одновременно работает 250000 заданий по обработке данных. Этот вычислительный центр находится на пике современных технологий и, часто, двигает вычислительную технику и IT вперед для решения задач, необходимых для хранения и обработки таких больших объемов данных. Достаточно упомянуть то, что в здании, находящемся недалеко от вычислительного центра Тимом Бернерсом-Ли был изобретен World Wide Web (расскажите об этом тем идиотам альтернативно одаренным, которые, сидя в интернете, говорят, что фундаментальная наука не приносит пользы).

Однако вернемся к проблеме хранения данных. На фотографии видно, что в допотопные времена раньше данные хранились на магнитных дисках (Да, да, я помню эти диски объемом 29 мегабайт на ЕС ЭВМ).

image

Чтобы посмотреть, как обстоят дела сегодня, я иду к зданию, где находится вычислительный центр.

image

Там, на удивление, народу не очень много и я довольно быстро прохожу внутрь. Нам показывают небольшой фильм, а затем ведут к запертой двери. Наш гид открывает дверь и мы оказываемся в достаточно большом зале, где находятся шкафы с магнитными лентами, на которых и записана информация.

image

Большая часть зала занята этими самыми шкафами.

image

В них хранится порядка 100 петабайт информации (что эквивалентно 700 годам Full HD видео) в 480 миллионах файлов. Интересно, что к этой информации имеют доступ примерно 10000 физиков по всему миру в 160 вычислительных центрах. Эта информация содержит все экспериментальные данные начиная с 70-х годов прошлого века. Если присмотреться повнимательнее, видно, как эти магнитные ленты расположены внутри шкафов.

image

В некоторых стойках находятся процессорные модули.

image

На столе располагается небольшая выставка того, что используется для хранения данных.

image

Этот вычислительный центр потребляет 3.5 мегаватта электрической энергии и имеет свой дизель-генератор на случай отключения электричества. Надо также сказать про систему охлаждения. Она расположена снаружи здания и гонит холодный воздух под фальш-полом. Водяное охлаждение используется лишь на небольшом числе серверов.

Если взглянуть внутрь шкафа, видно, как происходит автоматическая выборка и загрузка магнитных лент.

image

Пройдя далее можно увидеть стойки с другим оборудованием.

image

image

Вообще-то этот зал является не единственным залом, где расположена вычислительная техника, но то, что посетителей пустили хотя-бы сюда уже вызывает уважение к организаторам. Я сфотографировал то, что демонстрировалось на столе.

image

image

После этого появилась другая группа посетителей и нас попросили на выход. Делаю последнюю фотографию и покидаю вычислительный центр.

image

В следующей части я расскажу про мастерские, где создается и собирается уникальное оборудование, которое используется в физических экспериментах.
Андрей Плеханов @andy_p
карма
60,0
рейтинг 1,1
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (39)

  • –1
    С таким бюджетом громадным, таким оборудованием за миллионы $ поставили телевизор на столе которому уже лет 20, принесенный кем-то с работников с кладовки из дома)
    • +10
      Я бы также сделал.
      Во-первых это ВЦ, где мониторы не нужны. Во-вторых, судя по корпусу, это монитор промышленного предназначения, а значит — он шикарен.

      Сертификация по видам допусков, по температуре, взрывозащите, долголетию, газозащите (а вы в курсе, что на некоторых производствах в воздухе витает аммиак, который как ржавчина разъедает печатные платы?) и т.д.
      Отличный «телевизор», правда стоит как самолет. Подумаешь, ЭЛТ… картинку дает и надежен как танк — годная вещь. Хоть и наследие «холодной войны». До сих пор используются разных категорий допусков.
      Поверьте, дома вы таких «телевизоров» видеть не могли.

      Относительно недавно появились и LCD подобных стандартов, но они стоят совсем неприличных денег. И на импровизированном стенде с магнитными дисками смотрелись бы не комильфо.
      • –2
        Но вид у него в «серверной» внешне совсем никакой, по сравнению с техникой стоящей в том зале.
        • +1
          По виду — это монитор видеонаблюдения, а не телевизор. Похоже, что как раз он эти и занимается, смотрит за роботом, которые кассеты меняет.
          • 0
            Именно! Разница между монитором и телевизором — в наличии ТВ-тюнера.
            Разумеется, в промышленном мониторе он без надобности. По сравнению со степенями защиты поставить тюнер стоило бы копейки, но он реально не нужен.
            Кроме того лишний коннектор лишь запутал бы не сильно подготовленных вообще случайных людей в случае аварии на производстве, а такие варианты тоже закладываются в сертификацию.
      • +1
        Да блин, может этот телек вообще просто так стоит, чтобы дежурным по ночам скучно не было )
    • 0
      Это профессиональный монитор, такие на телеканалах используются. Его можно в стойку монтировать.
      • 0
        Пятиюнитовый монитор? ))
        • 0
          Скорее, 8 юнитов :)
  • +9
    Помню мы как-то гуляли по каким-то адским подвалам ЦЕРНа. Было очень круто. Нашли вот такую живопись на полу:

    image
    • +5
      Я только недавно, кажется, понял эту шутку.
      Скрытый текст
      Бозон Хиггса офигительно тяжелый. Как атом на 70-х — 80-х позициях в таблице Менделеева. И это — элементарная частица! Таким и убить можно.
      • 0
        Можно и электроном убить. Нужно только энергию соответствующую иметь.
        • 0
          И очень точно попасть. Иначе просто прошьет же.
          • 0
            Я не уверен, но по-моему электрон, пролетающий через среду, рождает ливень других электронов (проще говоря электрический ток). Т.е. если в голову попадет, то, думаю, будет мгновенная смерть.
            • 0
              электроны это бета излучение. Никакого особого потока она не вызывает. При большой скорости пролетит на вылет и все.
              • +1
                Вы не правы. Вот тут есть описание процесса взаимодействия электронов с веществом: nuclphys.sinp.msu.ru/partmat/pm02.htm
                (см. рис 7). Там образуется каскадный ливень.
                Возможно, вы путаете с мюонами, вот они действительно слабо взаимодействуют с веществом.
              • 0
                А как же индукция?
        • +1
          Российский учёный Анатолий Бугорский стал единственным в мире человеком, через голову которого прошёл пучок протонов из ускорителя. Радиационная доза на входе составила 200 000 Рентген, на выходе — 300 000 Рентген.
          Событие произошло случайно: во время предыдущего эксперимента высокая интенсивность пучка была не нужна, поэтому автоматическую блокировку двери, как выяснилось позже, отключили. Табло же на двери не светилось из-за перегоревшей лампочки. Кроме того, Бугорский, позвонив на пульт, сказал, что будет в канале через пять минут, а пришёл, видимо, немного раньше, чем оператор снял пучок. Анатолий Петрович наклонился к приборам и его голова попала в невидимую зону опасности. Перед глазами учёного вспыхнули искры, и он потерял сознание.
          Когда Бугорского доставили в больницу, вся левая половина его лица опухла. Какое-то время врачи сомневались, что человек, получивший такую дозу радиации, сможет выжить. Однако спустя время учёный пошёл на поправку, его интеллектуальные способности не пострадали. Он полностью оглох на левое ухо и какое-то время страдал от эпилептических припадков, но потом они прекратились. В настоящий момент Анатолий Петрович продолжает работать в планировании и проведении физических экспериментов на ускорителе У-70.
          • 0
            Да, слышал такую историю. Но в У-70 протоны банчами летают, а я говорю про один электрон.
          • +1
            А что, такой пучок может существовать в воздухе?
            • 0
              Для этого ускорители и строят
              • +1
                Я просто думал что абсолютно все работы с пучками делают в вакууме
                • 0
                  Да, но есть синхротронное излучение, которое направлено от центра окружности траектории во все стороны. Люди, которые сидят снаружи, защищены стенами здания, а вот внутри находиться опасно. Видимо, этот Бугорский как раз и попал в область излучения.
                  • +1
                    Но оно рассеянное, а здесь, судя по всему, сфокусированный луч
                    • 0
                      Тогда я хз, но в ускорителях обычно ещё делают возможность уводить часть пучка в сторону, за пределы канала, чтобы не только в коллайдере смотреть столкновения, а ещё всякие другие эксперименты проводить.
                      • 0
                        Несчастный случай произошёл из-за сбоя механизмов безопасности, когда Бугорский наклонился над работающим со сбоями элементом оборудования и заглянул в ту часть, через которую проходил протонный луч.

                        Он внутрь заглянуть решил получается.
                • +1
                  В ускорителе (когда он работает) всегда вакуум, а вот на экспериментальных установках (куда пучки отбираются из ускорителя) его может не быть, например если установка в процессе сборки.

                  На современных ускорителях чего-то подобного произойти просто в принципе не может. Если открыть дверь в опасную зону, то всё автоматически отключится (не говоря уже о том что чтобы её открыть надо вынуть ключ из интерлока). Если случайно оказаться за закрытой дверью, когда ускоритель запускают надо быть просто слепым и глухим чтобы этого не заметить и не нажать «большую красную кнопку» (тм).
          • 0
            Тут обсуждают, что будет, если кто-то сумеет руку в пучок LHC засунуть.
  • 0
    Дизель для нагрузки 3.5 МВт — это ведь пара секций тепловоза? Или генераторов несколько?
  • +1
    Немного творчества про коллайдер.
    Les Horrible Cernettes — Collider
    Романтическая песенка, старая и довольно известная. Думаю, многим кто не слышал — понравится, хотя текст и мелодия, на мой взгяд, лучше происходящего на видео. :) Нужно знание английского.
  • 0
    Всегда было интересно — а почему именно магнитные ленты? Почему они до сих пор применяются в дата-центрах для записи информации? Они чем-то лучше обычных HDD?
    • +2
      Дешево, надежно, не требует электричества при долговременном хранении. При чтении и записи (всегда линейном) скорость выше, чем у дисков.
      И эти преимущества растут с увеличением объемов хранимой информации.

      Ключевой недостаток — отсутствие быстрого начала чтения из-за необходимости времени на перемещение и установку кассеты в ридер, но для архивов и бекапов это не нужно.
    • +1
      Обычный HDD очень плохо подходит для долговременного хранения — максимальная вероятность отказа именно при включении. Лента же (при правильном хранении) даёт гарантию того, что если она прочиталась вчера, то прочитается и завтра.
    • +1
      Согласно модели хранения данных (да и вообще вычислительной модели) LHC, все разделено на несколько уровней (tier).
      0 уровень (рядом с детектором, непосредственно CERN) сбрасывает все на диски — это такой кэш детекторов и на лентах хранит полную копию всех данных на лентах.
      1 уровень — 11 ( у нас в России делают 12 из двух частей) вычислительных центров. Там данные дублируются, но уже каждый вычислительный центр хранит у себя часть данных. И пачками они вынимаются для анализа. Туда же кладется все что проанализировано. При этом данные находятся минимум на двух tier-1 центрах. Те tier-2 ходит за данными не в CERN, а в свой региональный tier-1.
      2 и ниже следующие уровни — центры поменьше имеют только диски (в отличии от tier-1, на которых и диски, и ленты) и на них выкачиваются данные из tier-1 для анализа. Если это все добро брать из CERN, то там ни один линк не выдержит.

      Те на лентах хранится ВСЕ, что наработано за все время работы БАК. Это очень дофига. HDD не могут дать такой плотности хранения данных.

      Ну и простой пример: один ряд, 12(если я правильно помню) стоек дает 10 петабайт (опять по памяти) ленточного хранилища. Те, грубо, 1Pb на стойку. Дисковые серверы 2-3 юнитовые, при этом, что бы дать им возможность нормально охлаждаться, плотно стойку набить нельзя. Пусть 10 серверов в стойке, 16 дисков (реально 14, ибо RAID) по 2Tb. Это «всего» 280Tb, в лучшем случае.

      хех… Надо статью про компьютинг LHC изнутри написать…
  • +1
    С вашего позволения вот, ну и вот. Фотографии времён строительства.
  • 0
    Показалось что в этом мониторе запущен Carmageddon
    habr.habrastorage.org/post_images/478/ab5/3f3/478ab53f383d0dfa336c0bc2541c3716.jpg
  • +1
    Отличная статья!
  • 0
    неужели никто не заметил что у них в шкафу типичный пейзаж с матрицы?
  • 0
    Я сфотографировал то, что демонстрировалось на столе.

    На столе эволюция ленточных картриджей, со времен открытия центра до сегодняшних картриджей на 4Pb.

    И старый телевизор, который использовался для наблюдения за роботами, которые таскают ленты внутри библиотек (сейчас выводит картинку с камеры внутри IBM библиотеки, кажется).

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.