Пользователь
0,0
рейтинг
17 декабря 2009 в 04:33

Охлаждение серверов — «больше» не всегда значит «лучше»

Опрос, проведенный одним из ведущих производителей систем охлаждения и кондиционирования для датацентров, компанией Liebert показал, что 66% опрошеных поддерживают в датацентрах температуру не выше 21 градуса C, и ни один выше 24C.

Температура по горизонтали — в американских «фаренгейтах».
CRAH это Computer room air-handler, по нашему — кондиционер.

При этом, рекомендации ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers), пересмотренные в прошлом году, рекомендуют верхний лимит рабчего диапазона равным 27C на входе в сервер.

Такое положение вещей хорошо подтверждается и моей «наблюдаемой практикой».
Традиционно владельцы и эксплуатанты датацентров руководствуются правилом «чем холоднее — тем для электроники лучше», разумеется пока в зале не начнет выпадать роса или снег ;)
Принято считать, что каждый лишний градус свыше, хотя бы, 21С семимимильными шагами приближает смерть компонентов серверного оборудования от перегрева.
Зачастую это считается настолько само собой разумеющимся, что даже не обсуждается.

Однако, современный тренд на «Green IT», или на энергосберегающие технологии в датацентрах, не мог пройти мимо вопроса действительных потребностей серверного оборудования в оптимальной рабочей температуре.

Результаты исследования вопроса могут показаться довольно-таки неожиданными. Все говорит о том, что нынешняя ситуация с температурой в датацентрах стабильно ниже 22 градусов не является оптимальной ни с точки зрения эксплуатации оборудования, ни с точки зрения ресурса работы компонентов, а опасность влияния высоких температур резко переоценена.

Так, статья в The Register выходит под традиционным для Регистера броским заголовком: "Intel says data centers much too cold — Frozen assets a waste of cash" — «Intel утверждает, что датацентры слишком холодные — замороженные активы бесцельно тратят средства».
Тем не менее тема поднята совсем не «желтая».

Традиционную для отрасли переоценку опасности высоких температур для оборудования датацентров подтверждает, например, недавнее исследование Intel, в котором 896 идентичных blade-серверов, были разделены поровну на «контрольную» и «испытуемую» группы (8 шкафов, по 4 blade-шасси в каждом, по 14 blade-серверов в каждом шасси, всего 448 в каждом сайте). «Контрольная» была охлаждаема традиционным образом с помощь кондиционера замкнутого цикла, а охлаждение испытуемой производилось обычным «забортным»воздухом, по «открытой» схеме, с минимальной его очисткой от пыли и без контроля влажности.
Целью исследования была задача доказать возможность построения экономичных датацентров и снизить затраты на охлаждение (не секрет, что в затратах современного датацентра затраты на электричество весьма значительны. Затраты же на питание кондиционеров могут составлять от четверти до половины в общем расходе электроэнергии)


Источник: http://dashboard.imamuseum.org/node/830
По вертикали — киловатты, по горизонтали — дни декабря. На дворе зима, и затраты на охлаждение по-видимому минимальны. График не относится к испытанию Intel и приведен лишь в качестве иллюстрации типового соотношения в энергопотреблении датацентра.
Также:

Источник: http://www1.eere.energy.gov/femp/program/dc_energy_consumption.html

В случае эксперимента Intel, несмотря на колебания температуры в таком «некондиционированном» датацентре, временами поднимавшейся до 32 градусов, уровень отказов по сравнению с контрольной группой отличался чуть более чем в полпроцента (4,46% против 3,83% для «традиционных» датацентров Intel в среднем, и 2,45% у контрольной группы что, в общем, в пределах «статистического разброса»).

Еще более интересная ситуация складывается с зависимостью отказов от температуры для жестких дисков. Так, например, в 2007 году опубликован отчет инженеров Google, которые занимались исследованием частоты и причин отказов жестких дисков в серверных центрах своей компании (были обработаны данные около 100 тысяч дисков, и исследование продолжалось около девяти месяцев).

Один из любопытных результатов того исследования косвенно подтверждает рекомендацию ASHRAE, относительно температурного режима в датацентрах. Так, по наблюдениям исследователей Google, вероятность отказов жестких дисков резко росла при понижении их температуры ниже 30 градусов, причем самая низкая вероятность отказов для наблюдаемой группы дисков соответствовала температуре в целых 40C!
При 40 градусах рабочей температуры (все измерения проводились с помощью датчиков SMART) вероятность отказа не превышала 1% AFR (Annual Failure Rate, ежегодного количества отказов), повышение до 50C увеличивало AFR вдвое, до 2% (более высокие температуры в датацентре не наблюдались).
А вот понижение температуры до 20C парадоксальным образом увеличивало вероятность отказов почти вдесятеро, до 10% AFR!

На графике столбики гистограммы показывают относительное количество дисков, имеющих ту или иную температуру, точки с т-образными штрихами — величины AFR для данной температуры и его статистический разброс, увеличивающийся с уменьшением количества дисков-«участников» с данной темературой.

Заметное повышение количества отказов при повышенной (значительно!) температуре было замечено только за дисками с возрастом свыше трех лет.


Выводы:
Вполне возможно, что подход «чем холоднее — тем лучше» себя изжил. Этот парадоксальный, на первый взгляд, вывод подтверждают и некоторые статистические результаты, говорящие о том, что, возможно, мы недооцениваем «эластичность» температурного режима современного оборудования, и способность его переносить «повышенные» (на наш взгляд) рабочие температуры.

Кроме того, каждый градус, на который удастся поднять температуру в датацентре есть прямая экономия в счетах на электричество.

Впервые опубликовано в блоге http://proitclub.ru/.
@track
карма
29,7
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (31)

  • +5
    потащил печку в серверную…
    • 0
      Обычно в серверной и так хватает «печек». ;)
      • +5
        HDD спасать буду от неминуемой гибели… А то мерзнут…
        • 0
          Так как диски находятся все же в корпусах серверов, то их температура все же выше, чем тмпература воздуха на входе в сервер.
          • +2
            Блин, оба моих комментария в [humor] каммент [/humor] поместите пожалуйста
            • +3
              Да ладно, не парьтесь, счас проснутся люди по московскому времени, придут, а тут уже дискуссия. :)
  • 0
    актуально, сейчас холода, а так хоть в серверных можно будет погреться
  • +1
    Мне одному показалось, что в начале статьи опрос про температуру в датацентре, а дальше про температуру компонентов? Эти температуры взаимозависимы, но 21 градус в датацентре совсем не означает 30 градусов жёстого диска. Всё зависит от многих факторов.
    • 0
      А нигде и не говорится что «означает», всюду говорится, что «зависит».
      Разумеется, диск в корпусе, и нагревается несколько выше, чем температура воздуха на входе в сервер. Речь тут идет скорее именно о том, о чем заголовок, что, вопреки привычному мнению, «холоднее» для электроники не означает автоматом «лучше».
      • 0
        Ну, значит я неверно понял причинно-следственные связи.
    • 0
      Угу, веники прогреваются градусов на 10 выше воздуха.
      ну и главное — ресурс самой ненадежной части серверов — конденсаторов зависит напрямую от температуры.
      И им уже чем ниже — тем лучше, до точки замерзания электролита. При 50C через пару лет очень многие конденсаторы «полезут» :-)
      • 0
        Думаю что ваше представление о «конденсаторах» в серверах устарело лет этак на пять.
        • 0
          Если вы про полимерные конденсаторы, то их срок жизни — 2000 часов на 105C.
          Все еще упираемся во время… На 50-60С будет конечно побольше.
  • 0
    А у меня в ДЦ очень странно, может, конечно, SMART врет на винтах (на 4 винтах разных от разных производителей?), но круглыми сутками вот уже скоро как год подряд температура в среднем от 12 до 15 градусов и зимой и летом… холодно им там… это совсем плохо?
    • 0
      +12 это нереально холодно, обычный минимум в кондиционерах +18, так что наверняка врет что-то, или SMART, или его интерпретирующая софтина.
      • 0
        Да вот я давно уже удивляюсь… вроде бы обычный smartctl, винт есть в его базе, т.е. он его знает:

        190 Airflow_Temperature_Cel 0x0022 085 067 000 Old_age Always — 15 (Lifetime Min/Max 14/16)
        194 Temperature_Celsius 0x0022 084 065 000 Old_age Always — 16 (Lifetime Min/Max 13/18)

        Хотя, когда был в ДЦ, там было заметно прохладно… может и вправду морозят? :)
        • 0
          Просто нормальные кондиционеры используем + грамотно построенный ДЦ — вообще, как Вы могли заметить, на охлаждении и каналах не экономим. Как я уже писал автору этой статьи, ничего общего с реальностью она, увы не имеет. Да и сам Роман Хмелевский не смог / не захотел предоставить данные о своем практическом опыте эксплуатации ДЦ.

          Лично мне известна масса случаем выхода винчестеров из строя из-за повышения температуры, и ни одного из-за низкой. Если интересно, напишите мне, расскажу подробно почему мы тратим дополнительные деньги на охлажение ДЦ и поддержание такой температуры.
  • +1
    домашний «севрер» стоит на балконе. закрыт одеялом =))) температура дисков держится около 40 градусов. процессор celeron тоже не особо греется.
    а вот в сервере на серверной площадке температура дисков последние 8 часов держалась от 20 до 25. только час назад температура начала расти и уже поднялась до 35 =\
  • +1
    В такие морозы, как сейчас, по-моему стоит больше не об охлаждении заботиться, а об обогреве админов :)
  • 0
    Как я понимаю, можно же разделить изучение того, что мы охлаждаем — процессоры или жесткие диски. Что-то требует холоднее, что-то лучше себя ведет при комнатной температуре+температура самоподогрева.
  • +3
    Дома стоит псевдо-сервер (Старая Asus CUR-DLS и два 1ггц коппермайна на ней) со старыми SCSI винтами, винты IBM, причем серия DDYS (это те шумящие печки, у которых верхний предел рабочей температуры установлен в +85*С), над ними висит куча SATAшных хитачей, всё это засунуто в китайский MidiTower корпус, в итоге 13 винтов охлаждаются 3мя вентиляторами (самыми обычными, два 8см и один 12см на гидродинамических подшипниках — итак шумит зверски). Как результат у хитачей средняя температура круглый год составляет около 42-45 *С. Плюс ко всему этому видео/аудио каталоги на сервере сканируются каждые два часа (MediaTomb). И только неделю назад, на 35000 рабочем часу начал делать ремапы один из саташных винтов (скази из рассмотрения исключены, часть из них аж 99года выпуска, поэтому на их осыпания я внимания не обращаю, пока есть замена).В связи с идиотской компоновкой материнки (кто её видел, тот поймет — более идиотского расположения сокетов я не встречал) и невозможностью установить нормальные кулера (может конечно и найдется чтонить серверное под неё, но это очень много усилий надо) камни постоянно нагреты до 55-70*С, на 70*С материнка начинает жалобно пищать.
    Всё это чудо работает уже 4 года. За это время настроение портили только SCSI винты, руки и блоки питания (винты по старости лет, блоки — в связи с тем, что этот гроб имеет огромные аппетиты по +5, а новые БП увы на +12 нагрузку рассчитаны, приходится чинить старьё, руки — ну это стандартно и у всех).
  • 0
    Примерно с месяц назад наблюдал один замечательный дата-центр, сделанный из подсобного помещения, отделённого от улицы тонкими стенами. Зимой он хорошо охлаждается вытяжной вентиляцией через такую стенку, а на случай внезапного наступления лета прямо на серверные стойки глядит напольный вентилятор за 500 рублей :-) Никаких проблем со стабильностью работы оборудования не отмечается!
  • +1
    Компьютеры всё ближе к людям, даже температуру им уже надо поддерживать как и нам — 36,6 :-)
  • +3
    /me ушел в серверную, понимающе и сочувствующе прижал к груди каждый массив.
  • 0
    Я бы все таки предпочел иметь некоторый температурный запас. Что бы при отключении кондиционеров это успеть заметить и успеть добежать.
    • 0
      Вообще-то в приличных местах не «бегают», а используют мониторящие системы и софт.
      • 0
        Которые открывают двери и окна в случае отключения кондиционеров? :)
        Я и имел ввиду то, что после сигнала от мониторинга успеть чего-то спасти.
        Если «нормальная» температура будет под 30 в серверной, то смс от мониторинга будет означать, что уже можно никуда не торопиться.
  • +1
    Нельзя забывать, что не только серверами живет серверная. Так на сайте APC в Knowledge Base указано, что оптимальная температура для батарей 25С. При температуре в серверной 21 внутри APC где-то 23-24 (смотрю по текущему мониторингу)
    При несоблюдении этого правила:
    As a guideline, every 8 Deg C (15 Deg F) rise in temperature will cut the battery life in half. A battery which would last for 6 years at 25 Deg C (77 Deg F), will only be good for 3 years if operated at 33 Deg C (95 Deg F). Keep in mind that the battery temperature inside your UPS will always be warmer than the ambient temperature of the location where the UPS is installed.
    Источник
  • 0
    Во блин! Я как знал! Всегда настраивал кондёр в серверной так, чтобы температура самого горячего диска колебалась в пределах 35-40 градусов. А оно вон как обернулось — так и надо было делать)
    Скажу что не для blade систем, а для типичных одно- и двуголовых серваков в 1U-4U корпусах такая температура дисков у меня получается когда кондёры выставлены на 22-26 градусов (в зависимости от помещения и времени года). Если лень собирать статистику, просто ставлю 24 градуса.

    Выглядит это примерно так:
    hda-temp

    Особенно интересны провалы, появившиеся с приходом морозов.
  • 0
    из-за тепловыделения серверов google в мире наступает глобальное потепление.
    мои сервера пользуются зимой на улице(-18 C), чтобы в серверной было — «Internal Temperature 20,7 °C / 69,3 °F»
    надо сделать вытяжку в комнату из серверной, чтобы не обогревать помещение.
  • 0
    удивительно разве люди не понимают, что гробит технику не высокая/низкая температура, а перепады этой температуры…
    вроде нормально человеку должно быть понятно что если на внешней оболчке венчестера температура +21градус, а на внутренней за счет нагрева двигателя +40градусов то возникают микро искривления корпуса, что и ведет к поломке…
    так же само и наоборот…

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.