Бюджетные петабайты: Как построить дешевое облачное хранилище

http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/
  • Перевод
Познакомьтесь с Backblaze Pod: 67 терабайт за $7867

Мы в Backblaze предлагаем нашим клиентам неограниченное хранилище всего за $5 в месяц, поэтому нам пришлось выяснить, как хранить сотни петабайт клиентских данных надёжным масштабируемым образом, при этом сохраняя цены низкими. Посмотрев на несколько коммерческих решений с неоправданно высокими ценами, мы решили строить наши собственные нестандартные контейнеры хранилища Backblaze (Backblaze Storage Pods): 67-терабайтные 4U-серверы за $7867.

В этом постинге мы расскажем, как создать такой контейнер хранилища, и будем рады, если вы используете подобный дизайн сами. Мы надеемся, что от совместного использования этой идеи выиграют все: как вы, так и мы, поскольку вы можете усовершенствовать этот дизайн и прислать нам улучшения. Эволюция и снижение затрат являются критичными для продолжения успеха Backblaze.

Вот видео, показывающее 3-мерную модель контейнера хранилища Backblaze. Продолжайте читать, чтобы узнать о всех деталях дизайна.



Здесь можно загрузить полную 3-мерную модель контейнера хранилища Backblaze в формате EASM.

Backblaze нужно большое, надёжное, дешевое хранилище


Сказать, что Backblaze нуждается в большом хранилище, — ничего не сказать. Мы предоставляем услуги бэкапа, так что наш дэйтацентр содержит полную копию всех данных наших клиентов, плюс несколько версий изменяющихся файлов. Грубо говоря, каждый раз, когда один из наших клиентов покупает жесткий диск, Backblaze нужен ещё 1 жесткий диск. Уже давно мы перестали измерять хранилища в наших дэйтацентрах в гигабайтах или терабайтах и начали мерить в петабайтах.

Чтобы получить представление, как это выглядит, вот на фото я устанавливаю новые контейнеры в нашем дэйтацентре. Я работаю со стойкой, содержащей небольшой «штабель» из 6 контейнеров, содержащих в сумме почти полпетабайта данных.

Стойка из 6 контейнеров хранения общей емкостью полпетабайта

Чтобы предлагать наши услуги по разумной цене, нам нужно доступное по цене хранилище многопетабайтного масштаба.

Никто не продаёт дешёвые хранилища, поэтому мы спроектировали их сами


Прежде чем мы поняли, что нам придётся решать эту проблему с хранилищем самостоятельно, мы рассматривали Amazon S3, серверы Dell и Sun, файлеры NetApp, EMC SAN и т. д. По мере изучения этих традиционных «готовых решений», у нас пропадали все иллюзии о стоимости. Когда вы отбрасываете маркетинговые термины и красивые логотипы с любых решений по хранению данных, как ни крути, данные оказываются на обычном жестком диске. Но когда мы сравнивали цены различных коробочных решений, стоимость была в 10 и более раз выше «сырой» стоимости жестких дисков. Вот диаграмма, сравнивающая стоимость 1 петабайта от различных вендоров:

Стоимость хранилища на 1 петабайт от различных вендоров

Оценив затраты, мы решили создавать наши собственные контейнеры хранения Backblaze. У нас были 2 основные цели: сохранять затраты на низком уровне, используя накопители потребительского уровня и легкодоступные массовые комплектующие, и использовать электроэнергию и место в дэйтацентре настолько эффективно, насколько возможно, используя «зелёные» комплектующие и «втискивая» большое хранилище в небольшой корпус.

Результат — это стоечный сервер высотой 4U на Linux, содержащий 67 терабайт, себестоимостью $ 7867, львиная доля которых уходит на покупку самих жестких дисков. Это составляет всего ~0.3 цента за гигабайт в месяц на протяжении 3 лет. Даже включая дополнительные издержки, такие как электричество, трафик, аренду места и зарплату IT-администраторов, Backblaze тратит 1/10 от цены в сравнении с использованием Amazon S3, серверов Dell, файлеров NetApp или EMC SAN.

Из чего состоит контейнер хранения Backblaze


Контейнер хранения Backblaze является самодостаточным узлом, который делает хранилище доступным онлайн. Он представляет собой сделанный по спецзаказу металлический корпус с широко доступными бюджетными комплектующими внутри. Конкретнее, 1 контейнер включает 1 системную плату Intel c вставленными в нее 4-мя платами SATA. 9 SATA-кабелей отходят от плат к 9 панелям умножителей портов (port multiplier backplanes), в каждую из которых непосредственно вставлено 5 жестких дисков (всего 45 жестких дисков).

Список основных комплектующих контейнера хранения Backblaze

Выше вы видите развернутую диаграмму, а подробный список комплектующих вы можете увидеть в Приложении A. 2 главнейших фактора, которые необходимо упомянуть: стоимость жестких дисков является львиной долей стоимости всего контейнера, а остальная часть системы полностью построена на широко доступных бюджетных комплектующих.

Продолжение статьи здесь
Метки:
Поделиться публикацией
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама
Комментарии 268
  • 0
    Спасибо за перевод.
    • +4
      Шикарная идея. Только вот менять харды налету, наверное, не очень удобно
      • +2
        Корпус выдвигается до половины и достаётся нужный хард.

        Меня вот интересует другой вопрос — что у них за софт, используется ли raid и т.п.
        • 0
          > используется ли raid
          На картинке 4 карты хардного рейда, наверно на 8 винтов каждый (на 16 вряд ли купили бы 4 штуки).
          8х4 = 32, куда втокнуто еще 13? Скорее всего одна карточка на 16 винтов. 16+8+8+8 = 40 + 5 от мамки.

          1. Но какая производительность получается?
          2. Под какие задачи хранилище (смущает 4 ram)?

          Что-то мне кажется, что особо на них не разгуляешься.
          • 0
            > На картинке 4 карты хардного рейда
            Как вы это определили? Мне кажется, там обычные SATA-контроллеры. Используются потому, что иначе не хватит SATA-портов/пропускной способности шины.

            И не забывайте, там еще системный винт стоит (скорее всего, тоже SATA).
            • 0
              Системный винт:
              80 GB PATA Boot Drive
              Western Digital Caviar WD800BB 80GB 7200 RPM IDE Ultra ATA100 3.5″
              • 0
                хм, а зачем системный винт? а флешка? а network boot?
              • +3
                4 карты хардварного рейда вряд ли купишь за $175.
                • +2
                  по ссылке не ходим.
                  там используется 3 двух портовых контролера и 1 трех портовый
                  3х2 + 1х3 = 9
                  дальше эти 9 сата каналов расширяются на 5 каждый, итого 45
                  реализуется это некиими сисовскими карточками расширения которые нарисованы снизу
                  поверх всего этого три рейда 6 по 15 винтов в каждом
                  • 0
                    перейдите по ссылке, там черным по белому написано:

                    4х sata pcie card x1 (Addonics four-port card)
                    2х sata pcie card x3 (SYBA two-port)

                    «The Intel Motherboard has four SATA cards plugged into it: three SYBA two-port SATA cards and one Addonics four-port card. „

                    винты подключаются к sata multiplier backplanes (мултиплаеры на базе Silicon Image SiI3726)

                    все sata pcie контроллеры поддерживают мультиплаеры (это важно).
                  • 0
                    Софтовые рейды уже давно сравнимы по производительности (а иногда и лучше) с аппаратными.
                    Задачи простого хранения не требуют вообще то чего-то заоблачного а уж софт точно не проблема, распределенных отказоустойчивых хранилищ, начиная с opensource тьма.
                    • 0
                      Я не про аппаратность рейда спрашивал, а про решение уровнем выше массивов. Интересно, как достигается отказоустойчивость — тупо рейдами (они там 100% софтовые), или отказоустойчивой файловой системой (типа как у гугля)?
                      • 0
                        blog.backblaze.com/wp-content/uploads/2009/08/backblaze-storage-pod-software-layer-cake-diagram.jpg

                        Ну и источник: blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/
                        • +1
                          Спасибо. С переводными статьями всегда такая трабла есть — не хочется смотреть в первоисточник… :)
                    • 0
                      Куда выдвигаются? Назад из стойки??? У них нет «ушей» спереди? Тогда это еще один сильный прикол! И как они вообще фиксируются в стойке? На фотографии видно что следующий ящик ляжет на банальный (хотя и фирменного красного цвета) уголок. Тоже брутально дешево, но как выталкивать 4U набитые винтами с такого уголка? Или не выталкаешь или перевыталкаешь — фиксаторов-то тоже не видно. Короче этот момент остался нераскрытым.
                      Но в целом идея блестящая! :)
                      • 0
                        Один толкает, другой страхует, что б на пол не упал :)

                        С крышкой тож не понятно, правда. Она тоже цельна, т.е. что б достать хард, нужно вытащить ящик полностью.
                        • +7
                          Да, крышка должна быть с изюминкой, вроде на картинке видно, что отверстия под болты есть только в задней части. Ну возможно.

                          Но толкать!!! Я один раз работал на страховке именно в такой ситуации — толкали 4U самый верхний в стойке, ну никак не выходил каменный цветочек, (это отдельная история про перекосы, прогибы и т.д.) а потом ему наподдали хорошенько, ящик был очень железный, не жалко — и тут-то «страховка» приняла на грудь вытянутые над головой руки 30-40кг, которые не обхватить, ни взять… Хотя готовились мы к этой операции полчаса, всю ее вселенскую глупость я понял за секунду, которую сервер летел вниз, а я инстинктивно пытался остановить его всеми частями тела. Это был последний час моего последнего дежурства в ДЦ перед отпуском. Выглядел я будто попал под поезд — ссадина на весь лоб, огромный синяк на плече и хромал две недели. Эх, молодость, романтика. :)
                          • 0
                            Да… У нас 1U IBM-ки по двое в стойки ставим, а тут 4U да еще с таким количеством хардов…
                            • 0
                              Я 1U в одну харю легко ставится :) Я и 2U умудрялся. Это больше от веса зависит. 4U надо вешать в двоем каждый со своей стороны встает и дальше загоняем в рельсы.
                              • 0
                                1U ibm то какие проблемы вызывает? он легкий, если только вам не приходило балансировать на одной ноге на высете два с половиной метра))
                                что меня в ibm бесит это то что 2 года назад драйвер их ядра отсуствовал в 2.6.27… ох я намучился пока собрал кастом какой то…
                                • 0
                                  драйвер их рейда конечно же*
                          • 0
                            А какая разница? Уши не нужны при правильной конструкции рельсов. Нормальные рельсы имеют фиксатор положения задвинуто и фиксатор положения выдвинуто.
                            • 0
                              Уголок, видимо, для страховки. Салазки видны на трёхмерной модели в ролике и на фотографии в соседней стойке.
                            • +1
                              Там стандартный Linux SoftRAID. Тут не полный перевод. Почитайте в оригинале, занимательно.
                              • 0
                                На английском по ссылке с ЛОРа написано, что используется RAID6, в томе по 15 дисков.
                            • +10
                              На этом месте у переводчика кончился бензин. При наличии достаточного интереса к этой половине статьи, можно будет перевести и 2-ю половину.

                              Переводите — интересно.
                              • +1
                                Только замените слово «дэйтацентр» на датацентр или ЦОД, например, а то читать непривычно.
                                • 0
                                  Ага, тоже запнулся
                                  • +70
                                    ЦОД — это тот же дэйтацентр, только внутри стоят ЭВМ с НЖМД и АЦПУ? На входе сотрудники ЧОП и ВОХР проверяют УЛ, ЛВС в ЦОД должна соответствовать ГОСТ, а ИБП — СНиП? ;)
                                    • +44
                                      ИННАХ
                                      • +2
                                        ребят, вы на итхеппенс!
                                        ithappens.ru/story/1237
                                        :)))
                                • +2
                                  >>корпус с ширпотребными комплектующими внутри

                                  Довольно смелое, самокритичное высказывание)))
                                  • +4
                                    Да, вы правы, в русском языке слово «ширпотребный» имеет негативную коннотацию. Предложите ваш вариант перевода «commodity components», если он будет лучше, я с удовольствием исправлю.
                                    Я рассматривал вариант перевода «с потребительскими комплектующими внутри», но всё же оставил «ширпотребными».
                                    Можно, конечно, передать смысл слова commodity длинным словосочетанием вроде «комплектующими потребительского класса, легко доступными на рынке в больших количествах», но, мне кажется, получается слишком громоздко.
                                    Вообще же, это техническая статья, и я даже не пытался добиться качества литературного перевода. Вместе с тем, надеюсь, мне удалось в большинстве мест передать смысл оригинального текста. В любом случае, спасибо за любые поправки, исправления и замечания!
                                    • НЛО прилетело и опубликовало эту надпись здесь
                                      • +2
                                        Если никто не против, я прерву соревнование между «бюджетными» и «широко доступными» комплектующими и напишу «широко доступными бюджетными комплектующими» :)
                                        Поскольку слово commodity включает оба этих элемента: низкую цену (бюджетность) и широкую доступность.
                                        Спасибо, panaslonik
                                        и aleks_raiden
                                      • +1
                                        в данном контексте commodity = недорогие = обычные = несерверные = десктопные
                                        • +7
                                          с широко доступными
                                          • 0
                                            бюджетные комплектующие — это только доказывает, что они на ветер деньги не бросают :) и прекрасно понимают, где нужно платить а где нет.
                                        • –8
                                          Уже было
                                          • +2
                                            Ну у меня только ссылка была. На английский вариант. А тут перевод.
                                          • +1
                                            ждем продолжения
                                            • 0
                                              примерно полгода назад сторадж собирали — можно поставить 16х2Tb винтов, 8Gb RAM, 2 БП — цена порядка $4900 вместе с винтами.
                                              итого 4900/32*1000 = $153000 за 1 петабайт :)

                                              всего в полтора раза дороже, чем у *blaze
                                              ну и у них 67тб per server, а у нас только 32 :)

                                              и я не нашел почему они не стали 2тб винты юзать
                                              • 0
                                                Цена/гб судя по всему у 2 тб выше.
                                                Хотя тут ещё подключаются издержки за бОльшее число портов и энергопотребление для/у винтов меньшего обьёма.
                                                • 0
                                                  ну да
                                                  1.0Тб ~= $90/Тб
                                                  1.5Тб ~= $86/Тб
                                                  2.0Тб ~= $116/Тб

                                                  прикидка очень примерная, но тенденция в целом правильная
                                                  • 0
                                                    вообще то энергопотребление тут по уму тоже актуально, три hdd по 1 жрут в полтора раза больше чем два по 1.5 (и место занимают), а разница в цене за теробайт отличается… на 4$ (3%-4% какраз на грани стоимости энергии)
                                                    Может тут актуализируется про надежность? технологии на пике обычно менее надежные чем проверенные временем.
                                                    • 0
                                                      Врятли. В тех же 1 тб винтах щас ставят пластины 2*500, в 1.5 — 3*500… Пластины точно такие же что там что здесь. Так что сомневаюсь.

                                                      Возможно они просто не провели соответствующий рассчёт ;-)
                                                      А возможно провели, и как раз получили оптимальные значения на 1.5 тб
                                                  • +5
                                                    Вот именно потому, что 2 ТБ диски не являются commodity components. Они не просто стоят на 2/3 дороже при ёмкости лишь на 1/3 больше, чем у 1.5-ТБ дисков. Они пока не производятся и, что важно, не покупаются и не продаются в тех масштабах, чтобы можно было в любой момент пойти к своему поставщику и купить 100 таких дисков.

                                                    Мой работодатель придерживается похожих (только ещё более консервативных, т. к. масштабы больше — Backblaze арендует кусочек дэйтацентра, а мы — несколько дэйтацентров) правил. Отвечающий за закупки просто не позволит вам заказать 2 ТБ диски, т. к. он не сможет гарантировать, что при отказе нескольких дисков (а отказы дисков и другого железа происходят каждый день) он купит замену в течение рабочего дня, а не месяца.

                                                    В качестве ещё более яркого примера: 1 ТБ 2.5" жесткие диски, которые с такой помпой анонсировала WD ещё в июле. Однако до сих пор купить их практически нереально, а если вам нужно 30 штук, то либо просто забудьте, либо договоритесь о поставке через месяц. В общем, проблема не только в цене, проблема в доступности
                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                      • 0
                                                        'буфер' всегда есть, но, скорее всего, благодаря аппаратной совместимости 1тб и 2тб (и наверное через 5 лет 10тб) одинаково легко могут быть смешаны в одном ящике.
                                                        P.S. где то читал статейку от google с инфоррмацией о статистике вылетов жестких дисков (пик вылетов на первые 8-9 месяцев, потом спад и рост снова уже к 3-5 годам).
                                                        P.P.S. две железки купленные в одно время/одной партии с большей вероятностью (чем разные) могут быть одинаково проблемными.
                                                    • 0
                                                      как-то не доверяю я винтам на 2тб. я взял 16 wd re4 — из них сразу же ушли на фабрику 2. чуть позже еще один накрылся.
                                                      но тут дело, скорее не в производителе а в продавце (newegg.com): они запаковали все драйвы очень плохо. и это был не единичный случай.
                                                      • 0
                                                        У newegg.com вроде нету интернациональной доставки? Вы в США заказывали?
                                                        • 0
                                                          Кажется, нет. Но меня это не особо касалось — я в США.
                                                        • 0
                                                          Вы заставили перекреститься, т. к. ровно неделю назад заказал в newegg сигейтовский 2 ТБ винт серии LP (в подарок). Но у меня-то никакого опыта нет, это 1-я покупка в newegg.
                                                          Если вам не 1-й раз приходят из newegg плохо упакованные приводы, зачем тогда вы там покупаете? Тем более, если для бизнеса, а не для себя (а 16 приводов серии Enterprise вы ведь не для себя взяли).
                                                          • +1
                                                            Дело в том, что первый раз был где-то года полтора назад именно мне лично. Я подумал, что случай единичный и забил.
                                                            через какое-то время, надо было для работы заказать — всё повторилось снова. Я сильно удивился и поругался с ними.
                                                            когда же надо было заказать 16х2тб — на newegg они были в наличии, а в других местах надо было бы ждать несколько недель.
                                                            в результате, я теперь плачу на 2-8 долларов за драйв больше, но покупаю либо на provantage.com, либо zipzoomfly.com
                                                            provantage берет драйвы там же, где и newegg — у дистрибьютора ingram micro, но покуют их правильно. собственно эти лишние 2-8 долларов за драйв и дают спокойствие, что драйвы по дороге не убьются и прийдут в правильной упаковке.

                                                            • 0
                                                              Во-первых, спасибо за инфо, буду иметь в виду. Совсем отказаться от покупок в newegg трудно, т. к. самые минимальные цены, бесплатная доставка и всё такое. За тот 2 ТБ Seagate LP я 199.99 заплатил, в остальных местах было типа 227 долл. Но хрупкие вещи, вроде HDD, наверно, не стОит там покупать, раз они так безалаберно пакуют.
                                                              Во-вторых,
                                                              16х2тб — на newegg они были в наличии, а в других местах надо было бы ждать несколько недель.

                                                              вы невольно подтвердили то, что я писал про 2 ТБ диски в комментарии выше
                                                              Не годятся эти диски ещё для масштабного применения, для закупок десятками-сотнями.

                                                              • 0
                                                                Отказоваться и не предлагаю — сам там продолжаю покупать, но только не драйвы.

                                                                Почему не годятся 2 TB? Я думаю, что не будь они плохо упакованы первые два не были бы возвращены для замены — проблема чисто физического характера была, IMHO. Третий диск погиб уже своей смертью. Но из 16 один — это хороший результат.
                                                        • 0
                                                          Напишите об этом статью
                                                          • +1
                                                            с удовольствием бы, но кармы нет :)
                                                        • 0
                                                          забавно, у меня как раз вопросец куда бы по разумной цене залить терабайт, чтобы не покупать еще один винт и не переть его в другой угол планеты? разумеется, потом на месте хочется этот терабайт скачать.
                                                          • 0
                                                            Скачивание файлов этот сервис, видимо, не считает важным. Предлагают либо скачать через веб-интерфейс, либо выслать по почте DVD или флэшку за 100 или 200 баксов соотв. Не представляю, как можно скачать терабайт через браузер.
                                                            • –3
                                                              Действительно, у них кстати даже поддержки Linux нет
                                                          • +2
                                                            Хочу уточнить, что эти железяки работают как части большого raw storage. То есть, надежность отдельной железяки не сильно критична, raid6 позволяет им просто снизить время ребилда, при вылете одиночного винта, но и вылет всей железяки не катастрофа.
                                                            Применять такой же подход, используя только один ящик достаточно экстримально. Так как вылет одного из блоков питания влечет за собой вырубание половины HDD. При отсутсвии, BBU на контроллерах это может легко вызвать развал рейда.
                                                            • 0
                                                              Врядли там используется хардварный рейд, нормальный контроллер на 10 портов стоит заметно дороже $175, а тут их 4.
                                                              • 0
                                                                Разумеется, они используют программный RAID. Ни о каких BBU речи быть не может.
                                                                • 0
                                                                  24 портовый рейд контролер 3ware 9650SE-24M8 SATA RAID стоит $1100+. плата с батарейкой и бэкапом еще стольник.
                                                                  у них обычные sata контролеры. рейд софтварный.
                                                                  • 0
                                                                    А с чего все так уверены, что там вообще рейд? В статье явно намек на то, что информация банально зеркалируется. В таком случае, если не вылетят 2 винта одновременно, битый винт можно просто поменять и зазеркалить на него вторую копию через rsync или типа того.
                                                                    • –1
                                                                      Э-э-э… Ответьте мне, как художник художнику, вы, вобще, оригинал статьи читали? ;)
                                                                      Или этим неоконченным «переводом» ограничились?
                                                                      • 0
                                                                        переводом:(
                                                                        Пойду почитаю оригинал, может где-то сказано, что данные копируются и на другие сервера тоже…
                                                                      • 0
                                                                        Там 3 Software RAID6
                                                                        • 0
                                                                          там черным по белому написано «On top of that, we cluster 15 hard drives into a single RAID6 volume with two parity drives (out of the 15).», что в переводе значит, что они объеденяют 15 драйвов в один RAID6 массив с двумя парити драйвами из 15.
                                                                    • 0
                                                                      Кстати поясните, если я выдерну пару винтов, но данные на них как-бы останутся, то райд в большенстве случаев восстановить не получится? Если запись не велась, то очевидно это должно удастся...?
                                                                      • 0
                                                                        по умолчанию, практически любое ПО сопровождения рейдов, вынутый винт и вставленный заново считают новым винтом, неизвестно ведь, что ты делал с ним вне ящика.
                                                                        • 0
                                                                          Просто в данной схеме, как я понимаю, несколько разных БП питают группы винтов. Если упадёт один БП, то винты вылетят из рейда.
                                                                          Соответственно ПО посчитает что они умерли или новые или ещё что, и по вашей версии рейд не соберётся после замены БП.
                                                                          Хотя реально данные на винтах остались. Это совсем не хорошо :-(
                                                                          • 0
                                                                            У вас или рейд перейдет в режим degrated и туда писаться ничего не будет или у вас пропадет RAID целиком, после замены БП, с высокой долей вероятности RIAD заведется.
                                                                            • 0
                                                                              Я эмулировал такую ситуацию на mdadm в режиме RAID-5 на 3х дисках, выдёргивая питание из двух.
                                                                              Не завелось.

                                                                              А degradated режим продолжает работать с записью, устройство в RO не переводится.
                                                                              • +1
                                                                                В RAID5 и не заведется, у него может быть потерян только один диск. В случае если у RAID5 теряется два диска он переходит в damaged и в RO.
                                                                                • 0
                                                                                  А RAID-6 может потерять два диска.
                                                                                  То есть если я выдеру питание скажем на 4х сразу то он умрёт, так получается? Или же система отработает и сразу остановит запись на остальные винты, после подключения вырванных и перезагрузки всё должно подняться?
                                                                                  • 0
                                                                                    Я имею в виду ситуацию, когда физически данные не повреждены, но может оказаться рассинхронизация из-за пропадания питания у >n винтов одновременно, где n — число винтов, которые райд может потерять «безболезненно»
                                                                                    • 0
                                                                                      Достаточно у трех и он умрет. Система остановит запись на остальные винты, если подключить их обратно, то у mdadm есть ключик принудительно засунуть протухшие тома. Лучше всего возьмите 6 дисков и поиграйтесь. Я когда игрался оказывалось что Software RAID не так уж легко дохнет :)
                                                                                      • 0
                                                                                        6 дисков, тем более пустых, ещё найти надо.
                                                                                        Конечно можно собрать RAID на USB-флешках :-)
                                                                                        • 0
                                                                                          Да хоть на флешках. Разницы для linux никакой.
                                                                          • 0
                                                                            Используемый RAID6 работает и при потере двух винчестеров, для потери данных надо чтобы одновременно умерло 3 диска в одном RAID.
                                                                        • +2
                                                                          Недавно наткнулся на подобное описание, но с 20ТБ хранилищем, зато без «custom built case» и с тестами производительности:

                                                                          Building a 20TB ZFS file server
                                                                          • 0
                                                                            спасибо за линк. но особенно меня убила картинка сервера на 9U с 48ю драйвами. это же ужас.
                                                                            • 0
                                                                              громкий :) они все шумят.
                                                                              P.S. скорее всего используется программное отключение энергии у дисков, иначе на электроэнергию уходило ЗНАЧИТЕЛЬНО больше денег.
                                                                              • 0
                                                                                да я не про громкость — у меня как раз 4u supermicroвский на 24 драйва. я как-бы про размер.
                                                                                уж если надо много драйвов вместить в мало места — то, что тут предлагают — хорошая идея. у Sun есть похожее, но значительно дороже.
                                                                          • 0
                                                                            Что же, остается дождаться широких интернетов что бы пользоваться подобными вещами… А пока я все также буду использовать свой домашний сервер на 3 терах.
                                                                            • +1
                                                                              Их сайт восхитителен! ))))
                                                                              • 0
                                                                                https://www.backblaze.com/ru_RU/online-backup-about.html
                                                                                • 0
                                                                                  Перевод просто супер :)
                                                                                  • 0
                                                                                    Перевод в клиенте для мака такой же.
                                                                                    «Ключи к здоровой жизни. Упражнения. Правильно питаться и резервное копирование компьютер.»
                                                                                    «Установить полное»
                                                                                    «15 дней, оставшихся в вашем суде»
                                                                                    «Какие меры подкреплены»
                                                                                    «Ваши данные не подкреплены»

                                                                                    Просто лол, в общем. Переводчика нанять на фри-ланс перевести не так и дорого, ведь…
                                                                                    • 0
                                                                                      возможно там какой-нибудь кастомный google-translate? я уже наталкивался на подобные сайты с «кривым» переводом…
                                                                                      • +1
                                                                                        Это и есть автопереводчик, с полгода назад такая штука была популярна у блогов. Переведут хоть на фарси, только жми на кнопочку :)

                                                                                        Я по работе отслеживаю один профессональный блог, автор которого балуется такой ерундой. Очень задалбывает находить в гугле по 50 вхождений поисковой фразы на разных поддоменах блога, вся разница в которых, что они вот таким вот «переводчиком» переведены.
                                                                                        • 0
                                                                                          ой. как мне это знакомо :) засоряются результаты поиска :(
                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                • +1
                                                                                  Отличная бизнес идея…
                                                                                  • +1
                                                                                    У этих товарищей бесплатными являются 2Гб места для бэкапа. При этом с сервисом можно работать только через их собственную виндовую прогу. Т.е. использовать сервис в качестве серверного бэкапа для небольших компаний не выйдет. С тем же успехом можно пользоваться дропбоксом, особенно учитывая, что там бесплатно можно юзать до 2,75 гигов. Вот если бы была возможность делать быкапы из linux и bsd систем, вот тогда бы сервис оценили сотни тысяч сисадминов и просто небольших компаний-владельцев небольших серверов. Часто покупать/арендовать отдельный сервер для бэкапов довольно накладно, а вот такой недорогой сервер был бы идеальным решением. Не все готовы извращаться и использовать в качестве хранилища небольших бэкапов gmail :)
                                                                                    • 0
                                                                                      Есть и Mac-версия, хоть это и не решает вашей проблемы. Русская локализация доставляет немеряно =)
                                                                                      • 0
                                                                                        ну вот уже мак админы довольны :)
                                                                                        • 0
                                                                                          Хлопот бесплатно создать резервную копию за $5 в месяц неограниченно
                                                                                          $5 в месяц на один компьютер (или два месяца бесплатно при покупке году за $50!)

                                                                                          рыдаю. у себя три, у других не три! гигиена уйдет от тебя!
                                                                                        • 0
                                                                                          gmailfs — Use your GMail account as a filesystem :-)

                                                                                          Ничего сложного, fuse и все дела…
                                                                                          • 0
                                                                                            Это нам с вами ничего сложного. А для многих это сложно :) а еще куча народа о gmailfs вообще не подозревают.
                                                                                            • 0
                                                                                              А как в ней дела с большими файлами? Метров по 100 хотя-бы. Размер письма то ограничен…
                                                                                              • 0
                                                                                                К сожалению сам я gmail не использовал. Но возможно этот fuse модуль что-то там предпринимает.
                                                                                                А так размер письма не может превышать 25 мб…
                                                                                                • 0
                                                                                                  В общем посмотрел я gmailfs поподробнее, там есть опция blocksize с дефальтным значением 5Мб. То есть файлы разбиваются на болки и именно в таком виде хранятся на почте. Попробовал примонтировать, залить большой файл — всё ок, в гмайле появились письма с разными любопытными заголовками размера 5 мб адресованные мне с отправителем «я» :)
                                                                                              • 0
                                                                                                Ну у дропбокс, если по референсным ссылка друзья нарегется, то максимум 5 гигов будет и притом — бесплатно
                                                                                              • 0
                                                                                                Очень интересно!
                                                                                                А какова интересно будет скорость скачивания с такого удалённого харда?
                                                                                                  • 0
                                                                                                    По ссылке аргументированная критика дискового массива общего назначения. А тут — средство бэкапов. Разные цели, не находите?
                                                                                                    • –1
                                                                                                      по ссылке перечислены все дырки подобного решения, и в конце добавлено

                                                                                                      • 0

                                                                                                        When your application is capable to overcome the limitations and problems of such ultra-cheap storage (and the software of Backblaze seems to have this capabilities), such a DIY thing may be a good solution for you.

                                                                                                        смотря какой критичности бэкапить туда данные
                                                                                                        я бы не рискнул
                                                                                                        • 0
                                                                                                          Скажите что надежнее 3 таких ящика с тремя копиями или один ящик от Sun с одной копией?
                                                                                                          • –1
                                                                                                            этот вопрос лишен смысла, без конкретных внешних условий.
                                                                                                            Что такое «надежней»? Как будем ее оценивать? Для какого применения?
                                                                                                            В зависимости от этого можно на ваш вопрос ответить как да, так и нет.
                                                                                                            • 0
                                                                                                              Обычно оценка надежности подразумевает учет количества частей системы их надежность и работоспособность системы после сбоя в одной из частей системы. К примеру если мы берем один X4550, то его надежность должна быть в три раза выше чем у приведенного решения, чтобы надежность была равнозначна. Но так ли это? Я вот думаю что вероятность того что все 135 винчестеров одновременно выйдут из строя ниже чем вероятность того что 45 винчестеров выйдут из строя. Тоже самое можно сказать про материнскую плату процессор и БП.
                                                                                                              • –1
                                                                                                                Вы не учитываете специфические требования для каждой конкретной задачи.
                                                                                                                Наработка на отказ у спец. серверного железа в разы больше, чем у обычных, ширпотребных компонентов.

                                                                                                                В то время, когда вы в очередной раз будете менять мать в 6-м storage-юните — тот же X4550 будет пыхтеть пятый год подряд без ребута.

                                                                                                                Еще вопросы?
                                                                                                                • +1
                                                                                                                  Вы не учитываете специфические требования для каждой конкретной задачи.
                                                                                                                  Наработка на отказ у спец. серверного железа в разы больше, чем у обычных, ширпотребных компонентов.

                                                                                                                  Это не исключает ошибок. А при возникновении сбоя в X4550 у вас будет простой, именно по этому все серьезные люди делают дублирование.

                                                                                                                  В то время, когда вы в очередной раз будете менять мать в 6-м storage-юните — тот же X4550 будет пыхтеть пятый год подряд без ребута.

                                                                                                                  А на шестой год в X4550 сдохнет мать и пока все будут бегать и пинать поставщиков, я спокойно буду менять мать в 3 storage-юните и все будет работать, так-как остальные storage работают и не чихают. Дело в том что в случае у вас одна железка у вас одна точка отказа, если у вас 6 железок, то у вас единой точки отказа приводящей к смерти всего уже нет.
                                                                                                  • 0
                                                                                                    4 гига рамы для 45 винтов? маловато, наверное… или тянет? мне интересно, если со всех этих 45 винтов будет тянуться информация, хватит ли этой памяти?
                                                                                                    • 0
                                                                                                      Простите, куда вы собрались тратить память на дисковом массиве?
                                                                                                      1. Закэшировать всё в любом случае нереально.
                                                                                                      2. Задержки работы по сети делают незаметными время доступа по диску.
                                                                                                      3. Скорость работы дисков заведомо больше доступной серверу полосы пропускания (у них ширпотреб, поэтому 1 или 2 1gbps сетевых карты).
                                                                                                      4. Профит.

                                                                                                      Объём памяти, думаю, мотивировался стоимостью, опять-таки. На схеме 2 планки по 2gb (самый дешевый объём на данный момент). В случае выхода их строя одной из них, сервер продолжит работать (в ядре линукса появилась недавно такая фишка. Не уверен, что работает идеально, но в любом случае, позволит продержаться какое-то время до замены).
                                                                                                      • 0
                                                                                                        Есть интеловские мамки с 4мя сетевыми на борту. В принципе, для такой пачки дисков в них есть смысл.
                                                                                                      • +2
                                                                                                        Ну это же не боевой сервер, а storage для бекапов, ему огромной производительности не нужно
                                                                                                      • 0
                                                                                                        интересно еще, что они находятся в Пало-Альто, где находится, например, Amazon.com's A9.com, Facebook, Hewlett-Packard, Photobucket, VMware и Xerox
                                                                                                        • +2
                                                                                                          Спасибо за перевод, с удовольствием прочитаю вторую часть статьи.
                                                                                                          • +1
                                                                                                            при любом раскладе сейчас это самое экономичное решение, если смогут гарантировать скорость и предоставят API — тот же Amazon выкупит у них половину емкостей для аварийных нужд :) это будет мега-смешно!
                                                                                                            • +1
                                                                                                              как бы их Амазон потом совсем не купил )
                                                                                                              • 0
                                                                                                                Мне почему-то захотелось изменить название с «Как построить дешевое облачное хранилище» на «Как заставить Amazon обтечься слюной и купить тебя»
                                                                                                                :)
                                                                                                                • 0
                                                                                                                  я про это же :)
                                                                                                                  если они наберут клиентуру — у них будет дешевая альтернатива (правда, без таких же возможностей, но зато с хорошей аппаратной базой)
                                                                                                                  Амазон их заберет с потрохами, я думаю
                                                                                                                • 0
                                                                                                                  Не купит. Амазон понимает, что стоимость хранения не только от цены дисков и корпуса зависит.
                                                                                                              • 0
                                                                                                                При таком кастоме, думаю, на жестком диске для ОС можно было сэкономить — грузиться по сети или с флешки
                                                                                                                • 0
                                                                                                                  Убрать из сервера за $7867 жесткий диск для ОС и сэкономить $38? По-моему, сомнительная экономия.
                                                                                                                • +2
                                                                                                                  Переводчик, пиши ещё! Очень интересная тема.
                                                                                                                  • +4
                                                                                                                    На фотографии: Ричард Гир подрабатывает в Backblaze :)
                                                                                                                    Кризис, фигле.
                                                                                                                    • 0
                                                                                                                      Всё-таки немного странные (или лукавые) цифры в статье. Приведена стоимость за петабайт, но не сказано, входит ли в неё бэкапы внутри самой системы. У того же Амазона, мы знаем из описания сервиса, данные реплицируются для надёжности. Думаю, что у BB тоже — ну не хранят же они, в самом деле, только по одной копии данных? При дублировании им потребуется _хотя бы_ два петабайта на один петабайт юзерских данных. А реально, возможно и больше. Это по любому будет не $117K при стоимости сырых дисков в $81K.
                                                                                                                      • 0
                                                                                                                        Я тоже задумался о денежной стороне, но подошел в своем комментарии с другой стороны. Как-то все у ребят не так гладко, как выглядит на первый взгляд.
                                                                                                                        • 0
                                                                                                                          Эмм, о каком дублировании идет речь? raid5/6 это издержки на лишний каждый третий/пятый/пятый и шестой диски.
                                                                                                                          • 0
                                                                                                                            Есть разные уровни отказоустойчивости. RAID защитит от выхода из строя одного-двух дисков внутри сервера. От выхода из строя сервера целиком, со всеми его дисками, он не защитит. А для таких объёмов хранения это штатная ситуация. Более того, хорошо бы застраховаться от аварии в масштабе датацентра (электричество сдохнет или кондишн) и иметь как минимум резервный. Это тоже ситуация, которую надо априори рассматривать как ожидаемую.

                                                                                                                            В стоимость того же амазона это всё заложено. А тут — очевидным образом, нет. Поэтому напрямую сравнивать их цены (хранения) не очень корректно.
                                                                                                                          • +1
                                                                                                                            Там есть замечательная табличка с raw disk их железом и прочим. Это все рассматривается как одна копия. Стоимость такого пода дешевле аналогичных брендовых систем в 8 раз. Я могу забабахать три таких сервера и делать три копии в чем проблема то?
                                                                                                                            • 0
                                                                                                                              Я сразу скажу, что задачу рассматриваю очень ограниченно, как пользователь. Задача — надёжно хранить данные. Я просто сравниваю предлагаемое решение с Амазоном, которым я _уже_ пользуюсь.

                                                                                                                              В таблице разрыв между ними — двадцатикратный. Как мы с Вами выяснили, 2-3-4-кратное резервирование всё-таки нужно. Разрыв сокращается до пяти-семикратного. Кроме этого, всю эту машинерию надо где-то держать (платить за место в ДЦ), чем-то питать (платить за электричество), надо постоянно менять выходящие из строя диски и сами сервера, надо (!) держать штат сотрудников, который всё это будет делать и мониторить, и платить им зарплату. Все эти затраты тоже растут с ростом числа серверов, практически линейно.

                                                                                                                              Вы уверены, что они не съедят пятикратный разрыв? Я вот не очень уверен…
                                                                                                                              • 0
                                                                                                                                Как мы с Вами выяснили, 2-3-4-кратное резервирование всё-таки нужно. Разрыв сокращается до пяти-семикратного.

                                                                                                                                Это конечно :)

                                                                                                                                Кроме этого, всю эту машинерию надо где-то держать (платить за место в ДЦ)

                                                                                                                                Они эти железяки ставят в своем ДЦ.

                                                                                                                                чем-то питать (платить за электричество), надо постоянно менять выходящие из строя диски и сами сервера, надо (!) держать штат сотрудников, который всё это будет делать и мониторить, и платить им зарплату. Все эти затраты тоже растут с ростом числа серверов, практически линейно.

                                                                                                                                Дело в том что при использовании Amazon им все равно прийдется держать штат сотрудников, единственная разница это экономия на ДЦ электричество и сами железки. И я не думаю что их будет сильно меньше, чем при использовании Amazon.

                                                                                                                                Вы уверены, что они не съедят пятикратный разрыв? Я вот не очень уверен…

                                                                                                                                Я предполагаю что не съедят :)
                                                                                                                                • 0
                                                                                                                                  Разрыв сокращается до пяти-семикратного. Кроме этого, всю эту машинерию надо где-то держать (платить за место в ДЦ), чем-то питать (платить за электричество), надо постоянно менять выходящие из строя диски и сами сервера, надо (!) держать штат сотрудников

                                                                                                                                  Не нужно считать в разах. Считайте в долларах. Если вам нужно 5 терабайт места, то, естественно, заморачиваться сборкой своих серверов вы не будете, а купите готовый сервер или услуги Amazon et al. Если вам нужно 2000 терабайт, то разница между использованием своих серверов и покупных (либо услуг Amazon) будет выражаться в миллионах долларов. Вы примерно представляете себе, сколько места в ДЦ, электричества, трафика и проч. требухи можно купить за 1 млн. долл.?
                                                                                                                                  О сотрудниках. Даже с учетом того, что Кремниевая долина — очень богатый район, насколько мне известно, 250 тыс. долл — это зарплата реально распальцованного админа за 3 года. И разве кто-то сказал, что такие серверы можно развертывать только в Кремниевой долине? В какой-нибудь Ивантеевке лужковской обл. (у моего работодателя там один из дэйтацентров) никто о зарплате 6 тыс. долл/мес и не мечтает, естественно.

                                                                                                                                  Все эти затраты тоже растут с ростом числа серверов, практически линейно

                                                                                                                                  И снова не согласен с вами. Вы админом, видимо, не работали и ими не руководили. Если у вас 5-10 серверов, то вам нужен 1 админ, который будет раскладывать пасьянс, скучать и изредка менять диски. Если 40-50 серверов, то _1_ админ, который будет работать. Если 100 серверов, то _1_ админ, который будет пахать и иногда жаловаться, что неплохо бы ему помощника. Никакой линейности. Естественно, я о идеальной ситуации. Настоящие админы, увы, болеют и ходят в отпуск, поэтому их как минимум нужно 2, а лучше — 2 админа и 1 помощник квалификацией пониже.
                                                                                                                                  • 0
                                                                                                                                    В даном случае речь идёт далеко не о ста серверах. И не об админе, а об обычном операторском обслуживании — выдвинуть, найти диск, заменить, задвинуть… Этим всем кто-то должен заниматься, и частота этих операций растёт линейно с ростом числа серверов.
                                                                                                                            • –4
                                                                                                                              Хорошо.

                                                                                                                              Подойдем к вопросу с чисто денежной стороны.
                                                                                                                              Сейчас ребята предлагают 2GB / 5$ в месяц.

                                                                                                                              Допустим, за первые 5 лет они планируют покрыть 1 сотую долю процента американских жителей. Это 30 тысяч человек. Соответственно, ребятам нужно хранилище в 60 петабайт.

                                                                                                                              Один такой сервер стоит примерно 7800$. Хранит 64ТБ. Т.е. ребятам понадобится примерно 940 таких кубиков. Получаем 7,332,000$ — общая стоимость железа.

                                                                                                                              С другой стороны, при заявленной цене услуги в 5$/месяц ребята будут получать ежемесячно 150,000$.

                                                                                                                              Итого — 7,332,000$ / 150,000$ — получаем примерно 5 лет окупаемости. В сумме уже 10 лет проекта. И это, конечно же, без учета накладных расходов на поддержку инфраструктуры, зарплату и еще миллион вопросов.

                                                                                                                              Как-то уж больно энергично ребята работают, как для такого (или примерно такого — я могу ошибаться) неутешительного бизнес-плана. Заоблачных прибылей здесь нет и, по-видимому, не будет.

                                                                                                                              Поправьте меня, если я не прав.
                                                                                                                              • +1
                                                                                                                                Ну, ниоткуда ведь не следует, что каждый юзер сразу же забьёт свои два гига под завязку.
                                                                                                                                • +9
                                                                                                                                  30 000 человек * 2ГБ на человека = 60 000 ГБ, это 60ТБ, одна такая 4U штучка, а не 940.
                                                                                                                                  • +9
                                                                                                                                    1) Ребята, это статья в блоге «Железо». Не в «Стартапах». Не в «Бизнесе». Она о том, как некая группа инженеров, админов, программистов, словом — айтишников, таких же, как мы с вами, спроектировала хранилище данных, на порядок более дешевое, чем все имеющиеся на рынке решения. Спроектировала настолько блестяще, что и улучшать-то особо уже некуда, по крайней мере, в плане удешевления, т. к. 70% в стоимости системы — это сами жесткие диски.
                                                                                                                                    Более того, они не просто спроектировали эту систему, они делятся своей идеей с вами. Бесплатно. Т. е. совсем бесплатно.

                                                                                                                                    2) Вы же обсуждаете не дизайн их железа, а их бизнес. «Да они ни фига не заработают» и т. п. «Да клиентская программа у них только под Винду и Мак». Я не хочу никого оскорбить, но мне это напоминает следующую ситуацию: «Познакомьтесь, это Штеффи Графф, она 1-я ракетка мира по большому тенису» — «Фи-и, но шортики-то у неё совсем не модные! И что это у неё за причёска!»

                                                                                                                                    Смешно, ей-богу :)

                                                                                                                                    • –2
                                                                                                                                      Поправочка.
                                                                                                                                      Они спроектировали не блестяще, а очень экономно. Не супер-экономно, а просто очень экономно.
                                                                                                                                      И экономия только в плане построения! Во сколько им выйдет обслуживании они даже не задумывались.
                                                                                                                                      И вообще похоже кроме мечтаний о покупки их большим братом они ни о чем не задумывались.
                                                                                                                                      • 0
                                                                                                                                        А чего все так в обсуживание вцепились? Вы что думаете что это будет умирать пачками?
                                                                                                                                    • +2
                                                                                                                                      Поправка: за 5 баксов они предлагают безлимитное файлохранилище ;-)
                                                                                                                                      • 0
                                                                                                                                        но честно сказать кривое хранилище. Мне например интересно забэкапить только папку фото, а их прога хочет все забэкапить… ррр… можно лишь исключения вносить, но диск ц из бэкапа не убрать. Вобщем для тупых и не продвинутых юзеров их прога. Потом что бы забрать файло обратно нужно отмечать что ты хочешь и скачаешь это в zip архиве по http
                                                                                                                                    • 0
                                                                                                                                      Кстати у Backblaze прикольный перевод на русский язык, вроде: «Хлопот бесплатно создать резервную копию за $5 в месяц неограниченно» :)
                                                                                                                                      • +1
                                                                                                                                        странно. в статье написано «неограниченное хранилище всего за $5 в месяц», в комментариях пишут «2GB за $5», на сайте написано «Hassle free back up for $5/Month Unlimited»

                                                                                                                                        кому верить?
                                                                                                                                        • +1
                                                                                                                                          Сайту.
                                                                                                                                          • 0
                                                                                                                                            у них разные расценки на русской и англ. версии сайта, да?
                                                                                                                                          • 0
                                                                                                                                            Я вам скажу как профессионал в этой области, много лет занимающийся как серверами, так и системами хранения. Это ппц, извините.

                                                                                                                                            Это не то что «не взлетит», оно даже по полосе ровно не поедет.

                                                                                                                                            Просто я очень хорошо знаю, что такое винты по 120$ и SATA контроллеры SiL в материнке за 300 баксов.
                                                                                                                                            Я бы такому не то что бэкапы не доверил, вообще ничего не доверил бы.
                                                                                                                                            • 0
                                                                                                                                              ну не могут же сразу два таких модуля накрыться?
                                                                                                                                              • 0
                                                                                                                                                Могут накрыться сразу все 8)

                                                                                                                                                Просто это, понимаете, выглядит примерно так:

                                                                                                                                                «А давайте сделаем… самолет!» У дедушки в сарае стоит старый пикап «Форд» — возьмем от него мотор и колеса, они еще очень ничего, не сдуваются. Фанеры купим, согнем — фузелаж будет и крылья. Тросики с мопеда — управление. Сколько там берут авиакомпании за перелет из Сан-Франциско в Лос-Анжелес? Да это же грабеж! Будем возить по три, нет, по два бакса! Народ попрет!
                                                                                                                                                • 0
                                                                                                                                                  конечно, я понимаю, террористы могут кинуть на датацентр бомбу, и никакие рейды не спасут.
                                                                                                                                                  на цену решения посмотрите!
                                                                                                                                                  • –1
                                                                                                                                                    Да какая цена решения, боже мой. Оно не заработает. Хоть ноль долларов поставь в цену. Надежность хранения равна нулю.
                                                                                                                                                    Эта байда будет рассыпаться каждые несколько часов.
                                                                                                                                                    Надежное «хоронилище» данных. Шреддер.
                                                                                                                                                    • 0
                                                                                                                                                      вполне себе на 5$/месяц тянет.

                                                                                                                                                      P.S. хотя я лично бы не стал строить систему на основе одно железки, минимум 3 (для raid 5/6) даже на начале не полностью заполненных. какое бы крутое и дорогое оборудование не было, сламаться может… сетевой проводок отскочил/порт-свич помер/бп помер/материнка/память/операционка. Цена определяет только вероятность сбоя, и нулевой она не станет никогда.
                                                                                                                                                      • –2
                                                                                                                                                        Я, обычно, работаю с данными, которые стоят дороже, чем 5 долларов в месяц ;)

                                                                                                                                                        Нулевой она не станет. А достаточно высокой для того, чтобы не произойти в допустимые сроки — запросто.

                                                                                                                                                        Просто эти ребята — дилетанты, класические, практически непуганные.
                                                                                                                                                        Вот я специалист в системах хранения. Если я начну что-нибудь умное вещать про кроссбраузерную верстку, или про скругление уголков на css, или в чем тут у нас больше всего специалистов на хабре ;) — я же первым буду выглядеть идиотом в глазах специалистов. А тут идиотом выглядят они. Говорю вам как специалист.
                                                                                                                                                        Не взлетит. :)

                                                                                                                                                        Или вы тоже думаете, что инженеры Боинга, когда проектируют самолеты, только и думают, как бы заграбастать побольше денежек у несчастных авиапассажиов?
                                                                                                                                                        А разработка хорошего дискового массива я думаю уже приблизилась к стоимости разработки небольшого самолета. Думаете просто так?

                                                                                                                                                        • +2
                                                                                                                                                          Давайте аргументировано, что не взлетит и почему. Я пока услышал только, что вы специалист, и что эти ребята построили нежизнеспособное решение. Да, мне видны их проблемы, но хотелось бы услышать вашу версию.
                                                                                                                                                          • +1
                                                                                                                                                            А когда вы с врачом разговариваете, вы тоже пруфлинки требуете на каждое его предложение? ;)

                                                                                                                                                            Механические вибрации, низкая надежность SATA в больших RAID, ужасная работа нескольких дешевых SATA-карточек в одной материнке на общей шине PCI, низкая ремонтопригодность (для того, чтобы подоткнуть отошедший от вибрации проводок придется останавливать и разбирать весь корпус), высокая вероятность отказа при использовании «бытовых» компонентов, усугубленная их большим, одновременно используемым количеством.

                                                                                                                                                            В свое время, в 2005 или 6, кажется, году, имел удовольствие работать с Яндексом в их датацентре, еще когда они на Вавилова сидели. Так там у админов была ежедневная задача — менять сбойные диски. Каждый день. Один-два диска из RAID-1 на серверах вываливались.
                                                                                                                                                            Диски там были не SATA, а SCSI, соответственно, примерно вдесятеро надежнее.
                                                                                                                                                            Общее их число, ориентировочно, судя по фото двух стоек в статье, было сравнимым с тогдашним датацентром Яндекса.
                                                                                                                                                            Соответственно у них отказывать диски станут по меньшей мере не реже (готов спорить что чаще). На время ребилда, который может занять на больших дисках и сутки, и двое, RAID-5 остается беззащитным полностью. RAID-6 перенесет отказ еще одного диска, и тогда станет беззащитным.
                                                                                                                                                            Отказ возможен не только из-за отказа диска, но и от сбоя по шине из-за кривого тайминга дешевых SiL-овские карточек, которые не предназначены для работы по нескольку на шине.

                                                                                                                                                            Вы скажите я могу долго продолжать, вы не сомневайтесь ;)