Пользователь
0,0
рейтинг
16 мая 2011 в 18:03

А не сделать ли нам домашнюю файлопомойку на 90 терабайт?



Собственно идея летает давно и начала свои корни с публикации компании backblaze как сделать дешевое петабайтное хранилище.

В мире есть как минимум один юзер, который сделал его сам, вот его блог, корпус он правда заказал готовый и внес кое какие улучшения в конструкцию(например убрал второй блок питания, и сделал интересную разводку на один).
В России такие хранилища делает промобит и у них даже есть промосайт для их битблейза.

Но мы не ищем простых путей, всем кому интересно как это сделать своими руками прошу подкат.


Нам понадобится 11 вещей(объединил для упрощения восприятия) для создания хранилища на 45 винчестеров:


1)Корпус, первый блин habrahabr.ru/blogs/DIY/119827
2)Материнская плата + процессор + память.
3)Блок питания на 1200-1500 ватт.
4)Sata multiplicator'ы — CFI-B53PM (это их оригинальное название) на базе чипа SiI3726, на хабре я их искал в вопросах(правда это не помогло). Нужно 10 штук, 9 мы вставим в наш корпус, а одну сломаем пока будет вставлять их в него(статистика из практики, поэтому когда надо обжать провод с двух концов я всегда беру 3 коннектора). Написал статью про их покупку.
5)sata контроллеры на базе SiI3132 с интерфейсом pci-e 5 штук.
6)sata проводки обыкновенные 11 штук.
7)Небольшой системный винт для линукса.
8)Мощные вентиляторы 6 штук, + анти-вибрационные крепления к ним.
9)Какие то антивибрационные хрени чтобы винты не болтались, на каждый винт на сетку + большую паралонку сверху, плюс нейлоновые болты.
10)Молексовские провода питания+прямые руки+разъемы для втыкания в блок питания + паяльник и термоусадочные трубки.
11)45 винтов по 2 терабайта со скоростью вращения шпинделя 5400 оборотов(их энергопотребление в 2 раза меньше чем у винтов в 7200 оборотов).

Сказать честно я очень далек от всех областей которые придется задействовать(гибка и резка металла, теория вибраций, паяльник и электричество), поэтому могут встречаться проблемы с терминологией, буду рад комментариям, вопросам, замечаниям.

В дальнейших статьях буду рассказывать как и по чем получать каждую вещь, сейчас нахожусь в самом начале пути.

UPD: К вопросу о цене, надеюсь сделать все без учета винтов в пределах 40-50 тысяч рублей(корпус + вся начинка), винты стоят сейчас около 2200 рублей за 2тб seagate green edition, умножайте на сколько вам надо.
UPD2: Кто хочет бесшумности втыкайте 600 гб винты ссд и тихие куллеры, других вариантов я тут не вижу.
UPD3: В целом подобную систему можно собрать и в деревянном корпусе.
UPD4: 2tb винты выбраны по причине того что в трехтерабайтных винтах стоимость мегабайта на 50 процентов дороже.
UPD5: Кому не жалко накиньте кармы 4 штуки для следующего поста.
UPD6: Для недовольных и не понимающих зачем это все, посмотрите название блога, сделай сам, все для этого.
UPD7: Написал статью как заказать сата мультипликаторы.
UPD8: Мы попали на башорг bash.org.ru/quote/411292
С хабра:
opium: А не сделать ли нам домашнюю файлопомойку на 90 терабайт?
Zerstoren: Вы решили какой-то торрент-трекер скачать? =)
opium: Да порнолаб надо бы скачать на всякий случай
Deeman: Причем, если смотреть только новые ролики и не повторяться, то этого добра хватит далеким потомкам вплоть до XXIII века.
Al1k: С таким-то запасом потомков может и не быть.
Puma @opium
карма
–7,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (365)

  • –7
    Лучше на SSD-шках :-)
    • +54
      По стоимости будет как ракета.
      • +11
        Этот зато гудит как ракета (:
        • +1
          неужели кто-то в здравом рассудке будет держать такое под столом в спальне?
          • +2
            Люди в здравом рассудке держат такое на балконе со стеклопакетом.
          • 0
            Мои 11Тб стоят в метре от кровати, но я позаботился об отсутствии шума.
            • 0
              Как? Если не секрет.
              • 0
                Все по принципу шумоизоляции автомобиля — слой вибро и несколько слоев шумоизоляции?!
              • +1
                Не знаю как это делал уважаемый Recluse, но я обычно делал это таким образом:
                1. Общие тихие вентиляторы. Порядка 12 dBa или что-то около того. У меня их три (два больших для дисков и один маленький для мамки-проца).
                2. Вентиляторы закреплены на резиновых «винтах» для уменьшения вибрации корпуса.
                3. 4 диска, которые закреплены на резиновых прокладках (хотя, на моих WD Green я пробовал без прокладок и сильно шумнее не стало. Но в идеале их оставил все равно).
                4. На процессоре стоит большой радиатор без вентиляторов (обдувается общим вентиляторам из #1).
                5. Внешний блок питания без вентилятора. Внешний потому что на тот момент особо не было выбора (из-за корпуса), но потом я даже доволен так как внешний блок питания не добавляет тепла внутри корпуса.

              • 0
                Большой хорошо проветриваемый огромными (230мм) низкооборотными кулерами корпус, виброразвязка винтов с корпусом. В полной тишине его слышно, безусловно, но в условиях центра города такого не бывает (:
              • 0
                Я тоже, поставил в дата-центр, пусть себе там шумит.

                Вопрос не в деньгах, вопрос в шумоизоляции.
          • 0
            Очень может быть. Все же зависит от размера квартиры.
          • –1
            чего в спальне, сразу под подушку!)))
      • 0
        всегда можно попросить скидку, и причем существенную. был бы язык
    • 0
      Через 2 года ссд станет более чем в 4 раза дешевле и можно будет вставить 2 тб ssd.
      • +4
        Откуда инфа?
        • +3
          Поищите аналитика рынка ссд на 2012 — 2013 год, по моему было на английском.
          • 0
            Два года прошло. 8)
            • 0
              :\
              ну, может быть, еще пару лет и тогда…
              • +1
                Привет из 2015. На днях буду брать себе бюджетный ssd от кингстона на 240Гб за 100 у.е =)
                • 0
                  Да печаль конечно, смерть заводов по производству дисков в тайланде и скат рынка пк и ноутов не радует.
                  Хотя террабайтники уже ссд есть.
                  • 0
                    Год прошел. Из-за курса ситуация стала ещё печальнее :(
      • +71
        Через 2 года ссд станет более чем в 4 раза дешевле

        По стоимости будет как четверть ракеты
      • 0
        Прошло полтора года — пока картина не изменилась :)
    • НЛО прилетело и опубликовало эту надпись здесь
      • 0
        Смотря как использовать, если как домашнюю помойку то долго.
        • НЛО прилетело и опубликовало эту надпись здесь
        • 0
          Ни разу не видел домашнюю помойку на 90 терабайт :(
          • +2
            через пару лет это будет стандартный обьем SSD и половину от него будет занимать операционная система
            • +2
              Я смотрю тут собрались оптимисты, но это слешком заоблачная цифра даже для HDD, а для SSD еще пару лет добавлять надо. ВОбщем вы ошиблись лет на 5.
              • +1
                90тб и 600гб отделяют примерно ~8 удвоений, по закону Мура это 8*18месяцев=12лет, а то и 15-20 лет (учитывая замедление темпов роста).
            • –2
              640 килобайт хватит всем…
      • +1
        Боюсь что на механических дисках тендеция не особо лучше.
        Хмм… Пойду бекап сделаю что ли…
        • НЛО прилетело и опубликовало эту надпись здесь
          • +1
            Это не отменяет, к сожалению, вероятности смерти нового винта. :(
            Сам пробежался по этим граблям с WD Green, остальные винты работали и работают, а этот через 6 месяцев отправил в тартарары коллекцию музыки и фильмов. Правда, бэкапы спасли все действительно ценное. :)
          • 0
            за 3 месяца у меня умерло 2 винта (2,5") на буке.

            — Seagate 250 Gb (2,5 года гарантии из 3) сдал в магазин
            — Hitachi 500 Gb (2 месяца гарантии из 12) сдал в магазин

            Оба винта 7200 rpm
  • +36
    А не сделать ли нам домашнюю файлопомойку на 90 терабайт?

    Зачем?
    • +4
      Just for Fun. Так же как и весь современный качественный софт.
      • +2
        Самое интересное будет через лет 5, когда появятся 100Тб винты в продаже)))
        • +18
          Самое интересное будет, если через 5 лет они не появятся :)
        • 0
          Может уже флешки будут.
          • +14
            Уже 10 лет как есть.
            • +3
              100 терабайтные флешки?
        • +1
          Самое интересное будет, если при таких объемах скорости не возрастут хотя бы в 10 раз. Что сомнительно.
          • +1
            Чем больше устройств верхнего уровня (vdev) в пуле ZFS, тем быстрее работает сам пул, независимо от организации самих устройств верхнего уровня — ZFS анализирует их возможности и распределяет нагрузку соответствующим образом на все устройства. Ни одно не останется без работы. ;)
            • 0
              Выше говорят не про массив, а про одиночное устройство на 100Тб, и перспективы пока печальны (:
      • +11
        а) 150 тыс. рублей прямых затрат (без учета труда)
        б) постоянный нехилый шум
        в) перспектива не раз практиковаться в восстановлении рейда и спринтах в гарантийку (надежность 50 дисков в 50 раз ниже надежности одного)
        г) через год все это добро сбрасывает в цене 30% точно
        д) через два такую же систему можно собрать уже на 5-6 дисках в обычном большом корпутсе без разветвителей и на стандартной материнке

        И все это Just for Fun даже без какой-то оформленной цели?
        • 0
          Зато похвастаться можно.
          • +3
            Проще сделать enlarge your… помоему :)
            • 0
              И перед кем хвастаться?
              • +19
                Перед девчонками. Приводишь домой и, так, небрежно: «А знаешь какого у меня размера ФАЙЛОВЫЙ СТОРАДЖ!? Девяносто терабайт!»
                Она такая: «О-о!» и все, делай с ней что хочешь.
                В общем, «Бивис, нам дадут!». ;)
                • +12
                  ОН: Послушай, я тут новый компактик купил, Cinemania называется, такая интересная штука… Приходи поглядеть! («Она придет, а я ей Windows покажу… Она скажет — ах, какой у тебя виндовс, а я ей — это еще что, давай вот потрахаемся...»)
                  ОНА: ОК.
                  — /в тот же вечер/ — ОН: Гляди, какой у меня Windows!
                  ОНА:…
                  ОН: Хм… («Ну, тогда ей свежий WAV заведу… Она скажет — ах, какой у тебя саундовский блястер, а я ей — это все фигня, давай потрахаемся!» (заводит))
                  ОНА:…
                  ОН: Хм… («Ну, тогда я ей новый ноутбук покажу, весь белой такой сборки… Она скажет — ах, какой у тебя ноутбук весь белый, а я ей — это еще фигня, давай лучше потрахаемся» (показывает))
                  ОНА (не выдержав): слушай, а может, ну это все — пойдем, потрахаемся?
                  ОН: какой нафиг потрахаемся, ты посмотри, какой у меня ноутбук белый!!!
                • 0
                  Я имел ввиду, перед кем «enlarge» хвастаться? :)
                  • +3
                    Очевидно, если стораджем перед девченками, то enlarg'ем — перед пацанами) «А знаете, какого у меня размера ...??! 35см!!! Девки в отпаде!»
                    Пацаны такие: «О-о!» и всё, пива проставят.
                    В общем,…

                    … что за бред я несу?
            • +3
              Так это и есть enlarge your filestorage.
        • 0
          За 150 тыс рублей можно собрать сервер SuperMicro с такими параметрами. И с железным рейдом и прочими плюшками. И выглядит по-человечески :)
          • 0
            Калькуляцию в студию 8)
            • 0
              Вот такое можно взять за 5.5к баксов

              >> Supermicro 846E1-R1200B chassis
              >> Supermicro X8DTH-iF Mainboard
              >> 2 x Intel Xeon E5620
              >> 2 x Supermicro SNK-P0038P heatsink
              >> 8 x Kingston 4Gb DDR3 1333Mhz ECC REG
              >> 2 x Seagate 250GB SATA II AS
              >> 2 x Supermicro HDD bracket
              >> 24 x Hitachi 2TB HDS722020ALA330 SATA II
              >> 1 x Adaptec 5445 raidcontroller
              >> 1 x Adaptec BBU
              >> Onboard IPMI/KVM with Dedicated LAN
              >> Redundant power supply
              • 0
                Винтов почти в два раза меньше, сама суть что не предложи все равно будет дороже и покупать просто домой не интересно.
                Такой корпус с начальными затратами в 40к и дальше покупай винты сколько хочешь.
      • +1
        Для программистов это может так и есть, но вот для электронщиков весь современный качественный софт идёт за деньги. То, что есть опенсорсного качественным назвать очень сложно.
    • +1
      Аналогично, не понимаю смысл вгробить 50-100к в большую файло-помойку. Которую придётся абгрейдить, следить, а в бедующем выкинуть. Даже взять 47тб как в пруфлинке (ниже) накачивать на него инфу как минимум полгода — год. За этот год сделают более лучшие рипы видео чем есть на помойке => перекачивать => геморрой. Лучше вложить эти же деньги в бизнес, геморрой, но за то хоть отдача будет.

      Но больше всего меня интересует, как можно найти на этом громадном пространстве нужный файлик. Или фильм. Я на 500гб и то, иногда теряюсь.
      • +1
        Отвечаю как анимешник:
        Я все качаю и раскладываю по папкам. Более того, у нас есть замечательный сайт anidb.net, у которого есть клиент на джаве, который интексирует всю коллекцию и добавляет на сайт. Есть всякие обычные программы-базы, которые занимаются подобным, и не только для аниме. Есть всякие nepumuk, которые могут назначать файлам тэги.
        2.5тб коллекция аниме.
        • 0
          Ну если только ради коллекции, то да. Разумно. Но как по мне бессмысленно хранить все это постоянно. Но опять же. Не имея софта, на винте тупо заблудиться можно)
          • +4
            гуглпоиск или яндекспоиск, оба выпустили десктопные варианты.
          • 0
            Если складывать все в одну кучу — да, можно и заблудиться. А можно разложить по разным папкам, сортируя по каким-то признакам, например: музыку по исполнителям и альбомам, фильмы по жанрам и годам, софт по назначению… В своей помойке на пару терабайт я свободно ориентируюсь. Если уж нужно найти, например, песню, а я не помню с какого она альбома — софт понадобится. Foobar позволяет иметь библиотеку с поиском по горячим клавишам.
            • 0
              Не проще ли ее в таком случае найти в инете?
              • 0
                Разницы во времени между «набрать в поисковике» и «набрать в foobar» не вижу.
                Зато я точно знаю, что у меня на винте лежит не пережатый mp3 и, наконец, качать её не нужно.
            • 0
              Полгода-год назад здесь пролетала тема про идею создания тегируемой ФС, как раз в струю обсуждения.
          • 0
            ну а как-же locate filename?
          • 0
            locate32 под винду, чуть ниже подсказали про Everything. Их будет достаточно для поиска.
        • +1
          На кой оно в таких объемах нужно?
          Даже в хорошем качестве(а огромная масса аниме идет в самом обычном качестве) это больше полутора тысяч часов, месяцы непрерывного просмотра, без отвлечений на еду и туалет.
          Просто «чтобы было»?
          • 0
            Когда смотришь где то 99,9999% свободного времени, то начинаешь говорить «моя прелесть» нкаждому скачаному тайтлу :)
          • 0
            А вы думаете, анимешники живут иначе? У меня около 40-50 суток просмотра аниме, у знакомого из новосиба 7тб коллекция, и он где-то половину смотрел, у него, наверное, суток 70. У парня с украины с анимехаба 13тб.
            И вообще, у аниме очень высокое качество стало, когда на блюрей Япония перешла. Например, такие группы как Thora, Yousei не жалеют места и кодируют из blu-ray чуть ли не в lossless. Так что, Card Captor Sakura, состоящая из 70 серий, весит 204гб в релизе от Yousei (http://rutracker.org/forum/viewtopic.php?t=2602197). Та же Card Captor Sakura, но от другого релизера (http://rutracker.org/forum/viewtopic.php?t=2497469) весит 53гб. Это, конечно, слишком наглядный пример, таких больших релизов единицы, но они есть!
            • –2
              маньяки и наркоманы, конченные люди.
              • +3
                Зря вы так. Я, хоть и не интересуюсь аниме, но вполне нормально отношусь к его поклонникам. Что в этом плохого? Каждый выбирает сам.
                В конце концов, чем бы дитя не тешилось, лишь бы не руками.
                • +1
                  Тут правильно ниже сказали как это называется — ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D0%BD%D0%B0%D0%BA%D0%BE%D0%BF%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D1%81%D1%82%D0%B2%D0%BE, это болезнь, психическое расстройство, это ненормально, и нужно лечить.
                  Многие ниже признаются, что болели этой болезнью, и её удалось пережить.
                  В отличии от общественно полезных действий, эта болезнь несёт только траты ради мнимого «психического удовлетворения».
                  Кстати наши олигархи тоже болеют этой болезнью, но по отношению к деньгам, что более положительно воспринимается обществом и окружающими.
                  • +1
                    Я думаю если вы побываете у меня в гостях вы будете удивлены как у меня просторно и мало вещей 8).
            • 0
              >У меня около 40-50 суток просмотра аниме

              Т.е. вы даже не всю собственную подборку видели?
              Вот поэтому я и спрашиваю — нахрена столько места нужно под неё, если она даже целиком не смотрится. И, более того, мне почему-то кажется, что многие вещи там просмотрятся один раз за всю вашу жизнь. Если вообще просмотрятся.
              • 0
                Ну, Ippatsu Kikimusume я смотрел раз эдак 10, например. Конечно, ширпотреб второй раз смотреть как-то неинтересно, но некоторые вещи пересматриваю.
                • +2
                  А я вот наоборот за последнее время — практически перестал хранить фильмы. И диски перестал записывать, и те, что были записаны, раздал или повыкидывал. И даже денег на новые винты не жалко, ибо нынешняя стоимость дискового пространства — слезы.
                  Просто ни к чему мне этот мертвый груз.
            • 0
              Никогда не понимал в чем удовольствие смотреть такие объемы с субтитрами.
      • +1
        Everything search engine — мгновенный поиск по винчестеру (индексация так же мгновенна), за пару лет забыл что такое проводник. Жаль в линукс нет ничего подобного.
        • +3
          locate?
          • 0
            А GUI к нему есть?
            Да еще и такой чтоб, если я какой файлик создал/переименовал он отобразил это все, то есть Real-time updating?

            Хотя я и про консольный вариант не знал, спасибо. Пытался, неудачно, пользоваться find.
            • 0
              На счет GUI не знаю, мне проще в консоли. А для реалтаймового обновления можно прикрутить inotify на команду updatedb -U <каталог>.
        • 0
          nepomuk
        • 0
          А я пользуюсь locate под винду, ищет быстро, бесплатная, локализованная. Есть планировщик обновления базы.
      • 0
        он из этой штуки сделает облычный хостинг! :-))
        • +2
          упс, «облачный»
          но так даже прикольно вышло
          • 0
            «Облако» оно не потянет — совсем не те процессорные мощности.
            • 0
              да понимаю

              просто сейчас жеж модно всё называть «облаком», вот я и подытожил :)
            • 0
              Ну, как хранилище для облака — вполне. NFS поднять.
              • 0
                Чтобы в облаке хорошо оно себя показало прийдется написать какую нибудь программную прослойку.
                • 0
                  XenServer умеет NFS шары использовать. Опенсорцные панельки в стиле Amazon EC2 тоже есть. Другое дело, что для облака нужны неслабые процессорные мощности… Хотя сейчас и блейд собрать можно.
    • +9
      Порнолаб же подняли опять. Фрилич каждую последнюю субботу месяца!

      ЗЫ. Больше ни на что не пригодное «хоронилище данных»
  • +9
    Вы решили какой-то торрент-трекер скачать? =)

    А теперь юмор проч.
    Я прочитал что вы расскажете о ценах, но во в какую это сумму влилось в общем?
    (можно по деталькам не раскладывать, просто назвать общую стоимость)
    • 0
      Добавил апдейт о ценах, позже распишу все по деталям.
    • +35
      Да порнолаб надо бы скачать на всякий случай.
      • 0
        Причем, если смотреть только новые ролики и не повторяться, то этого добра хватит далеким потомкам вплоть до XXIII века.
        • +42
          С таким-то запасом потомков может и не быть…
      • +2
        А то достали его выключать? :))
      • +5
        За такие деньги можно на месяц-два порнолаб дома устроить (:
      • –4
        не пойму, зачем нужен порнолаб, когда есть вконтактик?
        а по сабжу, чисто для общего развития полезно, однако держать дома такую штуку, если учесть стоимость самой конструкции и счёт за электричество, могут только имхо очень состоятельные люди.
  • 0
    Да, а петабайт же это 1000 терабайт, а не 100?
    • 0
      Ну 10 раз по 100 это уже петтабайт, можете пройти по ссылке соответствующей и прочитать статью бекблейза.
  • +2
    А почему не по 3 ТБ?
    • +2
      Они стоят на 50 процентов дороже в расчете на мегабайтов за рубль.
  • 0
    А теперь тоже самое, но бесшумное, пожалуйста
    • 0
      Тут только с ссд если собирать можно бесшумное сделать.
      • 0
        А разве WD Caviar Green заметно шумят? У меня Black, при низком AAM шум его работы можно услышать, только припав к нему ухом. Конечно, 45 жёстких дисков будут шуметь громче одного. Но шум от шести мощных вентиляторов, наверное, их напрочь заглушит.
        • 0
          Шум там делают промышленные вентиляторы, а не винты. Ссд намного меньше греются и можно поставить тихие вентили.
          • 0
            Тогда ещё один вариант сделать систему тихой — использовать водяное охлаждение. Это не сравнить по цене с покупкой SSD.
            • 0
              Подскажите как туда прикрутить водянку?
              Если с процессором все понятно, то как водянку подводить к винтам я пока не понимаю, есть какие то самодельные штуки?
              • 0
                С водяным охлаждением, похоже, действительно туго. Вообще, судя по тестам, у жёстких дисков этой серии температура при нагрузке около 35 градусов. Разве SSD намного холоднее?
                • 0
                  У них такая температура скорее в состоянии неактивновсти(при вращающемся шпинделе).
                  В активном состоянии винты греются мама не горюй, хрен дотронешься ладошкой.
              • 0
                Самодельные штуки всегда есть.
                Когда то проводя эксперименты по водяному охлаждению всего до чего могут дотянуться руки делал и для винтов блоки.

                Есть две сложности.
                1. При снятии тепла с крышки бумага мешает теплообмену.
                2. При изготовлении блока для контроллера крайне напрягает разная высота охлаждаемых элементов. Тогда обходился т.н. терможвачкой.
              • 0
                Видел видео, в котором дно (вместе с контроллером) замазывается термопастой и прикладывается теплообменник (по размерам ширина-высота как сам жесткий диск).
                • 0
                  Тепло без особого геморроя можно пробовать снимать с боковин НЖМД (с тех, в которые вкручиваются крепежные винты). Возможно не столь эффективно, но реализация в разы проще. Как вариант можно рассмотреть теплоотвод с арматуры, на которую крепятся диски.
    • 0
      Делаем звукоизоляционный корпус или радиаторы на каждый винт и более слабые вентиляторы
  • +1
    А можно все это на планках оперативной памяти ддр 3? Я думаю там все грузится будет за секунды.
    • 0
      Если операционку поставить на ссд она будет грузиться секунды, особенном fedora 15 с её systemd, но инициализация контроллеров идет довольно долго(около 2-4 минут), так что выигрыша особого не получишь.
    • 0
      Были подобные эксперименты у некоторых производителей, правда еще на DDR1. Но тут есть несколько «но»:
      — подобная штука интересна там, где нужны большие IOPS; для домашнего хранилища больше интересен большой объем, чем скорость произвольного доступа к данным
      — стоимость подобного «винчестера» + забить его модулями памяти весьма плотно приближается (а то и заметно превосходит) к стоимости SSD аналогичного объема (а емкие планки ОП стоят весьма приличных денег); при этом у SSD есть неоспоримое преимущество — энергонезависимость (видел варианты «винчестеров на ОП» с аккумулятором и возможностью установить резервную CF-карту, куда скидывается содержимое оперативки в случае отключения питания, но цены на быстродействующие CF-карты большого объема ну совсем негуманные, не говоря уже о том, что время переливания с ОЗУ на флешку довольно таки не маленькое; так же как и обратное восстановление).
      • 0
        Много иопсов сейчас дают и ссд, так что заморачиваться с ОП нет смысла особого.
        • 0
          Собссно об этом и речь.
          Когда SSD еще не было или они стоили космически данный эксперимент был в некоторых случаях оправдан. Сейчас даже самый бюджетный SSD дает достаточную производительность за более разумные деньги, чем HDD на RAM (еще и по объему SSD в таком сравнении выигрывает).
  • 0
    40-50 тыр — а почему так много?
    что там так дорого стоит?
    • 0
      Мультипликаторы по большей части
      потом мать проц
      • 0
        Пару месяцев заказывал как раз мультипликатор 1 eSATA -> 5 SATA.
        Обошлось в 2.5к.
        Действительно так примерно и получается, 20к на контроллеры (без запаса + 5 коннкеторов на материнке) + 15к на платформу.
        • 0
          С завода в китае будет дешевле процентов на 40.
          • 0
            Есть знакомые на заводе в Китае?
  • +2
    Забэкапить рутрекер хотите?
    • +3
      На рутрекер мне таких штук 100 понадобится.
    • +2
      Размер раздач у рутрекера более полутора петабайт.
      • 0
        Всего штук 15 тогда надо, не так уж и много.
        • +3
          Гики объединяйтесь! 15 человек то всего нужно!)
          • 0
            15 гиков не заменяют Рутрекер.
            • 0
              Для самих себя — ещё как заменяют, а для остальных будет профит в виде мегасидов.
              • +3
                Если хотите помочь Рутрекеру — вступайте в группу «Хранители» даже с одним терабайтом и скачивайте редкие релизы. Профит будет.
                • –2
                  Простите, но вы занудны…
      • 0
        Если отобрать двойные раздачи останется меньше.
  • –3
    Всегда хотел такую штуку! А еще хотел учень умный комп, чтоб компилировать быстрее. Процессоров эдак на 32.
    • +2
      процессоров вряд ли, а вот реальных ядер, из того что есть на рынке, легко — opteron 6xxx.
      • 0
        В таких делах все всегда упирается в деньги, для всего остального есть MasterCard Google.
    • +2
      Закажите какой нить инстанс у амазона с большим количеством процов для быстрой компиляции, недавно была статья как какая то компания просчитывала то ли матмодель, то ли вирус челоевеческий за небольшие деньги на зверских мощностях.
    • 0
      ark.intel.com/Product.aspx?id=48768 — пожалуйста. 6 ядер. Средняя цена — 16000 руб.
  • +29
    Я конечно не знаю зачем вам это необходимо было, но…
    Начну в стилистике, как старики рассказывают — Есть у меня один товарищ, так вот захотел он фильмы накачать в хорошем качестве на то время DVDrip, качал он их качал, но в один прекрасный момент не стали они у него помещаться и начал он заниматься чем-то похожим. Стал покупать диски за бешеные деньги и подключать их. Прошло полгода, а он все покупал и покупал их, качал и качал, потом купил плазму фуллхд, и понял, что фильмы надо перекачивать, чтобы смотреть их в норм качестве. Ну и само собой размер новых рипов был в 10 раз больше чем старых, соответственно объема опять не хватало, и стал он продавать кучу старых дисков чтобы купить поновее, продавал он их за бесценок, т.к. не нужны они стали никому. Стал покупать диски побольше, в районе тб, но стоили они по тем временам дико, так вот к чему я это все веду, во-первых времени он угробил огромное кол-во на подгонку всего этого хозяйства, чтобы работало все более менее стабильно, без угрозы сдохнуть от случайного чиха. Во-вторых потратил реально очень много денег, на непонятно что. В третьих сейчас всю его «мега хрень» можно заменить 2-3-мя дисками и по стоимости это будет в разы дешевле, ну и работать побыстрее будет. Ну и последнее, уверен, что через год-полтора, можно будет купить один диск с объемом как все это хозяйство.

    Глядя на все это пришел к выводу, что данные конструкции имеют место только в редких и достаточно специфичных ситуациях. Во всех остальных случаях — это выброшенное время и деньги. Особенно, если данная конструкция не направлена на извлечение прибыли.

    Работа ради работы.
    Но определенно заслуживающая уважения.
    • 0
      Вы не поверите, у меня было тысячи сиди и двд дисков(их я все дачно раздал/выкинул даже не сливая информацию), потом были винты на 320, 750.
      Сейчас дома простой комп со встроенной видюхой и винтов ssd на 40 гигабайт, думаю подзаработать на плазму дюймом 60 и хорошую акустику 5.1 и наслаждаться хдтв.
      Под него такие хранилища я думаю в основном и ориентированы.
      • +3
        На мой взгляд ситуация складывается так, что скоро скачать информацию (фильмы, музыку и т.д.) из сети будет по времени не сильно дольше чем найти нужную папку на компьютере. Возникает вопрос в целесообразности таких хранилищ, за приличную сумму, стоит ли оно того?
        • 0
          скачать 10-15 гиговый файлик пока дольше 30 секунд :)
          И думаю так еще будет как минимум лет 10, по крайне мере и нас в России.
          • +6
            Можно начинать смотреть не дожидаясь докачки.
            • +1
              И часто вы так смотрите хд?
              • 0
                Всегда
                • 0
                  То есть вы качаете 40гб блюрей диск и он у вас воспроизводится не докачавшись?
                  Каким проигрывателем?
                  • 0
                    VLC
                    • 0
                      Специально провел для вас эксперимент, во первых влц не умеет нативно проигрывать блюрейдиски, то есть меню нету.
                      Во вторых торрент не дает возможности автоматом говорить чтобы качал нужный первый кусок.
                      В третьих при не догрузившихся звуковых дорожках и сабах непонятно что делать.
                      В четвертых если качаешь исо то он пока не загрузится вообще не открывается у меня.
                      Как вы так умудряетесь смотреть хдтв?
                      • 0
                        Просто я торентами не пользуюсь
                        • 0
                          А где вы качаете хд не в торрентах?
                          • 0
                            На ex.ua
                            • 0
                              Все равно не понимаю как оттуда лить блюрейдиски, так чтобы смотреть пока льешь.
                              • 0
                                Нажимаю «скачать». Просто этот сайт только в украине работает
                                • 0
                                  В блюрее скажем тыща файлов, вы в итоге как их скачиваете? по одному, в исо, в архиве.
                                  • 0
                                    Там обычно лежит blurayrip.mkv, его и скачиваю
                                    • 0
                                      Рипы ни о чем.
                                      • 0
                                        Ну мне иногда неплохие фильмы попадаются
          • 0
            Может быть я удивлю, на самом деле за границей не все так радужно. Особенно в плане халявы.
            Тут знакомый человек недавно отписывался — живет в Канаде. 10 Мбит даунлоада, 512КБит аплоад, торренты больше 100 кб не подымаются — провайдер шейпит. И все это за $100/мес.
            Кроме того, там и диалап вполне себе не редок.
            Так что емкое домашнее хранилище, куда можно накидать скачанной инфы, вполне себе актуально даже за границей.
            А построение емкого хранилища на базе бюджетных винтов может быть вполне интересно. Единственно что, без собирания всего этого в какой-нить отказоустойчивый рейд смысла особого нету — когда вылетает за раз 1,5Тб инфы — это «потеря потерь». Те же Блэкблейзы все свои винты в блоке собирают в рэйд-группы. И не просто так — у бытовых винтов отказоустойчивость на порядок меньше, чем у серверных вариантов (если «бытовой», к примеру, дает уровень шибок один байт на терабайт, то серверные — байт на 10 терабайт, где-то так, точно щас не помню). Причем тут даже дело не в уровне ошибок — даже современный, но «бытовой» винт не рассчитан на работу 24/7 (хотя и работают у многих, круглосуточно раздавая торренты, как это сказывается на их общем здоровье вопрос очень открытый).
            • 0
              Любому винту намного лучше когда он работает 24 на 7, статистика винтов на данный момент показала смерть винтов, что серверных, что домашних примерно одинакова.
              Смерть винта это естественный процесс когда их у тебя много, когда у тебя 100 серверов напичканы по 48 винтов, то можно смело сказать что один винт в день умирает стабильно(и это в лучшем случае). На винты идет гарантия и меняются они всегда на новые без проблем.

              • 0
                Ну, практически любой электронике лучше когда она работает в одном стабильном и устойчивом режиме. Хотя это отдельная и довольно холиварная тема. Но в целом таки да, стартовые токи часто заметно выше обычного стабильного режима. Но при наличии нормально спроектированной системы защиты от подобного как бы не особо критично, если только включение/отключение не делается раз в 5 минут.

                К сожалению статистики полного «умирания» по серверным и десктопным версиям винчестеров не имею. Хотя даже по официальным спецификациям производителя среднее время наработки на отказ таки примерно одинаково что в десктоп, что в энтерпрайз сегменте (отличия в доли процента).
                Энтерпрайз, правда, по идее должен тестироваться получше и в этот сегмент отбираться более надежные по основным показателям устройства. Но тут все зависит от добросовестности и надежности самого производителя.
                • 0
                  Мой опыт подсказывает что выключение и включение питания для винчестеров самая критичная операция.
                • 0
                  Нету никакого холивара. 24/7 с хорошим блоком питания и с нормальной температурой – это лучшие условия для хдд. Старт для любой компьютерной детали большой стресс и укорачивает её жизнь.
              • 0
                Я знаю что для Сигейтов NS > AS :)
        • +1
          Это не про хдтв.
          Обычное видео и сейчас я качаю меньше чем за 5 минут с инета.
        • +2
          Не согласен… Какую-то попсу вроди фильма форсаж, музыка бритни спирз, найти можно без проблем, да. Но есть также много другой инфы которой в инете 0. Остались только торренты из середины 2000-х годов, которые теперь не качаются…

          У меня больше 3000 музыкальных клипов, и я знаю как оно, чтобы ждать скачивания файла по пол года. Причем я качаю далеко не все подряд.
        • 0
          Цимес в том, что качать вы это будете как раз с таких вот фанатиков, строящих дома многотерабайтные овощехранилища.
    • +7
      Он фильмы копил что ли? Зачем?
    • 0
      я лет 5 занимаюсь подобным)
      однако существенных затрат не понёс, да и диски не особо скакнули за 5 лет.
      Один 500Гб винт до сих пор работает. Рядом 2 на 750, 2 на 1 Тб и один на 2 Тб.
      Пока хватает, ибо храню только то что понравилось, всякую фигню стираю, но ~70% занято.
      • +1
        Как, однако, много вы любите
        • 0
          1 сезон сериала — от 20 до 100 гигов.
          Так что не так уж и много :)
          • 0
            Я почему то не думал что кто то хранит 10 сезонов сериалов в хд. Если еще и аниме…
            • 0
              *почему-то.
              Ну и запятые там
            • 0
              Ну хз.
              Вот, например, недавно пересматривал CSI, там сейчас идёт одиннадцатый сезон.
              Правда это исключение, чаще всего умещается в 3-4 сезона.
              Немного непонятно что в этом странного, если есть возможность экономить время за не слишком большие деньги, почему бы этим не пользоваться.
              Еще, к примеру, увлекаюсь Формулой-1, так прошлые сезоны скачать очень трудно, не из-за плохого канала, а из-за того что сидеры появляются раз в неделю.
    • +3
      А он фильмы-то смотрел или только качал? По мне, так я может выберу фильмов пять чтобы посмотреть их ещё раз, да и то с большим трудом… :)
    • +2
      Фильмы надо смотреть и удалять сразу же. Глупо все это.
      • 0
        Ну не сразу же, а как только коэффициент будет 1.0 или больше :)
  • +2
    Обязательно нужно делать резерв.

    • +9
      Напишу статью собираем вторую файлопомойку на 90 ТБ для резерва.
  • +1
    А блок питания выдерживает?
    • +1
      Да выдерживает, но там надо сделать хитрую разводку, 12 и 5 вольт разделить по разным контактам, в статье про блоки питания я подробно напишу об этом и приведу схему разводки блока питания.
  • +1
    живу на 250гигах, фильмы либо смотрю онлайн, либо скачиваю и удаляю. хранить просмотренные фильмы не вижу смысла. когда будет плазма задумаюсь о приобретении более вместительного винчестрера, а сейчас не вижу смысла.
    • 0
      Те кто давно не апдейтили винчестеры часто не знают их текущей цены. Так вот, терабайт нынче стоит 1,5к.
      • 0
        рядом стоит сервер с 4Тб на борту. На компе 750Гб… Если не считать музыкального софта на 500Гб, то 250Гб мне хватает за глаза) Сервер почти не используется. Хотя раньше тоже горел желанием сделать себе сервер. Фиг знает почему так
  • 0
    Не так уж и давно пробегала в постах аналогичная файлопомойка, обустроенная на балконе, в самодельном деревянном корпусе.
    • 0
      Дайте пруф если можете, добавлю в пост.
  • 0
    Я знаю ещё одного такого человека habreffect.ru/eb3/07578ede6 помнится год назад было 47, подрос :)
    • 0
      Поделюсь секретом, как это легко сделать на ntfs (думаю, можно и на ext2/3/4, не проверял).
      Создаете папку, бросаете в нее пару файлов любого размера. Делаете внутри нее еще одну папку, в в ней — ntfs-ссылку на на верхнюю. При подсчете размера папки несколько раз учитывается размер внутренних файлов (глубину итерации сейчас не вспомню уже). Делалось это в свое время ради шутки, чтобы показать 128 Гб флешку друзьям :)
      • 0
        Поделюсь секретом у этого человека реально такая шара :)
      • 0
        Люди у которых такая шара обычно мелочами не занимаются.
  • 0
    А видео есть? Послушать эту шайтан-конструкцию.
    • 0
      Будет позже.
  • 0
    Итого общая стоимость этого чуда около 150к? Эх :)
    • 0
      Написал же про цену в апдейте, думаю 40 тысяч на корпус в минималке потратить, а винты 2200 рублей штука, умножайте на количество, которое вам нужно.
      • 0
        Не спорю, написали. 40к в минимуме на корпус и внутренности, 2200 * 45 = 99к. Ну вы поняли. Такого числа лишних денег у меня нет, да и все, что мне нужно — мои ~5 Тб у меня есть :)
      • –2
        а на твердотельных слабо?
        • +2
          Проспонсируете, соберу лично для вас.
  • +3
    Такие идеи, обычно кажущиеся простым людям чем-то запредельным или (ненорм...) непривычным и двигают прогресс вперед ;-)
    • +3
      Не стоит путать качество и количество :-)
  • +2
    Я вот после общения с семейством ленточных библиотек Ultrium, призадумался, вот такую бы штуку реально круто домой заиметь. Считай надежное, полностью автоматизированное хранилище. Если еще Expansion побольше взять, так вообще круто. Ленты стоят практически копейки. А там уже хоть иерархическое хранилище устраивай, хоть бэкапы ежедневные, хоть чего. И главное объем можно догнать до реально больших значений без всяких извращений вроде SATA мультипликаторов.
    • 0
      Сколько стоят ленты?
      Скорость записи и чтения?
      Доступность в любой момент любого файла?
      • 0
        Ну LTO3 (400 ГБ минимум, 800 ГБ максимум — там сжатие используется) например стоит рублей 900. LTO5 (1.5 ТБ, 3 ТБ) — тысячи 3.
        Скорость записи/чтения точно не скажу, я наблюдал где-то до 100 МБ/с (LTO3), но думаю зависит от типа носителя (LTO1-5) и самой библиотеки.
        Доступность в любой момент осуществима если все ленты в библиотеке, особенно в автоматизированной. Конечно там только sequental read/write, так что до момента монтирования ленты в привод придется подождать до минуты.

        Но тут крутость в чем — это надежное долгосрочное хранилище. Если организовать иерархическое хранилище, то процесс будет выглядеть следующим образом: на винте у вас виртуально находятся все файлы. Однако для освобождения места часть их фактически смигрирована на ленту. Если вам вдруг нужно прочитать/записать какой-то файл, то агент хранилища сам (т.е. прозрачно для пользователя) смонтирует и вытащит с ленты нужные данные. Таким образом, на винте лежат только часто используемые файлы, но виртуально доступны абсолютно все.
        • –1
          В каком месте лента на 1.5тб за 3тысячи дешевле HDD 2тб за 2.2 тысячи?
          • 0
            Я где-то говорил что ленточная библиотека дешевле решения из поста? По идее дороже в несколько раз. Но надежнее.
            • –1
              Про «надежнее» это, увы, распространенный миф.
              • 0
                Практика показывает что любая система не надежна если она не сдублирована/сбекаплена? желательно два раза и при этом ты умеешь её подымать с копии.
                Забавно когда вроде все бекапиться, бац что то сломалось, заходишь в бекап, а там каша.
              • 0
                Что правда кустарное решение надежнее промышленного? >:-O
                • 0
                  Я о (не)надежности лент в сравнении с дисками.
                  • 0
                    Ну в моей статистике за 3 года подохло винтов 5 и ленты 3… Т.е. конечно ленты тоже дохнут, но помнится читал, что средний срок жизни ленты побольше чем у винта будет. Наверное играет тот факт, что ленты почти все время жизни на полке (в слоте) лежат, лишь изредка читаются/пишутся.
                    • 0
                      То есть за три года сдохло три ленты, которые «почти все время жизни на полке (в слоте) лежат», против пяти непрерывно работающих винтов.

                      По моему вы сами и ответили на вопрос сравнительной надежности :)
                      • 0
                        Нет, ленты тоже крутились довольно часто — ежедневный бэкап. Причем ленты сдохли в разных библиотеках, а вот винты в составе одного массива…
            • 0
              Да, вы упомянули это тут: "… вообще круто. Ленты стоят практически копейки. А там уже..."
              • 0
                Ну хотя бы по сравнению с модными SSD… Я уж не буду говорить, что некоторые считают наиболее надежным WORM хранилище на оптических дисках, которые еще дороже.
                • 0
                  В смысле чем ленты дороже. Хотя про SSD можно посчитать…
  • +2
    Да, моя домашняя помойка с 9-ю вениками смотрится уныло… :-)
  • 0
    А почему диски на 2 Тб, уже же есть по 3?
    • +3
      В верху написали же, что они дороже в разнице мег/руб
  • 0
    Supermicro SC847E26 можно взять 36/45 дисков в пределах 60 тысяч 3,5". Если по 2,5" то у них есть модель на 64 диска, кажется. Я ее не видел, но вроде существует. И самое главное, что все диски в hot-swap, корзинки, вентиляция и для замены дисков не нужно вынимать весь сервер(а 45 дисков будут весить кг так 30-35).

    Еще сравнение внизу порадовало. Сертифицированные Sun Fire, HP и это убожество из говна и палок :)
    • 0
      Плюс надо купить контроллер + начинку, а это уже без винтов больше 100к, откуда вынимать если оно на балконе?
    • 0
      На прайс ру цена 75к
      price.ru/offers?query=+SC847E26&auto=1&cat=0907-010408
      • 0
        Балкон, даже утепленный, не подходит для размещения из-за пыли, плохой вентиляции, да и с питанием будут проблемы. На этой помойке можно создать программный массив, но я не уверен, что он сравнится с хардверным хотя бы из-за отсутствия кэшей, батарейки и нагрузки на процессор при пересчете сумм.

        Отсутствие запасного блока питания может привести к потере всех рейдов и данных на ним, а из десктопных дисков с контроллером можно собрать массив только после изменения фирмваря дисков. Десктопные диски будут заметно медленее сасов и в продакшене его будет затруднительно использовать.

        Цена железа может быть разной у разных поставщиков. Супермикра выйдет где-то в 120-150к, можно взять дисковые полки лси, они будут дороже стоить, чем корпус.
        • 0
          А не сделать ли нам домашнюю файлопомойку на 90 терабайт?
          Зачем сасы и брендовое железо для файлопомойки?
        • 0
          «SAS, продакшен, контроллеры»…
          Вы думаете как админ крупной компании. Здесь речь о домашнем файловом сервере. IOPS здесь особой роли не играют, больше объем и тихоходность + некоторая отказоустойчивость.

          Насчет "можно создать программный массив, но я не уверен, что он сравнится с хардверным хотя бы из-за отсутствия кэшей, батарейки и нагрузки на процессор при пересчете сумм" думаю стоит пересмотреть свое отношение. Тот же контроллер — фактически микропроцессор, на котором крутиться своя, специфическая, операционка/программа aka прошивка. С учетом кеша, прошивки, наличия микроконтроллера (пусть и довольно специализированного) по факту контроллер это мини-компьютер. Разница между «железным» и «софтверным» в том, что в контроллере этим занимается специализированная прошивка, которая крутиться в пространстве микропроцессора контроллера, а в «софтовом» драйвер-надстройка ОС, которая крутиться с общем адресном пространстве процессора общего назначения.
          Давно уже нет «чисто хардварного» решения — прошивка (суть софт) крутящаяся на специализированном SOC (суть железо) обеспечивает гибкость и оперативность в поддержке тех или иных функций. Так что не надо так громко заявлять насчет «софтварный рейд — гавно». :)
          И да, хардварные контроллеры тоже могут «умереть», глючить, сбоить и прочая. :)
          Для домашнего использования файловая помойка на базе Linux/LVM с софтовыми райд-группами вполне себе неплохо будет чувствовать.
          Либо попробовать потанцевать с бубном вокруг FreeNAS и подобных.
          • 0
            > Вы думаете как админ крупной компании. Здесь речь о домашнем файловом сервере. IOPS здесь особой роли не играют, больше объем и тихоходность + некоторая отказоустойчивость.

            Это просто груда дисков. Отказоустойчивость на десктопных дисках в ящиках? Вы видели полки дисковые и как они сделаны?

            Что такое контроллер я знаю. Эта платка на PowerPC заточена для того, что бы твой кусок какашек не собирал рейд 10 дней. Хотя 90 Тб в 5-ом рейде не меньше 3х дней будет собираться, а под нагрузкой этот софтовый рейд и всю неделю будет собираться.

            Для 90 Тб да еще и из десктопных дисков нужно будет еще штук 10 дисков спейров. LVM штука хорошая, но тут думаю не уместна.

            Максимум применение софтовых рейдов — зеркалирование на старых серверах, где стоят 2-4 диска и все. Ну дома порнушку забекапить. Если такие объемы, то тут не стоит экономить.
            • 0
              Что такое полка, контроллеры и прочая тоже в курсе. :) Видел, щупал, стоят сейчас в соседней серверной — и серваки, забитые дисками (SAS/SATA), и полки тоже щупал (пока что собственным внешним хранилищем не разжились, но на подходе).

              Во-первых таки при наличии отказоустойчивости будет не 90Тб, а поменьше (а если еще учитывать тот факт, что сейчас диски маркируются как 1000 Мегабайт, то полноценный двоичный ТБ там будет поменьше). А без отказоустойчивости всю эту «груду дисков» действительно нету смысла городить. Вовсе.

              Во-вторых "Максимум применение софтовых рейдов — зеркалирование на старых серверах, где стоят 2-4 диска и все. Ну дома порнушку забекапить. Если такие объемы, то тут не стоит экономить." — собственно хранилище и собирается для дома. Тут экономить надо, просто в разумных пределах. Конечно, приятно купить пару полок дисковых, повесить их на SAS-контроллер, забить винтами и горя не знать (почти). Но по стоимости это будет как крыло от самолета. То что катит в энтерпрайзе для дома просто слишком накладно.

              "Эта платка на PowerPC заточена для того, что бы твой кусок какашек не собирал рейд 10 дней. Хотя 90 Тб в 5-ом рейде не меньше 3х дней будет собираться" Все зависит от размера рэйд-группы и быстродействия винта. Достаточно мощный проц сможет справиться с пересборкой рэйда в фоновом режиме не хуже спец-контроллера. При «диких» обхъемах и контроллеры тоже будут ограниченны в быстродействии — винтов, полок, интерфейсов. Это не SAS, «размазанный» по десятку дисков в промышленном SAN — SATA-диски, да на 5400 оборотов, та таким объемом… Думаю даже интеллектуальный SAS/SATA-контроллер будет пересобирать полный объем довольно долго.

              Ну и кроме того накладно и не интересно собирать все диски сразу в одну райд группу — в случае сбоя пересборка такого массива будет занимать действительно много времени. Кроме того, сразу все 90 Тб скорее всего купить не получиться — проще и выгоднее наращивать мощу постепенно, например по 5 дисков, постепенно собирая из них группы и добавляя к общему хранилищу (тут LVM нам и поможет; хотя, можно и без него обойтись — тут уже все зависит от реализации, смотря что хочеться и для чего нужно). Тогда и пересбор будет занимать разумное время, и манипулировать дисками можно будет достаточно удобно и оперативно.
            • 0
              Железные контроллеры очень и очень разные бывают, как и возможные сценарии их поведения. После того, как массив RAID5 криво ребилднулся в RAID0+1, коллеге пришлось собирать содержимое диска из кусочков, имеющих структуру разного RAID-уровня. Кстати, порядок следования блоков в RAID5 пришлось определять методом построения визуально валидных картинок из ошмётков графических файлов :) Порядок не совпал ни с одним из приведённых в Википедии примеров.

              Вчера случилась другая проблема на таком же контроллере при ресайзе RAID1 на новые диски. После ребута по питанию (UPS не справился) контроллер показывает отсутствие каких бы то ни было активных операций, но в логах пишет «сделано XX процентов». В итоге побилось не очень больше число данных в самых неприятных местах — программы, библиотеки, конфиги, базы данных… и всё это в XEN-виртуалках поверх LVM. Сколько там ещё рогов и копыт вылезет — пока неведомо. Dom0 тоже мог повредиться — страшно ребутать…
  • 0
    А как у такой штуки с производительностью? Какой поток можно писать/читать (в Мбит/с)?
    • 0
      Читать в целом до 2 гигабит может, на запись гигабит тоже.
      Может наверно и больше, но как то пока не нужно было, позже попробую взять сетевки на 10гигабит и потестить.
      • 0
        Это оценка или измерения? Если оценка, то что есть самое узкое место системы? В целом интересует применение такой системы для видеорегистрации, единственно, что нужно iSCSI будет прикручивать — там доступ блочный, а не файловый.
        • 0
          Это измерения на более слабых системах, у вас поток сколько мегабит и со скольки камер?
      • 0
        Автору помедитировать:





        Пояснения тому, что изображено на картинке надо?
        • 0
          Расшифруйте пожалуйста, переведите в мегабайты шкалу скажем.
          • 0
            Боюсь, из вашей реплики, что придется начать объяснения с «букваря», с того, что такое IOPS.
            • +2
              Ну например копирую я бабушкам(двум) на внешние винты киношку в хд со своего домашнего хранилища, скорость перелива 2 гигабита в секунду, это много или мало?
              Суть писать про иопсы на домашнем хранилище, когда тут важнее скорость скачивания/закачивания?
              • 0
                Прозреваю сильное падение скорости в условиях вибрации для консумерских винтов. Как выглядит вибрация 20 rad/sec2 и бывает ли столько дома все еще не ясно.
                • +1
                  Просто мы имеем тут еще и классическую «ошибку масштабирования». То что бумажный кораблик прекрасно плавает в луже не означает, что для того, чтобы сделать корабль для моря достаточно взять картон потолще.
                  • 0
                    Не надо путать системы нетап для бизнеса и домашнюю файлопомойку.
                    • 0
                      Я считал, что у них обоих есть общее свойство — они работают :)
                      • 0
                        Ну так и это будет работать, ну надеюсь что будет.
                        • 0
                          Ну как бы называя это «помойкой» вы уже определили ее место.
                • 0
                  Винты там 5400 оборотов, то есть падение скорости до 2 гигабит в секунду от вибраций критично?
                  • 0
                    «До чего» оно упадет вы нам расскажете в следующей серии :)
  • +1
    Ждём в топик специалистов по стораджам, седеющих на глазах )))
    • 0
      Не переживайте за них, свое они всегда успеют заработать.
    • +1
      Да специалисты ржут уже, и пересылают друг другу в аську. :)

      От этого не седеют, но прослезиться от (горького) смеха можно.
      • 0
        Напоминает эпичный топик про 5-ти (кажется, давно это было) терабайтное хранилище на ixbt.
      • 0
        Нууу, это наверное дешевле чем полноценная дисковая полка с фиброй или SCSI… Да и веселее :D.
        Но надежность серьезно вызывает сомнения.
        • 0
          На этот счет есть такая хорошая фраза, что «при покупке экономишь деньги один раз, и, как правило, „дядины“ (работодателя, например), а покупаешь геморрой себе и надолго».
        • 0
          С другой стороны человек (за свои деньги и время, правда) получит неоценимый опыт и проверит на практике многое, о чем его предупреждали специалисты. Сдается мне этот опыт стоит тех денег.

          Из прыгавших с зонтиком с крыши чердака нередко вырастают спортсмены-парашютисты :)
        • 0
          Надежность зависит от кривизны рук и думалки.
          • 0
            «А мужики-то и не знают» :)
          • 0
            Не стоит забывать также, что чем больше компонент в системе, тем ниже суммарная надежность. Особенно это хорошо заметно, когда у тебя действительно много железа >_<
  • 0
    Эх, и где теперь те времена, когда из трея не исчезал алёрт о том, что на диске С недостаточно места…
    • 0
      Boot Camp на MacBook Pro мне об этом только что выдал алерт :-)
    • 0
      По дурости (а может и нет) выделил семерке отдельный раздел в качестве системного размером в 40 ГБ. Так через год я уже не знал, как избавиться от этого сообщения, весь раздел мне загадил, приходилось по крупицам отвоевывать, пока не узнал, что в ntfs есть симлинки.
      • 0
        Так можно же перераспределить размер разделов, если конечно на соседних разделах есть свободное место.
        • 0
          Можно то оно конечно можно, вот только обыдно от того, как семерка загаживает системный раздел, совершенно не интересуясь у меня, что я хочу там хранить.
          • –1
            Странное недовольство, по умолчанию системный раздел на то и системный, что его можно без проблем перенести и система будет работать, без заботы о несоответствии или отсутствии путей.
            40 гб — это даже еще мало, у меня сейчас на системном разделе более 100Гб занято.
            • 0
              На ноуте системный раздел — 24 гига, из них 5 еще свободно, плюс hiberfil.sys — почти два
              Чем можно забить 100?
              • 0
                20Гб — Program Files, около 20Гб — папка Users (в основном из за кеша Chrome, Explorer и файла бекапа WP7, последний весит 9Гб). 3Гб — hiberfil, 32Гб — папка Windows, еще 10Гб — ProgramData (VS складывает туда файлы intelliTrace). +Снапшоты восстановления системы.
  • 0
    Для дешевой бесшумности можно и на 2,5" hdd собрать. я свой комп на такие перевожу, т.к это самый шумный компонент системы.
    • 0
      2.5" площадью едва доросли до терабайта. И производительность их оставляет желать лучшего.
    • 0
      Я свои WD20EARS не слышу вообще.
      • 0
        Может быть, мне не повезло, но я, когда снимаю наушники, часто слышу, как эта ушастая падла паркует головки, а потом снова запускает шпиндели.
        • +1
          Есть утилиты, решающие проблему парковок головок.
        • 0
          Забыл уточнить, пока я не увеличил интервал парковок до максимально возможных 300 секунд, то тоже слышал. Преотвратнейший звук, да и винту от этого явно плохеет. Впрочем, насколько мне известно шпиндель крутится постоянно, это только головы паркуются. Можно, конечно, торренты раздавать со всех винтов, тогда парковок не будет, но это не выход. Когда я в параметрах smart увидел, сколько парковок уже нащёлкалось, то таки откопал в закромах floppy-привод и воспользовался wdidle (с флэшкой и freedos возиться не стал). Всё отлично, винты вообще не слышно, клацанья нет.

          Можно либо сделать простую загрузочную дискету и закинуть на неё этот wdidle, либо сделать как расписано тут — habrahabr.ru/blogs/sysadm/106273/#habracut.

          Забрать можно тут — support.wdc.com/product/download.asp?groupid=609&sid=113&lang=en, пусть не смущает нарисованный выше винт WD RE2-GP, версия утилитки именно та, которая нужна и которую использовал я.

          Ах да, опция полного выключения парковок в параметрах wdidle есть (обозначена как /D), но с ней головы начинают парковаться чуть ли не каждую секунду.
          • 0
            Впрочем, вот тут habrahabr.ru/blogs/sysadm/106273/#comment_3575929 уже написано: «Выключение таймера с /D не помогает, так что надо просто поставить /S300 таймаут на 5 минут».
          • 0
            Шпиндели тоже останавливаются, когда подрубаю винт к системе и потом не юзаю его он становится холодным, потом когда захожу на него отчетливо слышу старт шпинделей.
    • 0
      Шумят в основном вентиляторы, а не винты.
      • 0
        У кого как…
  • +1
    Если посмотреть на публикации автора, то становится ясно, зачем ему такая файлопомойка)
  • 0
    А файловую систему какую использовать собираетесь? Программный RAID использовать думаете?
    • 0
      ext4 или xfs, да программный рейд меня более чем устраивает.
      • +1
        А в сторону zfs не думали посмотреть? Можно все диски в один пул собрать и встроенные программные RAID'ы есть.
        • 0
          Сказать честно эксперементировал дома с frenass 7 с его зфсом, не рад, поддержка железа(контроллеров на матери и внешних) совсем не айс, вероятность умирания раздела при скрабе очень высокая при большом количестве ошибок(накапливает ошибки в памяти и умирает). Сейчас думаю попробовать восьмерку зарелизившуюся с железом чуть получше да и база теперь у них не моновол, а нанобсд.
          Хотя возможно все проблемы из за перегрева, но не факт.
          • +1
            FreeNAS 0.7 основан на FreeBSD 7.x, в которой ZFS лишь экспериментальная реализация.
            FreeNAS 8 основан на FreeBSD 8.2, в которой ZFSv15 признана годной к промышленной эксплуатации.

            Для экономии дискового пространства и одновременно для обеспечения надёжности на ZFS советую собирать супер-пул из постепенно добавляемых RAIDZ-устройств верхнего уровня:

            zpool create poolname raidz /dev/gpt/id0 /dev/gpt/idl1 /dev/gpt/id2
            ...
            zpool add poolname raidz /dev/gpt/id90 /dev/gpt/idl91 /dev/gpt/id92
            • 0
              использую raidz2
        • 0
          зачем зависеть от одного ZFS, если можно сделать LVM+любая ФС в нём
          • +1
            У традиционных линуксовых ФС пусть даже на LVM есть проблемы с сопровождением.
            Например, Ext4 до сих пор нельзя использовать на томах размером больше 16ТБ — утилиты этой файловой системы просто ещё не приспособлены для таких размеров.
            У традиционной Ext3 до сих пор проблема с томами более 2ТБ и количеством каталогов более 32000.
            XFS очень требовательна к объёму оперативной памяти для проверки томов больших объёмов.

            Выход, конечно, есть: создавать несколько логических томов не превышающие пределы, но зачем?
            • 0
              C ext4 ещё не работал так что не скажу.
              Проблему нехватки памяти на xfs не встречал, память дешевая, плашка на 2 гб стоила по моему 800 рублей, забить комп на 8-12 гигов оперативы финансово не сложно.
              • 0
                4 модуля по 4ГБ каждый в современный домашний компьютер установить легко. Фикус в том, что XFS для собственной проверки на огромном томе может не хватить этих самых 16ГБ ОЗУ.
                • 0
                  Не встречал на практике такой проблемы, похожую проблему встречал в zfs.
                  • 0
                    ZFS занимает всю свободную память под динамический кэш L2ARC (и правильно делает. Зачем добру пропадать?).

                    Насчёт XFS тут пишут:
                    > Currently my file system is ~50 TB in size with ~40TB in use and
                    > when I do the repair memory usage ends up between 10 and 11 GB
                    > used for most of the check. The system currently has 12GB of ram
                    > not including swap. Is this expected behavior?

                    Given you are running v2.9.8, I'd say yes, and one of your problems
                    is that repair is swapping as the base memory footprint is likely
                    to be in the order of 40-50GB RAM for xfs_repair.

                    I just ran xfs_check on an empty 51TB filesystem w/ 821 AGs to get
                    an idea of how much RAM an older xfs_repair will use (as it have
                    3.1.2 installed on my test machines). It is allocating about 115GB
                    of virtual memory space before consuming all the RAM+swap in the
                    machine before being OOM-killed.


                    То есть на проверку 50ТБ файловой системы XFS нужно задействовать порядка 100-120ГБ виртуальной памяти. Насколько я знаю, для ZFS такой острой проблемы с памятью не стоит — для неё достаточно от 8 до 16ГБ для эффективного управления гибридным пулом.
  • 0
    >seagate green edition
    Может всё таки WD, а не Seagate?
    • 0
      Уж лучше тогда Hitachi HDS723020BLA642.
      • 0
        чем лучше? :)
        • 0
          Тишиной, надёжностью, малым нагревом.
    • 0
      Seagate поищите поиском по маркету или прайсру
  • –1
    Идем в гараж, садимся в машину времени, перемещаемся лет на 10 назад…
    «А не сделать ли нам домашнюю файлопомойку на 90 гигабайт?».
    Похихикали.
    Снова садимся в машину переносимся еще лет на 10 назад…
    «А не сделать ли нам домашнюю файлопомойку на 90 мегабайт?»
    Давясь от хохота переместились в 2021й.
    «Новости компании Apple: iPhone-14 будет нести на борту 100Тб памяти»

    Это все к тому, что в ИТ выпрыгивание из штанов и прыганье выше головы несет в себе достаточно мало смысла.
    • 0
      Для фана мало, а для дела много)
      • 0
        А разве не наоборот?
    • –1
      90 гигабайт 10 лет назад — куда реальнее, чем 90Тб сегодня.
      • 0
        Для тех кто не помнит — 40гб винты уже были.
  • +3
    Автор, не слушай их. Не хочу ни знать, ни понимать, чем руководствуются люди, полные скепсиса.
    Делай, что задумал! Это твоя игра :)

    Те, кому интересно, те, кто тебя понимает, будут благодарны, извлекут уроки и научаться вместе с тобой, какой бы сумасбродной идеей это не казалось местным снобам.

    Дерзай!
  • 0
    чето много людей размышляет о «скачке» через пару лет, когда все это хозяйство будет умещаться на пару дисков… не верю! Чтобы за 2 года скачок был раза в 20 (от 2-3тб до 40-60) это чудо должно случиться…
    максимум будет 8тб, да и то не уверен, скорее всего 4будет…
    да и кому нужно особо то наращивать обьемы? в конце концов для коллекции лучше купить пишкюущий блюрей привод и блюрей болванки…
    да и пока с технологиями хранения видео тоже все вполне стабильно… не предвидется резкого скачка потребляемого видюхами места… да оно и никому и не нужно
    • 0
      Зачем хранить какие-то пластиковые диски на расстоянии вытянутой руки, если можно всё можно хранить на расстоянии клика мышкой?
      • 0
        Потому что так дешевле! И в плане цены жёстких дисков, и в плане шума, и в плане компактности, и в плане энергопотребления!
        • 0
          Я считал полгода назад — HDD успешно конкурируют с dvd в категории денег-за-гигайбайт, не считая про удобство.
          • 0
            Хдд уже выигрывает давно в расчете мб на рубль.
        • 0
          Сколько стоит записываемый Blu-ray диск?
          • 0
            Блюреи не актуальны так как не приобрели массовости, хоть и победили hddvd.
            • 0
              Хм… спорное утверждение. По крайней мере уже можно купить лицензионный блюрик за 400 рублей. То есть практически за те же деньги, что и лицензионный DVD. Новинки и коллекционки, конечно, дороже, но есть продвижки к снижению. Да и чего греха таить — не было бы блюриков, не было бы и основного HD-контента на торрентах.
          • 0
            А вы учитывайте не только цену за диск, а так же цен за обслуживание, цену за эту самую стойку, цену за электроэнергибю, цену на врачей из за недосыпа из за шума, цену за квадратный метр квартиры, потраченный на это…
            • 0
              У винчестеров как раз-таки самый высокий коэффициент цена/объём информации/физический объём устройства хранения. Шкаф с полками Blu-ray будет занимать гораздо большую площадь и скорость доступа к дискам будет неизмеримо выше.

              Насчёт шума выход прост: размещение хранилища в другой комнате со звукоизоляцией и системой кондиционирования; гигабитный Ethernet наружу. Вместо кондиционера можно тепловой насос соорудить и не платить за отопление квартиры/дома вообще.
            • 0
              А ещё можно вычесть цену за джастфофан и выйти всегда в плюсе.
              Стоек у меня дома нет, обслуживаю сам, энергию в спокойном состоянии есть примерно 200 ватт, шума у меня нет и сплю хорошо, квартира на 140 квадратов вроде норм.
    • 0
      Болванки для хранения личных данных неудобны. Их надо где-то держать, они теряются, путаются, их надо вставлять в привод, они имеют свойство дохнуть от любого чиха, при необходимости обновить/изменить данные их надо выбрасывать и записывать снова и т.д. Бэкапы становятся целой проблемой…

      HDD удобней, нет проблем с доступностью и перезаписью — все данные всегда готовы к работе, в том числе через сеть (например, если нужно зайти с рабочего ПК/ноутбука на домашний и что-то оттуда утянуть).
  • +2
    А зачем вообще что либо хранить если у вас быстрый интернет? Посмотрел-удалил, послушал-удалил, понадобилось еще раз, снова скачал?
    • 0
      Чтобы не зависеть от поставщика услуг и не платить ему ежемесячную дань.
      • 0
        А если 100мбит анлима, который падает на час раз в месяц за копейки? Все равно дань?
        P.S. У меня есть внешний hdd на 120Gb, использую исключительно для бекапов, и совершенно не представляю зачем мне бы понабилось хранить фильмы/музыку/итд на нем или на ноуте, или на стационарнике…
        • +1
          Я тут еще года три назад заметил, что мне проще в гугле найти и скачать какую-нибудь нужную в данный момент утилитку, чем искать ее на локальном диске :)
          • +2
            — А где вы храните картошку?
            — На базаре…
            • 0
              Сказать честно с учетом роста цены картошки до 40-50 рублей и гречки до 100-150 я бы не сказал что актуально хранить их на базаре/магазине.
              • 0
                Это вопрос семейного дохода.
          • 0
            Что касается утилит — да, проще скачивать каждый раз последнюю версию.
      • 0
        Все равно зависимость в той или иной степени останется, ведь эти терабайты надо как-то наполнять/обновлять :)
    • 0
      А у вас есть настолько быстрый инет, что бы скачать 20-30 гигов за несколько минут? Про музыку не спорю, есть куча чудесных онлайн станций. Музыка на винте хранится только дискографиями для плеера.
  • 0
    Я с трудом себе представляю, зачем мне такой объём данных. Впрочем, когда у меня был жёсткий диск 600 мегабайт, и я жил под досом, я с трудом себе представлял зачем мне 20 гигов жёсткий диск.
  • +2
    В хаусе недавно показывали про синдром барахольщика.
    Вот у человека собравшего такое — синдром кибер барахольщика.
    • 0
      Гоголь описал Плюшкина в «Мёртвых душах» тоже не просто так, придумав. ;)
  • +4
    Красноярск встретил это утро солнцем, едва пробивавшемся сквозь хмурные тучи. Вот только радиоактивного дождя не хватало, подумал я, услышав вести о происходящем снаружи. Нужно было ждать, уровень радиации падает в два раза каждые семь, сорок девять и далее часов.
    Я валялся на узкой полке одного из тех заброшенных бомбоубежищ советского типа, сделанных своё время для очистки совести, а позже восстановленным ввиду эскалации Прохладной войны. Пара человек пыталась примоститься рядом, но пара моих толчков показала им принадлежность этого места. Я озверел; вот только зачем?
    Взрыв американской термоядерной боеголовки произошел метрах в трёхстах над поверхностью города-миллионника. Они били не по тактическим целям, они били по площадям, по живой массе людей — надежды на мирный мир уж оставалось совсем мало.
    Они могли бы бить по электростанциям, могли бы разбить ракетные центры и прочую тактическую дребедень, но почему-то они решили направить смертоносный залп и на ни в чём не повинных людей. Вчера, после объявления тревоги, началась жуткая паника, спастись и скрыться удалось немногим.
    Мои мысли прерывались хныканьем и плачем Порнокороля, как я его вчера мысленно и обозвал, с нижней полки. Наверное, не стоило ему говорить, что все данные с дискового массива, с которым он так бережно сидит в обнимку, который он собрал после тех постов на одном коллективном блоге о крупных хранилищах и который обошёлся ему во много страданий и лишений, были унесены электромагнитным импульсом от двухмегатонного взрыва ядерного пороха. Полупроводниковый «Ксеон» американской фирмы и тайваньского производства 16-ого года выпуска, шестнадцати 128-битных ядер тоже превратился в камень. Да и трудно будет найти электроток нужного вольтажа в этом теперь до безумия жестоком мире.
    • 0
      просто он пожлобился на качественную защиту от ЭМИ

      а вообще, клетка фарадея должна помочь
  • НЛО прилетело и опубликовало эту надпись здесь
  • +1
    Я наверное пенсионером уже стал потому что меня мучает вопрос «Зачем?». Дома не нужно, для бизнеса слишком ненадежно все это наколенное решение, да и сложно себе представить бизнес который оперирует такими объемами данных и при этом не имеет денег даже на аренду подобного объема луна на настоящем SAN. Остаются низкобюджетные исследования что вообщем то тоже маловероятно так как медленно и крайне не надежно.
    • 0
      Как минимум бекблейз сделал на них успешный и доходный бизнес, можете повторить его скажем в россии, если хотите.
      • 0
        Бэкблейз где-нибудь публиковал свои показатели успешности и доходности именно с использованием этих железяк, или это вы придумали из их пиара в блогах?
        • 0
          Компания существует больше 5 лет, думаю если бы она была убыточной давно бы уже закрылась.
          Бекблейз в блоге написал что он использует именно эти железки для хранения данных, смысл ему использовать другие при их ценах?
          Смысл врать в блоге компании?
          • 0
            Не все так просто.
            «Компания существует больше 5 лет», а этими штуками занялась в прошлом или позапрошлом, кажется, году. Чем она занималась три предшествующих года? Может быть создавала бизнес, который позволил бы ей развлекаться убыточными железками (и, как следствие, поднять гигантскую пиар-волну в блогах)?

            Какой-то вы чересчур наивный :)

            > Бекблейз в блоге написал что он использует именно эти железки для хранения данных,

            Он написал, что использует их для хранения _всех_ данных?

            > смысл ему использовать другие при их ценах?

            Например смысл в недостаточной надежности этих.

            > Смысл врать в блоге компании?

            Ну видите, все про них говорят. Разве это не смысл? Кто знал про backblaze до их pr-кампании в блогах?
            И потом, почему «врать», можно просто не говорить всей правды :)
            • 0
              Компания занялась этим бизнесом в 2008 году, изначально решила заниматься бекапами, в блоге у них все написано, да все данные они хранят на своих бекблейзах, в одной из последних записей в блоге они показали что у них 10 петабайт данных на 137 backblaze podah.
              • +1
                С одной стороны хочется поглумиться над наивной верой в пресс-релизы и корпоративные блоги, с другой — отойти тихонько, приложив палец к губам, и не портить своим цинизмом столь детскую чистую веру…
                • 0
                  Ну давайте в следующем году просто буду в америке зайду к ним на экскурсию?
                  Откуда у вас такие данные высосанные из пальца?