10 гигабитный линк дома?



    Доброго времени суток всем гикам и непростым людям со странными запросами. Надеюсь тут есть люди которые не довольны скоростью в гигабит и мечтают о скоростях в 10 гигабит, а то и 100. На данный момент появились уже достаточно дешевые решения в виде сетевых карт pci-e с двумя портами форм-фактора sfp+, которые можно соединить посредством дешевого твинаксиального кабеля.

    Под катом небольшие размышления о 10 гигабитном thunderbolt от интел, описание двухпортовой сетевой карточки от интел и твинаксиального кабеля, скрины с freebsd, linux, windows и много фоток.


    Не так давно engadget начал будоражить мой мозг интерфейсом thunderbolt, который должен появиться в новых макбуках и показывает ролики со скоростями в 600-800 мегабайт в секунду с NAS Pegasus от компании PROMISE. Promise обещал выпустить свой NAS в продажу в apple store во втором квартале этого года, и судя по всему это было бы первое устройство с интерфейсом thunderbolt, но увы в продаже найти его мне не удалось. Intel обещает что интерфейс будет дешевым и домашним, с небольшой длиной кабеля если кабель медный и большой длинной если оптический, скорость до 10 гигабит, а так же разделяемая среда(вспоминаем одноранговые сети на коаксиале). Но увы устройств нет, цены тоже никто не назвал, а 10 гигабит хочется уже сейчас.

    Пару лет назад рассматривал 10g решения и цены там были на уровне 30к рублей на порт + оптика и прочий геморой для дома не особо доступный. Но сейчас интел выпустил сетевую карту с двумя портами sfp+ с поддержкой скорости в 10g стоимостью 9-10к рублей(Intel X520 DA2 10GbE Dual Port SFP+), карты можно соединять дешевым твинаксиальным кабелем от компании Dell стоимость 2-3к рублей(5M SFP+ Direct Attach Twinaxial Cable).

    Сетевая карта Intel X520 DA2 предназначена для систем виртуализации поэтому в ней два порта. Один используется для общения с глобальной сетью, а второй для общения с внешним хранилищем по iscsi или по fcoe где хранятся образы виртуальных машин, но никто не запрещает использовать её в объединении канала и получить 20 гигабитный линк. В карточку можно вставить модули sfp+ с 10g оптическим интерфейсом(дорого) или же твинаксиальный кабель(дешево). Как соединяется кабель с карточкой видно на фотографиях внизу статьи.

    Я решил купить три карточки и три кабеля, чтобы соединить три сервера в 10 гигабитное кольцо, у серверов разные операционные системы, на данный момент я потестил только скорость между freenas и windows? получил 300 мегабайт между ними, на виндовсе собран 5-ый софтовый raid из 5 винчестеров, на фринасе zfs raidz2 из 20 винтов. Думаю что все упирается в виндовый raid позже проведу тесты с линуксом и думаю смогу получить почти 10 гигабит скорости между хранилищами. Стоимость всего этого дела вышла в 9500*3+2500*3= 36 000 рублей.

    Для этого дела можно ещё приобрести свич, но моделей дешевле 100 тысяч я пока не нашел, ну думаю и такие уже не за горами.

    Вот так выглядит сетевая карта во freenas:



    freenas# ifconfig
    ix0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=1bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4>
    ether 00:1b:21:a3:94:7c
    media: Ethernet autoselect
    status: no carrier
    ix1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
    options=1bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4>
    ether 00:1b:21:a3:94:7d
    media: Ethernet autoselect (10Gbase-Twinax <full-duplex>)
    status: active


    Вот так в linux ubuntu:



    root@ubuntu:~# ifconfig

    eth2 Link encap:Ethernet HWaddr 00:1b:21:a3:c3:6c
    inet addr:192.168.20.5 Bcast:192.168.20.255 Mask:255.255.255.0
    inet6 addr: fe80::21b:21ff:fea3:c36c/64 Scope:Link
    UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
    RX packets:22946932 errors:0 dropped:0 overruns:0 frame:0
    TX packets:4925414 errors:0 dropped:0 overruns:0 carrier:0
    collisions:0 txqueuelen:1000
    RX bytes:1554581575 (1.5 GB) TX bytes:975549697 (975.5 MB)

    eth3 Link encap:Ethernet HWaddr 00:1b:21:a3:c3:6d
    UP BROADCAST MULTICAST MTU:1500 Metric:1
    RX packets:0 errors:0 dropped:0 overruns:0 frame:0
    TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
    collisions:0 txqueuelen:1000
    RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

    root@ubuntu:~# ethtool eth2
    Settings for eth2:
    Supported ports: [ FIBRE ]
    Supported link modes: 10000baseT/Full
    Supports auto-negotiation: No
    Advertised link modes: 10000baseT/Full
    Advertised pause frame use: No
    Advertised auto-negotiation: No
    Speed: 10000Mb/s
    Duplex: Full
    Port: Direct Attach Copper
    PHYAD: 0
    Transceiver: external
    Auto-negotiation: off
    Supports Wake-on: d
    Wake-on: d
    Current message level: 0x00000007 (7)
    Link detected: yes

    root@ubuntu:~# ethtool eth3
    Settings for eth3:
    Supported ports: [ FIBRE ]
    Supported link modes: 10000baseT/Full
    Supports auto-negotiation: No
    Advertised link modes: 10000baseT/Full
    Advertised pause frame use: No
    Advertised auto-negotiation: No
    Speed: Unknown!
    Duplex: Unknown! (255)
    Port: Direct Attach Copper
    PHYAD: 0
    Transceiver: external
    Auto-negotiation: off
    Supports Wake-on: d
    Wake-on: d
    Current message level: 0x00000007 (7)
    Link detected: no


    Вот так в windows:





    Вопросы, пожелания, предложения?
    Все кому не жалко скиньте денег на еду:
    Яндекс деньги: 41001350134938
    wmr: R216907812321
    wmz: Z115984864021

    Приму в дар хороший фотоаппарат, высокотехнологичное железо для обзоров, интересные штуки(предлагайте сами), тему для обзора или освещения.

    Не жалеем карму и плюсы.

    UPD1: По просьбе в комментариях прикладываю скрин копирования с тотала(скорость будет выше в тестах на линуксе).



    Ну а теперь самое вкусное — фотки:











































    Поделиться публикацией
    Реклама помогает поддерживать и развивать наши сервисы

    Подробнее
    Реклама
    Комментарии 207
    • +8
      стандартный вопрос — а в чем его смысл дома сейчас?
      • +3
        Не люблю ждать несколько дней когда перелив.
        • +3
          А какая дисковая система дома не покрывается, скажем, гигабитом?

          Эм… рейд на ссд?
          • +3
            Два отдельных винта выдают 2 гигабита с небольшим и это не покрывается гигабитом.
            Рейд на ссд предположительно выдает скорости около 100 гигабитные, а это уже другой эшелон.
            • +3
              Так покажите фотки с подтверждением (копирование на скорости 2Гбита или хотя-бы существенно больше гигабита), а не 150 фоток кабеля и коннекторов.
              • +12
                Скрин с тоталкоммандера

                • 0
                  А что за винты и в каком рейде стоят? Это 2 отдельных (то бишь один по сути) выдает?
                  • 0
                    Перечитайте статью, я там написал что и откуда льется и какие рейды.
                    • +3
                      Понятно, вы тут выше про 2 винта написали, я думал о них и речь.
                      • +1
                        Я писал это к комментарию, про то какая дисковая система не покрывается гигабитом, потестил сейчас и на самом деле даже одиночный диск новый выдает почти 130 мегабайт с винта на винт, а это уже больше гигабита.
      • +6
        • +3
          Стоит от 25 тысяч, три штуки уже 75 + надо кабель шестой или седьмой категории utp.
        • +1
          Производители систем охлаждения при любых раскладах в плюсе
          • –1
            Надо на автоВАЗе полпроизводства под СО отдать.
          • +2
            Сетевуха с вентилятором! Проклятые хипстеры.
          • +1
            Спасибо.
            Как раз думал о относительно бюджетном решении.

            Собака — бассет хаунд?
          • –2
            Обидно будет если выгорет во время грозы )))
            • +3
              Как оно может выгореть дома во время грозы?
              • –2
                Как это как?
                1. В грозу кладем сетевушку за 25 штук на газовую плиту и включаем огонь.
                2. Она выгорает.
                3. Обидно.
            • +77
              10-гигабитная сеть отлично подойдёт для вашей домашней 90-терабайтной файлопомойки. Можно будет смотреть фильмы и сериалы в прекрасном качестве на ваших семидесятидюймовых мониторах со полукиловаттным звуком, попивая кофе из вашей двухлитровой кружки вместе с миской поп-корна из вашей полуторакубовой микроволновки.
              Прошу вас, расставьте запятые.
              • +18
                А откуда вы знаете про телевизор?
                • +3
                  Да. С запятыми недобор, а с «самым вкусным — фотками» перебор.
                  • 0
                    «Вашей», «вашей», «вашей»… У нас заказчики могут за такой перевод открутить вашу голову с вашего тела и бросить ее под ваши ноги:)
                  • +1
                    У вас ошибка — вместо «с миской» нужно «с тазом»
                    • 0
                      А про тазик я тоже не рассказывал, чертов гугл все спалил.
                    • +1
                      Не грози южному централу, попивая кофе из двухлитровой кружки
                      • 0
                        блин, мне срочно нужна 10гигабитная сетевуха О_о
                        • –1
                          Мне пора в Выборг… (с)
                      • 0
                        Простите, я не понял, о какой технологии идет речь. Можно ссылки на плату, кабель и собсна саму технологию? (В душе мне кажется что это сундербольт, но как то размыто начато)
                        • 0
                          Вся статья в ссылках, на что конкретно вам нужно?
                          В линуксе линк определяется как оптический на деле медный по твинаксиалу, тундерболта тут нет.
                          • 0
                            Обычный 10G Ethernet.
                            • 0
                              Спасибо, просто ни разу не интересовался темой глубже названия. Думал что он по обычному CAT5e идет так же
                              • +1
                                На самом деле, витуха — совсем необязательный атрибут Ethernet.
                                Варианты навскидку: витуха (куда ж без нее-то), оптика (тысячи разных вариантов, начиная от обычных линков на двух жилах с LC на концах и заканчивая сложными конфигурациями CWDM), коаксиал (ставим терминаторы и считаем длину кабеля!), Wi-Fi (это тоже Ethernet!), *DSL (и это тоже DSL!), всяческие радиорелейки и так далее.
                                • 0
                                  Я не о том :-) Я думал, что британские ученые научились пускать по классической меди CAT5e 10G, а, оказывается, для этого еще нужно кардинально увеличивать помехозащищенность.
                                  Я так понимаю, что стандарт мало где используется, и потому он непопулярен (вывод сделал лишь по тому, что мало о нем слышал)
                                  • 0
                                    Стандарт довольно популярен, но только в виде оптики.
                                    Например, среднему домашнему провайдеру уже одного 1G линка в мир мало, а два по 1G — проблемно (если LACP/trunk/bond — может не сбалансироваться, если BGP — вообще свои проблемы, и так далее), а если четыре, да еще и каждое волокно денег стоит (например, арендованное)?.. Вот и получается, что 10G использовать дешевле и проще. Кстати, я сегодня как раз строил LACP из двух 1G и уже сам о десятке задумался.
                                  • +3
                                    Не подскажете, как пересекаются xDSL и Ethernet? Все виденные ADSL и VDSL модемы требовали при конфигурации значений VPI/VCI, что как бы намекает на Ethernet over ATM.
                                    Wi-Fi от Ethernet отличаются уже на канальном уровне (CSMA/CA vs CSMA/CD). Вы вводите людей в заблуждение.
                                    • 0
                                      Либо я неправильно выразился, либо Вы неправильно поняли.
                                      Пересекаются они тем, что xDSL & Wi-Fi инкапсулируют Ethernet. Он хоть сегодня и стандарт де-факто, но далеко не единственный протокол второго уровня.
                                      • 0
                                        Извините, действительно неправильно понял. Вы бы так резко не переходили с физики на логику — ломает восприятие.
                                  • 0
                                    Выше выложили карточку с двумя линками, там utp 6 или 7 категории используется, но стоимость там в разы больше.
                              • 0
                                Карточка сильно греется? Или радиатор для солидности?
                                • 0
                                  Гигабитная то греется, так что не для солидности.
                                • +31
                                  Не могли бы вы ещё выложить фотографий кабеля, плохо видно.
                                  • –8
                                    Там 9 фотографий кабеля с коннектором, что именно плохо видно?
                                    • +45
                                      Плохо видно второе ухо вашей собаки.
                                      • +2
                                        *тут должна была быть всем известная картинка из ТБВ с табличкой «сарказм».*
                                    • 0
                                      Второй конец кабеля можно воткнуть во второй порт и сделать 10 Гбит/с мост
                                      • +5
                                        Я жутко недоволен 1гбит линками, бро. От жуткого качества 1080p remux-ов уже глаза вытекают, 9.1 звуковая система давно сломала мне слух.

                                        Можешь что-нибудь посоветовать для домашнего кинотеатра, чтобы начать полноценно наслаждаться фильмами?
                                        • 0
                                          В аймаксе смотришь кино?
                                          А сколько дюймов телевизор?
                                        • +17
                                          > Все кому не жалко скиньте денег на еду:

                                          > Приму в дар хороший фотоаппарат, высокотехнологичное железо для обзоров, интересные штуки(предлагайте сами), тему для обзора или освещения.

                                          > Не жалеем карму и плюсы.

                                          Выглядит несколько самонадеянно.
                                          На сетку за €1000 хватило, а кушать стало нечего?
                                          Последнюю строку не буду комментировать — тут это не принято.
                                          • +1
                                            За последний месяц я испытывал голод чаще чем за три года до этого.
                                            Так что фразу скиньте денег на еду нужно понимать буквально.
                                            • +3
                                              У меня на Qiwi кошельке 17 рублей осталось, вебманями не пользуюсь, поэтому оттуда перевел.
                                              На булочку хватит :)
                                            • +1
                                              У меня есть друг такой, покупает всякие интересные штуки, а потом жрать нечего. Так что гикам это простительно.
                                            • +2
                                              фоток мало! особенно проводов
                                              • –1
                                                linix <-> freebsd + link aggregation какую скорость покажет или в диск упрется?
                                                • 0
                                                  Упрется в процессор.
                                                  • 0
                                                    Не упрется в процессор, линк агрегатион в данном тесте не поможет, думаю выжать почти 10г вполне можно.
                                                    • 0
                                                      Не упрётся он в процессор по той простой причине, что попросту работать не будет. Link Aggregation балансирует трафик на базе алгоритмов второго (MAC), третьего(IP) или максимум четвёртого (TCP/UDP-порты) уровня, создавая из них hash и направляя трафик в тот или иной канал на базе их отличия. Между двумя домашними машинами же балансировать попросту нечего — что NFS, что SMB открывают по одному соединению на машину, так что не будут менятся ни MAC'и, ни IP, ни порты.
                                                • +2
                                                  можно больше фоток? собаку плохо видно
                                                  • 0
                                                    А может, наоборот, убрать повторяющиеся фотки? И топик симпатичней станет и воды уменьшится.
                                                    • +1
                                                      А какие ограничения на длину кабеля?
                                                      • 0
                                                        До 7 метров пассивный кабель, чуть больше до 12 метром по моему уже кабель с активным модулем, в целом решение рассчитано на соединение в одной стойке.
                                                      • +6
                                                        Обычная 10g SFP+ карта.
                                                        В обзоре (?) не описаны: драйвера, которые использовались (подозреваю igbx?), процессор, с которым это всё работало, как распределялись прерывания, и так далее. Без тюнинга всего этого даже нормальная гигабитная карта — всего лишь офигенно дорогой кусок текстолита и кремния.

                                                        Дальше:
                                                        Сетевая карта Intel X520 DA2 предназначена для систем виртуализации поэтому в ней два порта.

                                                        Неа. Это потому, что чипсет умеет два порта. И глупо было бы второй не использовать, тогда как цена PHY-зика (в случае SFP+) — копеечная.
                                                        Я решил купить три карточки и три кабеля, чтобы соединить три сервера в 10 гигабитное кольцо, у серверов разные операционные системы, на данный момент я потестил только скорость между freenas и windows? получил 300 мегабайт между ними, на виндовсе собран 5-ый софтовый raid из 5 винчестеров, на фринасе zfs raidz2 из 20 винтов. Думаю что все упирается в виндовый raid позже проведу тесты с линуксом и думаю смогу получить почти 10 гигабит скорости между хранилищами.

                                                        Читайте статью перед отправкой.
                                                        ,,,,,,,,,,,,,,,…
                                                        Вот, держите. Кончатся — обращайтесь, у меня еще есть.
                                                        Вопросы, пожелания, предложения?
                                                        Все кому не жалко скиньте денег на еду:
                                                        Яндекс деньги: 41001350134938
                                                        wmr: R216907812321
                                                        wmz: Z115984864021

                                                        Приму в дар хороший фотоаппарат, высокотехнологичное железо для обзоров, интересные штуки(предлагайте сами), тему для обзора или освещения.

                                                        Не жалеем карму и плюсы.

                                                        Да, есть пожелание. Прочтите правила Хабрахабра.
                                                        По просьбе в комментариях прикладываю скрин копирования с тотала(скорость будет выше в тестах на линуксе).
                                                        Во-первых, производительность карт меряется в пакетах в секунду, а не в битах. Тем более не в байтах.
                                                        Во-вторых, почему в Linux будет быстрее (я-то знаю, но в статье неплохо бы указать)?
                                                        • +1
                                                          По просьбе в комментариях прикладываю скрин копирования с тотала(скорость будет выше в тестах на линуксе).

                                                          Пардон, вот это должно было быть цитатой.
                                                          • –7
                                                            Черезчур жестокая критика, нельзя такое в комментарии. Надо было в ЛС, автор бы подправил.
                                                            • +9
                                                              Вы знаете, я свои N голосов в день использую каждый день. Полностью, до нуля. Автор — первый, кому я поставил минус за все время пребывания на Хабре.
                                                              И я считаю, что сделал правильно. Потому что лично я ценю Хабрахабр за качественные статьи. Собственно, в этом и состоит принцип саморегуляции Хабра.
                                                              • 0
                                                                Мое мнение может быть неправильным, но в моих глазах вы пришли сюда в топик с флагом в руках творить добро и искоренять зло, аки крестоносец. Если автор в чем-то не прав, надо уведомить его в ЛС, а так вы его демонстративно на глазах у сообщества выставляете в плохом свете. Что для вас хабр? Хорошие топики? То есть каждый должен писать топик и все остальные должны его оценивать, да? А как же коллективное творчество? Вы показали свои знания, да, возьмите печеньку с полки, вы ее заслужили. А теперь пожалуйста хватит так делать, и умничать не надо тем более.

                                                                Собственно, в этом и состоит принцип саморегуляции Хабра.

                                                                В чем? Разбираю по полочкам весь комментарий:
                                                                Вы знаете, я свои N голосов в день использую каждый день
                                                                Автор — первый, кому я поставил минус за все время пребывания на Хабре.
                                                                И я считаю, что сделал правильно.
                                                                Потому что лично я ценю Хабрахабр за качественные статьи.

                                                                И, простите, где же упомянутый «принцип саморегуляции»? Блестнули красивым словечком, да? Что же, еще одна печенька ваша.

                                                                И кстати, хоть в моем положении это и неуместно писать, но судя по вашему профилю, написали вы очень много полезных топиков, которые безусловно возвышают вас над всеми неугодными необразованными неучами, которых надо публично унижать. С собой не сравниваю, я вообще хуй простой, а вот сравните себя с автором топика — он сделал куда больше для хабры, нежели вы. Не вам судить.

                                                                Думайте обо мне что хотите, но так делать нельзя, Ваше Величество.
                                                                • 0
                                                                  Накипело.
                                                                  • 0
                                                                    То есть каждый должен писать топик и все остальные должны его оценивать, да? А как же коллективное творчество?

                                                                    Ну и сморозил же я. Имелось ввиду то, что хабр создан для того, что бы люди делились своими знаниями. Кто-то ошибся? Шепни ему об этом на ушко, а не отчитывай в комментариях. Автор все поправит и топик станет более полезным.
                                                                    И да, я всего лишь выразил свою точку зрения. Кто не согласен — пожалуйста, укажите мне, в чем я не прав.
                                                                    • 0
                                                                      Извините, а какие знания можно почерпнуть из топика?
                                                                      То, что красная машина быстрее ездит, и ежу понятно.
                                                                      • 0
                                                                        В том и суть. Идеальные топики — редкость, всегда чего-то не хватает. Все надо делать сообща, кто-то ошибся — скажи ему, объясни, он допилит топик и он станет отличным достоянием хабраобщества.

                                                                        просьба тухлые яйца бросать сразу мне в хабрапочту.
                                                                        Из вашего топика…
                                                                        • +1
                                                                          Если уж вспоминать мой топик — я, конечно, на гуру не претендую, но я на вычитку, исправление ошибок и проверку терминов перед отправкой статьи потратил больше времени, чем на написание. В этом и суть.
                                                                          • +2
                                                                            Как-то мы зациклились на сути :).
                                                                        • 0
                                                                          И в завершение скажу: всем хочется блеснуть своими знаниями, это так. Однако лучше всего это делать тут, там их по достоинству оценят ;)
                                                                          • +2
                                                                            Хабрахабр как раз и хорош тем, что в комментариях раскрывается больше, чем в топике :). Хабр — бастион, где есть обмен знаниями и опытом. Главное — «задвинуть тему». Если опять возвращаться к моему топику — я не знал ни одного из предложенных мне в комментариях вариантов решения. Сижу теперь, изучаю.
                                                                            • +1
                                                                              Мне уже стыдно становится. Нападать так с моей стороны было глупо. Но в целом точка зрения осталась та же — слишком агрессивная критика.
                                                                              • +1
                                                                                Вспомнилось:
                                                                                — Сударь, Вы подлец! Вы обоссали кончик моей шпаги!
                                                                                — Сударь, если бы я знал, что это Ваша шпага — я б обоссал её полностью!


                                                                                Мне, если честно, тоже уже становится стыдно :). Как дети. Так что давайте решим, что победила дружба.

                                                                                Лучей добра Вам!
                                                                      • +1
                                                                        У Вас есть мнение. И Ваше мнение интересно, хоть и не совпадает с моим. Держите плюс.

                                                                        У автора же есть вроде как статья, в которой 0 полезных данных и куча ошибок. Да еще и с нарушением правил, которые вроде как должны препятствовать появлению некачественных статей. Всё, что оттуда можно узнать — «Красная машина быстрее едет» (простите за повтор). Потому минус.
                                                                        • 0
                                                                          Честно признаюсь, мне топик понравился. Если судить именно таким образом, каким судите вы, то половина топиков на хабре не имеют смысла.
                                                                          А понравился мне топик просто тем, что я получил эстетическое наслаждение, да и не только. Теперь я знаю, каких скоростей можно достигнуть на 10гбит сети :) Такой топик можно приравнять к аналогичным в автожурналах — всего-то фотографии и данные о скорости и мощностях, однако людям нравится.
                                                                          Нарушение правил — это точно. Но я что-то сомневаюсь, что автор их не видел. Мне кажется, что он вынужден был это сделать так как действительно находится в трудном финансовом положении. Какую-то копейку, но все таки я скинул, не жалко.
                                                                          • +1
                                                                            Когда я впервые узнал о Хабре, я был просто удивлен количеством уникальнейших людей и их знаний. К сожалению, хабр уже не торт желтеет. Возможно, я идеалист и слишком много жду.
                                                                            • –2
                                                                              Это техническая статья, в ней никого не убили, нет скандала, расследований, хабр ещё более чем торт.
                                                                              • 0
                                                                                Всем жить дружно, а то приедет нло и надерет уши.
                                                                                Спасибо за пост, будь здоров stay away from opium
                                                                          • 0
                                                                            Можно узнать
                                                                            1) Модели сетевых карт.
                                                                            2) Поддержку карт в операционных системах(трех).
                                                                            3) Узнать про существование твинаксиального кабеля(я узнал о нем только с месяц назад).
                                                                            4) Цены
                                                                            5) Тест скорости.
                                                                    • –1
                                                                      Linux-у более родны менее защищенные фотматы, как следствие — более скоростные. Взять ту же samba, где что-то нешифрованно отправить весьма проблематично. В отличие от nfs, например.
                                                                      • +1
                                                                        Простите… что?
                                                                        Вы скорость сети форматами мерять будете?

                                                                        Вообще-то я имел в виду очереди прерываний, smp_affinity, msi-x, interrupt throttle, offload-ы и так далее.
                                                                        • 0
                                                                          Я имел ввиду, что, как я понял, автор под «Скорость в Linux будет выше» имеет ввиду отсутствие расходов на шифрование\дешифрование, расходуемые на CPU, и вообще всю программную обвязку.
                                                                          • 0
                                                                            Скорость будет выше потому что там будет рейд из большего количества винтов, все уперлось в рейд на винде, а не в пропускную способность.
                                                                            • 0
                                                                              Вы вводите людей в заблуждение. У Вас процессоры резиновые?
                                                                              • 0
                                                                                Почему по вашему что то упрется в процессор?
                                                                                Пруф, топ с упершегося в процессор?
                                                                                Опыт показал что рейд жрет совсем немного процессора в самом слабом i7.
                                                                                • 0
                                                                                  При чем тут рейд? Я о сети.
                                                                                  Будет забито interrupt и system.
                                                                                  • 0
                                                                                    Вот вам топ с сервера который прокачивает через себя 5 гигабит в обе стороны, в фуле 10 получается.
                                                                                    top — 14:44:15 up 8 days, 9:36, 1 user, load average: 0.00, 0.00, 0.00
                                                                                    Tasks: 139 total, 1 running, 138 sleeping, 0 stopped, 0 zombie
                                                                                    Cpu0: 0.0%us, 0.0%sy, 0.0%ni, 91.3%id, 0.0%wa, 1.3%hi, 7.3%si, 0.0%st
                                                                                    Cpu1: 0.0%us, 0.0%sy, 0.0%ni, 90.0%id, 0.0%wa, 4.7%hi, 5.3%si, 0.0%st
                                                                                    Cpu2: 0.0%us, 0.0%sy, 0.0%ni, 92.3%id, 0.0%wa, 1.3%hi, 6.3%si, 0.0%st
                                                                                    Cpu3: 0.0%us, 0.0%sy, 0.0%ni, 83.8%id, 0.0%wa, 1.3%hi, 14.9%si, 0.0%st
                                                                                    Cpu4: 0.0%us, 0.0%sy, 0.0%ni, 86.0%id, 0.0%wa, 3.3%hi, 10.6%si, 0.0%st
                                                                                    Cpu5: 0.0%us, 0.0%sy, 0.0%ni, 78.0%id, 0.0%wa, 3.3%hi, 18.7%si, 0.0%st
                                                                                    Cpu6: 0.0%us, 0.0%sy, 0.0%ni, 86.3%id, 0.0%wa, 3.7%hi, 10.0%si, 0.0%st
                                                                                    Cpu7: 0.3%us, 0.0%sy, 0.0%ni, 85.7%id, 0.0%wa, 3.3%hi, 10.6%si, 0.0%st
                                                                                    Mem: 4047384k total, 562024k used, 3485360k free, 155504k buffers
                                                                                    Swap: 6094840k total, 0k used, 6094840k free, 295780k cached

                                                                                    PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
                                                                                    1 root 15 0 10348 704 588 S 0.0 0.0 0:04.85 init
                                                                                    2 root RT -5 0 0 0 S 0.0 0.0 0:01.44 migration/0
                                                                                    3 root 34 19 0 0 0 S 0.0 0.0 0:01.22 ksoftirqd/0
                                                                                    4 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/0
                                                                                    5 root RT -5 0 0 0 S 0.0 0.0 0:00.21 migration/1
                                                                                    6 root 34 19 0 0 0 S 0.0 0.0 0:00.07 ksoftirqd/1
                                                                                    7 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/1
                                                                                    8 root RT -5 0 0 0 S 0.0 0.0 0:00.20 migration/2
                                                                                    9 root 34 19 0 0 0 S 0.0 0.0 0:00.01 ksoftirqd/2
                                                                                    10 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/2
                                                                                    11 root RT -5 0 0 0 S 0.0 0.0 0:00.82 migration/3
                                                                                    12 root 34 19 0 0 0 S 0.0 0.0 0:00.05 ksoftirqd/3
                                                                                    13 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/3
                                                                                    14 root RT -5 0 0 0 S 0.0 0.0 0:00.10 migration/4
                                                                                    15 root 34 19 0 0 0 S 0.0 0.0 0:00.04 ksoftirqd/4
                                                                                    16 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/4
                                                                                    17 root RT -5 0 0 0 S 0.0 0.0 0:00.11 migration/5
                                                                                    18 root 34 19 0 0 0 S 0.0 0.0 0:00.06 ksoftirqd/5
                                                                                    19 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/5
                                                                                    20 root RT -5 0 0 0 S 0.0 0.0 0:00.34 migration/6
                                                                                    21 root 34 19 0 0 0 S 0.0 0.0 0:00.03 ksoftirqd/6
                                                                                    22 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/6
                                                                                    23 root RT -5 0 0 0 S 0.0 0.0 0:00.21 migration/7
                                                                                    24 root 34 19 0 0 0 S 0.0 0.0 0:00.01 ksoftirqd/7
                                                                                    25 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/7
                                                                                    26 root 10 -5 0 0 0 S 0.0 0.0 0:14.93 events/0
                                                                                    27 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/1
                                                                                    28 root 10 -5 0 0 0 S 0.0 0.0 0:00.03 events/2
                                                                                    29 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/3
                                                                                    30 root 10 -5 0 0 0 S 0.0 0.0 0:00.01 events/4
                                                                                    31 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/5
                                                                                    32 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/6
                                                                                    33 root 10 -5 0 0 0 S 0.0 0.0 0:00.01 events/7
                                                                                    34 root 11 -5 0 0 0 S 0.0 0.0 0:00.00 khelper
                                                                                    73 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kthread
                                                                                    84 root 10 -5 0 0 0 S 0.0 0.0 0:07.79 kblockd/0
                                                                                    85 root 10 -5 0 0 0 S 0.0 0.0 0:00.72 kblockd/1
                                                                                    86 root 10 -5 0 0 0 S 0.0 0.0 0:01.13 kblockd/2
                                                                                    87 root 10 -5 0 0 0 S 0.0 0.0 0:01.22 kblockd/3
                                                                                    88 root 10 -5 0 0 0 S 0.0 0.0 0:01.37 kblockd/4
                                                                                    89 root 10 -5 0 0 0 S 0.0 0.0 0:01.29 kblockd/5
                                                                                    90 root 10 -5 0 0 0 S 0.0 0.0 0:02.34 kblockd/6
                                                                                    91 root 10 -5 0 0 0 S 0.0 0.0 0:03.61 kblockd/7
                                                                                    92 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 kacpid
                                                                                    221 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 cqueue/0
                                                                                    222 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 cqueue/1

                                                                                    • 0
                                                                                      Пофиг гигабиты, вы pps'ы покажите ;)
                                                                                      • 0
                                                                                        А сколько вам надо ппс?
                                                                                        • 0
                                                                                          (5*10^9 бит/c): (900 * 8 бит(средний размер пакетов в инете)) ~= 745 kpps. Есть? ;)
                                                                                          • 0
                                                                                            Только у нас пакет средний скорее 1500 бит, так что примерно в два раза меньше ппс.
                                                                                • 0
                                                                                  У него «однозадачное» копирование большими блоками в один тред.
                                                                                  Человек убежден, что копирование в тоталкомандере и есть «реальная работа».
                                                                                  Этакий сторадж в виде одного большого флопика.

                                                                                  В этом варианте действительно упираться в процессор не будет.
                                                                                  • 0
                                                                                    Я привел топ с машины через которую проходят тысячи подключений.
                                                                                    А дома да, я пользуюсь один так что это реальная работа, позже сделаю тест на высокую нагрузку во много коннектов и выложу графики.
                                                                        • 0
                                                                          Пробовали на ProCurve 2510 и Intel гигабитной делать агрегацию канала средствами FreeBSD, оно довольно сильно жрало процессор.

                                                                          Да, PPS бы хотелось глянуть. Покупать 10Gb оборудование ради разницы на 10-100 пакетов не выгодно, тк сервер не один. Да и вообще сомнительные достижения этого 10Gb, разве что для iSCSI использовать.
                                                                          • +10
                                                                            Просто готовить не умеете :).
                                                                            Конкретно для FreeBSD не скажу, но для Linux готовлю так:
                                                                            1. Обязательно драйвер от Intel. Для FreeBSD — драйвер от Яндекса.
                                                                            2. Обязательно выставить кол-во очередей прерываний равным количеству CPU в SMP (или ядер, или ядер*CPU — ну Вы поняли; дальше буду называть ядрами).
                                                                            3. Прибить прерывания к ядрам. По умолчанию ОС балансирует прерывания на свободные ядра. Это хорошо для большинства случаев, но не для сети! Переключения контекста из-за балансировки занимают больше времени, чем собственно обработка прерываний. У меня выглядит где-то так:
                                                                            #!/bin/sh
                                                                            #
                                                                            #  irq2smp -- distribute hardware interrupts from Ethernet devices by CPU cores.
                                                                            #
                                                                            #  Should be called from /etc/rc.local.
                                                                            #
                                                                            
                                                                            /bin/echo 1 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-rx-0' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 2 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-rx-1' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 4 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-rx-2' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 8 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-rx-3' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 1 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-tx-0' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 2 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-tx-1' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 4 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-tx-2' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 8 >    /proc/irq/`cat /proc/interrupts | grep 'eth0-tx-3' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            
                                                                            
                                                                            
                                                                            /bin/echo 1 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-rx-0' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 2 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-rx-1' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 4 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-rx-2' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 8 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-rx-3' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 1 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-tx-0' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 2 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-tx-1' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 4 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-tx-2' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            /bin/echo 8 >    /proc/irq/`cat /proc/interrupts | grep 'eth1-tx-3' | awk -F \: '{printf "%i", $1}'`/smp_affinity
                                                                            

                                                                            Парировать tx+rx по вкусу по обстоятельствам, одну физическую карту желательно вешать на один физический процессор.
                                                                            4. Interrupt throttle rate — крутить вручную, читать документацию Intel-а. Если кратко, то обычно один пакет = одно прерывание. Это офигенно много прерываний. Intel-овские igb (и другие «матёрые» карты) умеют собирать пакеты в свой буфер и отдавать процессору пачкой, за одно прерывание. В драйвере от Intel по умолчанию стоит автоматическое определение размера (в зависимости от нагрузки) — я так и оставляю.
                                                                            5. offload-ы по вкусу, но внимательно смотреть на всякие софтовые (вроде GSO) — могут нервов испортить. Вообще, лучше все что можно аппаратное включать.
                                                                            6. ring buffer. По умолчанию — 256, что очень мало. Ставить 4096.
                                                                            7. И конечно же, пилить firewall. Присмотритесь — может, можно что-нибудь вынести в отдельные таблицы, а то и вообще сделать дерево (вроде hash filter)?
                                                                            • 0
                                                                              В линуксе знаю как настраивать. Не раз читал, но там FreeBSD, а она не умеет разбрасывать именно по ядрам прерывания как в Linux. Я могу ошибаться, но пока не нашел ничего подобного. net.isr и остальные параметры подобных вещей не дают. Серверы с нагрузкой справляются, просто хотелось бы еще чуть побольше из них выжать, что бы купить что-то более производительное для других целей.
                                                                              • +1
                                                                                У меня так:
                                                                                loader.conf
                                                                                hw.igb.rxd="4096"
                                                                                hw.igb.txd="4096"
                                                                                hw.igb.rx_process_limit="400"
                                                                                net.isr.maxthreads=4

                                                                                sysctl.conf
                                                                                net.route.netisr_maxqlen=512
                                                                                net.isr.direct=0

                                                                                Не спрашивайте, что все эти цифры и буквы значат. Сам не знаю. Но работает :).
                                                                                • 0
                                                                                  О, гугл рулит и педалит.
                                                                                  Вот так надо для прерываний:
                                                                                  loader.conf
                                                                                  <source lang=«bash>net.isr.maxthreads=4
                                                                                  net.isr.numthreads=4
                                                                                  net.isr.bindthreads=0
                                                                                  Последнее, как я понял — это прибивание потоков к ядрам. Я бы ставил 1.
                                                                                  • 0
                                                                                    Oops. Исправляюсь.
                                                                                    О, гугл рулит и педалит.
                                                                                    Вроде вот так надо для прерываний:
                                                                                    loader.conf
                                                                                    net.isr.maxthreads=4
                                                                                    net.isr.numthreads=4
                                                                                    net.isr.bindthreads=0

                                                                                    Последнее, как я понял — это прибивание потоков к ядрам. Я бы ставил 1.
                                                                                    • 0
                                                                                      насколько я понял, maxthreads — 1 для 2-4 ядер(Intel HT) и где-то около 4-5 для 16 ядер(AMD 61xx).
                                                                              • 0
                                                                                Не раз читал, но там FreeBSD, а она не умеет разбрасывать именно по ядрам прерывания как в Linux

                                                                                Да ну конечно!

                                                                                #top -aSCHIP
                                                                                last pid: 88161;  load averages:  1.10,  1.08,  1.07                                                up 358+05:03:51 17:51:33
                                                                                205 processes: 7 running, 180 sleeping, 18 waiting
                                                                                CPU 0:  0.0% user,  0.0% nice, 24.4% system,  1.1% interrupt, 74.4% idle
                                                                                CPU 1:  0.0% user,  0.0% nice, 25.6% system,  1.1% interrupt, 73.3% idle
                                                                                CPU 2:  0.0% user,  0.0% nice, 28.2% system,  0.4% interrupt, 71.4% idle
                                                                                CPU 3:  0.0% user,  0.0% nice, 24.1% system,  0.4% interrupt, 75.6% idle
                                                                                Mem: 644M Active, 800M Inact, 463M Wired, 68M Cache, 199M Buf, 26M Free
                                                                                Swap: 8192M Total, 20K Used, 8192M Free
                                                                                
                                                                                  PID USERNAME      PRI NICE   SIZE    RES STATE   C   TIME    CPU COMMAND
                                                                                   10 root          171 ki31     0K     8K RUN     3 7457.5 79.59% [idle: cpu3]
                                                                                   11 root          171 ki31     0K     8K RUN     2 7379.3 75.98% [idle: cpu2]
                                                                                   12 root          171 ki31     0K     8K CPU1    1 6679.1 73.19% [idle: cpu1]
                                                                                   13 root          171 ki31     0K     8K RUN     0 6126.0 72.17% [idle: cpu0]
                                                                                   25 root           43    -     0K     8K WAIT    1 1634.6 25.00% [em0_rx0_0]
                                                                                16298 root           43    -     0K     8K WAIT    0 963.3H 24.37% [em0_rx0_1]
                                                                                   29 root           43    -     0K     8K CPU2    2 1478.4 24.17% [em1_rx0_0]
                                                                                   30 root           43    -     0K     8K RUN     3 1477.9 23.19% [em1_rx0_1]
                                                                                   15 root          -32    -     0K     8K WAIT    0 162.0H  1.86% [swi4: clock]
                                                                                   27 root           16    -     0K     8K WAIT    3  88.9H  0.68% [swi16: em1_tx]
                                                                                   23 root           16    -     0K     8K WAIT    1  83.2H  0.68% [swi16: em0_tx]
                                                                                   37 root            8    -     0K     8K pftm    0  73.3H  0.49% [pfpurge]
                                                                                


                                                                                #pciconf -lv|grep 8257
                                                                                    device     = 'Intel Corporation 82573E Gigabit Ethernet Controller (Copper) (82573E)'
                                                                                    device     = 'Intel PRO/1000 PL Network Adaptor (82573L)'
                                                                                


                                                                                #grep -E 'em[0|1]' /var/run/dmesg.boot
                                                                                em0: <Intel® PRO/1000 Network Connection 7.0.5.Yandex[$Revision: 1.36.2.18 $]> port 0x3000-0x301f mem 0xd0300000-0xd031ffff irq 16 at device 0.0 on pci13
                                                                                em0: Using MSI interrupt
                                                                                em0: [FILTER]
                                                                                em0: Ethernet address: 00:30:48:64:e9:4a
                                                                                em1: <Intel® PRO/1000 Network Connection 7.0.5.Yandex[$Revision: 1.36.2.18 $]> port 0x4000-0x401f mem 0xd0400000-0xd041ffff irq 17 at device 0.0 on pci15
                                                                                em1: Using MSI interrupt
                                                                                em1: [FILTER]
                                                                                em1: Ethernet address: 00:30:48:64:e9:4b
                                                                                


                                                                                #cat /etc/rc.local
                                                                                # Bind all kernel threads to CPU cores 0,1 sharing common L2-cache
                                                                                ps -axo pid,command | egrep '^ *[0-9]+ \[' | while read pid cmd; do cpuset -l 0,1 -p $pid; done
                                                                                # Bind em0 and em1 threads to different CPU cores
                                                                                ps -axo pid,command | egrep '^ *[0-9]+ \[' | grep em0 | while read pid cmd; do cpuset -l 0,1 -p $pid; done
                                                                                ps -axo pid,command | egrep '^ *[0-9]+ \[' | grep em1 | while read pid cmd; do cpuset -l 2,3 -p $pid; done
                                                                                

                                                                                • 0
                                                                                  А где тут прерывания?
                                                                                  • 0
                                                                                    Конкретно прерывания хз, но как видите, целиком к тому или иному ядру сетевая обработка вполне привязывается — хотите, всеми сетевыми тредами, хотите, только по rx или tx.

                                                                              • 0
                                                                                А в чем суть драйверов? Раньше понятно наверно были какие то слабые дрова на интел в ядре, но с выхода центос 5 проблемы с затыком на интелевых сетевках я не встречал, спокойно прокачивают на родных драйверах 8 гигабитный поток, без фаервола.
                                                                                • 0
                                                                                  Странно. В лабораториях Intel из кожи вон лезут, чтобы 8 гигабит прокачать, а у Вас само работает.
                                                                                  • 0
                                                                                    Видимо не лезут, думаю там из кожи вон лезут чтобы прокачать 80 гигабит, а не 8.
                                                                                    Приведите пруф где на стандартных дровах ядра упирается все в сеть?
                                                                                    Пруфы старше двух лет приводить смысла нет.
                                                                                    • 0
                                                                                      Простите, а что случилось за два года?
                                                                                      • 0
                                                                                        Примерно два года назад появился центос 5 и я работал только с ним, чтобы было до этого мне не известно.

                                                                              • 0
                                                                                Как померить искуственно pps?
                                                                                В линуксе объединение использовал на 8 гигабит, загрузка процессора не более 20 процентов на пиковых трафиках.
                                                                                • 0
                                                                                  Снять счетчики с интерфейсов.
                                                                            • –2
                                                                              1)Драйвера из ядра более чем устраивают, другие драйвера не позволят мне выжать больше 10 гигабит.
                                                                              2)Два порта там потому что чип разрабатывался с ориентацией на системы виртуализации, а не потому что они там случайно.
                                                                              3)Правила хабра еду не отменяют.
                                                                              • 0
                                                                                Драйвера из ядра не умеют толком interrupt queues, interrupt throttle, offload-ы и так далее.
                                                                                • 0
                                                                                  как проверить наличие этих фич в драйвере?
                                                                                  • 0
                                                                                    modinfo igb
                                                                                    • 0
                                                                                      [root@bgp ~]# modinfo igb
                                                                                      filename: /lib/modules/2.6.18-164.el5/kernel/drivers/net/igb/igb.ko
                                                                                      version: 1.3.16-k2
                                                                                      license: GPL
                                                                                      description: Intel® Gigabit Ethernet Network Driver
                                                                                      author: Intel Corporation, <e1000-devel@lists.sourceforge.net>
                                                                                      srcversion: 78555F0A019E05BADBD95AA
                                                                                      alias: pci:v00008086d000010D6sv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d000010A9sv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d000010A7sv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d000010E8sv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d000010E7sv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d000010E6sv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d0000150Asv*sd*bc*sc*i*
                                                                                      alias: pci:v00008086d000010C9sv*sd*bc*sc*i*
                                                                                      depends: 8021q
                                                                                      vermagic: 2.6.18-164.el5 SMP mod_unload gcc-4.1
                                                                                      parm: max_vfs:Maximum number of virtual functions to allocate per physical function (uint)
                                                                                      module_sig: 883f3504a9f766557f09578a977b7e1128d840a0b238193ad8e9b9199cd57e22b8927088256c58209e33f9f9b82ee42e594098e7b7cc695344e394b3

                                                                                      • 0
                                                                                        Свежий драйвер от Intel:
                                                                                        filename: /lib/modules/2.6.35-ARCH/kernel/drivers/net/igb/igb.ko
                                                                                        version: 3.0.22
                                                                                        license: GPL
                                                                                        description: Intel® Gigabit Ethernet Network Driver
                                                                                        author: Intel Corporation, <e1000-devel@lists.sourceforge.net>
                                                                                        srcversion: 45B8078075068728A5A5573
                                                                                        alias: pci:v00008086d000010D6sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d000010A9sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d000010A7sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001526sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d000010E8sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d0000150Dsv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d000010E7sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d000010E6sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001518sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d0000150Asv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d000010C9sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00000440sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d0000043Csv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d0000043Asv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00000438sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001527sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001516sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001511sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001510sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d0000150Fsv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d0000150Esv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001524sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001523sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001522sv*sd*bc*sc*i*
                                                                                        alias: pci:v00008086d00001521sv*sd*bc*sc*i*
                                                                                        depends: dca
                                                                                        vermagic: 2.6.35-ARCH SMP preempt mod_unload
                                                                                        parm: InterruptThrottleRate:Maximum interrupts per second, per vector, (max 100000), default 3=adaptive (array of int)
                                                                                        parm: IntMode:Change Interrupt Mode (0=Legacy, 1=MSI, 2=MSI-X), default 2 (array of int)
                                                                                        parm: Node:set the starting node to allocate memory on, default -1 (array of int)
                                                                                        parm: LLIPort:Low Latency Interrupt TCP Port (0-65535), default 0=off (array of int)
                                                                                        parm: LLIPush:Low Latency Interrupt on TCP Push flag (0,1), default 0=off (array of int)
                                                                                        parm: LLISize:Low Latency Interrupt on Packet Size (0-1500), default 0=off (array of int)
                                                                                        parm: RSS:Number of Receive-Side Scaling Descriptor Queues (0-8), default 1=number of cpus (array of int)
                                                                                        parm: VMDQ:Number of Virtual Machine Device Queues: 0-1 = disable, 2-8 enable, default 0 (array of int)
                                                                                        parm: max_vfs:Number of Virtual Functions: 0 = disable, 1-7 enable, default 0 (array of int)
                                                                                        parm: QueuePairs:Enable TX/RX queue pairs for interrupt handling (0,1), default 1=on (array of int)
                                                                                        parm: EEE:Enable/disable on parts that support the feature (array of int)
                                                                                        parm: DMAC:Enable/disable on parts that support the feature (array of int)
                                                                                        parm: debug:Debug level (0=none, ..., 16=all) (int)
                                                                                        • 0
                                                                                          ну если старый прокачивает дуплексный поток в 10 гигабит, зачем новый?
                                                                                          а что за ось у вас на сервере? сколько гигабит прокачиваете?
                                                                                          • 0
                                                                                            Arch Linux.
                                                                                            Сколько прокачиваю — не скажу, т.к. за это мне служба безопасности по кумполу настучит.
                                                                                            Скажу только, что там e1g44et.
                                                                                            • 0
                                                                                              Интересней, какие именно параметры вы действительно настраивали из вышеперечисленных способностей.
                                                                                              Служба безопасности у вас мягко говоря, странная.
                                                                              • 0
                                                                                В обзоре (?) не описаны: драйвера, которые использовались (подозреваю igbx?), процессор, с которым это всё работало, как распределялись прерывания, и так далее. Без тюнинга всего этого даже нормальная гигабитная карта — всего лишь офигенно дорогой кусок текстолита и кремния.


                                                                                Какая разница, какие драйвера использовались? Других-то всё равно нет.
                                                                                Процессору, с которым это работало, по большей части вообще пофиг, для домашних задач у него нет ни одной ресурсоёмкой сетевой задачи(ни маршрутизации, ни роутинга, знай себе пихай данные в буфер сетевухи большими пакетами), да и на самой сетёвке куча offload'a существует.
                                                                                «Как распределялись прерывания», holy shit… Их на таких обьёмах PPS вообще не заметно. :)
                                                                                Насчёт гигабита «не гигабит без тюнинга» не согласен.

                                                                                Во-первых, производительность карт меряется в пакетах в секунду, а не в битах. Тем более не в байтах.

                                                                                Вах, не занудничайте. ;) Для домашних пользователей важнее байты в секунду, а профи и так всё знают.
                                                                              • +2
                                                                                Вы не видите этому применения? А зря, ведь оно — есть. И я уже люто загорелся этим, быть может даже запилю топик.

                                                                                Идея в том, чтобы вынести все винчестера куда-нибудь в другое место. Например, в соседнюю комнату, кладовку — куда угодно, где на их шум было бы наплевать. У меня, например, их 8 штук стоит, и все — WD Black. И их скрежетание периодически бесит (системник охлаждается по большей части пассивно, активное охлаждение только у винтов, собственно).

                                                                                Дальше от этой самой кладовки кинуть оптику. Если квартира в состоянии ремонта — можно даже заранее развести розетки… пусть будет задел на будущее. В кладовке поднять ISCSI, и поставить на него винду\линукс\что угодно. И загружать это локальной машинкой через pxe preloader. Я уже пробовал сделать это с гигабитной медью — работало, но скорость была ни к черту.

                                                                                А всех, кто сейчас тыкнет меня носом в SSD, можно смело посылать на яндексмаркет. Потому как мне даже приблизительно страшно представить, сколько будет стоить 16тб «чистого» сториджа на ссд. Реальный же обьем хранилища (с учетом рейдов) — 10Тб, и время доступа к 5Тб из них для меня критично ( виртуальные машины с всевозможными конфигурациями, сервиспаками, версиями и апдейтами винды для тестирования перед запуском софта в продакшн — всего 218 конфигураций ). На остальном же хранятся игрушки, bd-рипы и другая тяжелая фигня.

                                                                                И да, я понимаю, что моя задача несколько нестандартна. Но полностью бесшумный системник в подобной конфигурации меня будет безумно, люто и бешено радовать, потому как тесты гоняются в основном ночью, а засыпать под скрежетание винтов — не самое большое удовольствие.

                                                                                Вот.
                                                                                • 0
                                                                                  Но, согласитесь, не «домашняя» конфигурация. Вернее, не классическая домашняя конфигурация.
                                                                                  • 0
                                                                                    У меня, например, их 8 штук стоит, и все — WD Black.

                                                                                    8 двухтерабайтных WD Black? Это Сильно. У меня один терабайтный ночью спать мешает.
                                                                                    По сабжу: поищите, может, есть варианты с оптикой кроме iSCSI? Например, какой-нибудь SATA over fiber или что-то такое. А то у Вас с такой конфигурацией процесор будет забит прерываниями сетевой карты. Бегать будет быстро. Но работать — невозможно.
                                                                                    • 0
                                                                                      По сути сейчас существует 2 стандарта — ISCSI и AoE (ATA over Ethernet) для нормальной работы с удаленным диском. Более ничего не слышал никогда.

                                                                                      Или вы про «подключить диск непосредственно по оптике в мат.плату»? Тоже интересно, но, думаю, решение весьма непопулярно
                                                                                      • 0
                                                                                        Оба не подходят, т.к. сеть будет слишком много жрать. Банально CPU не хватит прерывания молотить и пакеты разворачивать. Плюс, почитайте о DMA & PIO — о первом можете забыть. Становится очень грустно.

                                                                                        Да, я склонен поискать что-то вроде «подключить диск непосредственно по оптике в мат.плату». Или же подключить оптику в какой-нибудь сферический конвертор SATA->оптика (ну и наоборот со второй стороны). Правда, Google молчит, но я верю, что оно есть :).
                                                                                        • 0
                                                                                          В теме про 90TB хранилище была микросхемка в стиле «разветвитель SATA».
                                                                                          Подумайте, ведь все, что вам нужно — упаковать 4 (в SATA же 4, кажется) провода в оптику. Судя по текущим тенденциям, 4 параллельных канала в оптику легко пакуются. Возможно, сами что-то соорудите.
                                                                                          • 0
                                                                                            4 параллельных — это уже WDM. На небольших расстояниях дешевле 4 волокна бросить :).
                                                                                            • 0
                                                                                              Я смотрю, вы хорошо осведомлены о высокоскоростных соедиениях Ethernet, как о меди, так и о не-меди. Можно ли вас попросить кинуть пару «ссылок» на «почитать»? А то у меня, думаю, как и у большинства хабровчан, знания на 1G по CAT5e заканчиваются, и присутствует некий миф про «оптика быстрее, выше, сильнее», мало чем подкрепленный.
                                                                                              • 0
                                                                                                Уххх. Сложны вопрос.
                                                                                                Так, чтобы популярно — нету вообще; по крайней мере, я не видел. Разве что это: nag.ru/articles/article/19974/kak-my-10gigabit-na-linux-routere-marshrutizirovali.html.
                                                                                                Если в плане высоких скоростей на PC — читать forum.nag.ru/ (хинт: ищите посты nuclearcat и его же вики), отчеты лабораторий Intel и Vyatta.
                                                                                                • +1
                                                                                                  а для freebsd посты Jab`a
                                                                                                  • 0
                                                                                                    Кстати, да. Он у себя на Татуине все на фряхе строит.
                                                                                            • +2
                                                                                              > Подумайте, ведь все, что вам нужно — упаковать 4 (в SATA же 4, кажется) провода в оптику.

                                                                                              Вы так это говорите, будто проще ничего и быть не может, как в чае сахар размешать ;)
                                                                                            • 0
                                                                                              FibreChannel
                                                                                            • 0
                                                                                              А почему просто не расшарить той же самбой или фтп?
                                                                                              • 0
                                                                                                Я так понял, речь идет про «Выносим ВСЕ HDD из компа _СОВСЕМ_».
                                                                                                • 0
                                                                                                  Ну все равно для них нужен корпус и прочее, чего уж мать поставить и расшарить по чеолвечески, это самое то для дома.
                                                                                              • 0
                                                                                                > По сути сейчас существует 2 стандарта — ISCSI и AoE (ATA over Ethernet) для нормальной работы с удаленным диском. Более ничего не слышал никогда.

                                                                                                А еще FC, FCoE, FCIP, iWARP.
                                                                                                Неужели про Fibre Channel ничег не слышали? Про диковинного кадавра AoE слышали, а про много лет успешно использующийся в этом качестве протокол — не слышали?
                                                                                                • 0
                                                                                                  Разве можно двумя адаптерами HBA FC соединять два ПК напрямую и инкапсулировать пакеты в Ethernet? Не приходилось работать с FCoE, но сколько не читал описания так и не понял про работу напрямую.
                                                                                                  • 0
                                                                                                    А это необходимо? Вообще отвечал я человеку, спросившему про «вынос дисков». FCP для «выноса дисков» подходит куда более прямо, чем iSCSI.

                                                                                                    Что касается вашего вопроса, т FCP это просто протокол, FC — среда. И там, и там можно много что сделать. Например есть реализация протокола внутри FC, которая передает потоковое видео в кадрах FC.

                                                                                                    Строго говоря чем отличается принципиально диск от хоста с точки зрения передачи данных?

                                                                                                    Инкапсуляция в Ehernet это обязательное условие? FC в общем и сам себе Ethernet, транспортный уровень там свой.
                                                                                                    • 0
                                                                                                      Ну просто тогда человеку придетсь, как минимум покупать полку хранения с FC выходом, а это уже выходит за рамки домашнего применения.
                                                                                                      Я понимаю что это среда и там можно много чего сделать были бы знания и время, меня как раз интерисует если уже такии готовые варианты, например для такой схемы:
                                                                                                      PC--HBA FC ----> HBA FC--PC-NFS-RAID. Инкапсуляция в Ethernet удобна прежде всего огромным колличеством программ работающих с Ethernet. Хотя конечно для высокой производительности неправлиьно городить над одним трансопртным протоколом другой, но в даном случаи я спрашиваю именно про домашнее применение.
                                                                                                      • 0
                                                                                                        fc довольно дорог и не для дома. Дома решает езернет по цене.
                                                                                                      • 0
                                                                                                        Не обязательно. Можно взять диски FC и подключить их в FC-AL.

                                                                                                        > Инкапсуляция в Ethernet удобна прежде всего огромным колличеством программ работающих с Ethernet.

                                                                                                        Программы работают не с «Ethernet», а с TCP/IP, а это все же разные вещи :)

                                                                                                        «Ethernet» это 1 и 2 уровень OSI, а TCP/IP — 3 и 4.
                                                                                                        • 0
                                                                                                          «Ethernet» это 1 и 2 уровень OSI, а TCP/IP — 3 и 4.
                                                                                                          Да конечно тут вы полностью правы, не совсем правильно выразился, тут конечно разговор про TCP/IP.
                                                                                                          Диски с FS интерфейсом дорогии, тут как раз сама идея использовать обычные sata диски, я понимаю что NetApp таким не занимаеться, просто интерисует сам вопрос если такое?
                                                                                                          • 0
                                                                                                            Раз уж вы сами выше привели ebay, то давайте посмотрим там не только HBA, но и диски.

                                                                                                            300GB 10K — 55$
                                                                                                            Целая полка, 14 штук 300GB 10K, за 1300$
                                                                                                            Там такого много.
                                                                                                            • 0
                                                                                                              Все такии для дома цена за 1,5k зеленых единиц не для домашнего использования, это еще и без дисков. Так то я понимаю что если используешь FC покупай полку, получаеться вариант описанный мной выше, не получиться на FC адаптерах!
                                                                                                              • 0
                                                                                                                Нет, вы не разобрались.

                                                                                                                PS. Я ничуть не агитирую за FC, я вообще считаю, что FC на сегодня, в 2011 году, это тупиковый путь.
                                                                                                                Но хоть Платон (Ethernet) мне друг, но истина мне дороже, и аргументы ваши за него слабы.
                                                                                                                • 0
                                                                                                                  А в чем думаете будет сила?
                                                                                                                  Я думаю что все таки езернет победит почти все.
                                                                                                                  Из конкурентов в этом сегменте знаю только fc и infiniband.
                                                                                                                  На что будет нетапп ориентироваться?
                                                                                                                  • 0
                                                                                                                    NetApp, если вы уж заговорил о нем, всегда ориентировался на Ethernet.
                                                                                                                    FCoE, iSCSI, SMB, NFS.
                                                                                                                    • 0
                                                                                                                      Значит верной дорогой идем товарищ.
                                                                                                                      • 0
                                                                                                                        Направление у вас может и верное, только путь больно крив и извилист :)
                                                                                                                        • 0
                                                                                                                          Ну это же дома.
                                                                                                                          В продакшене все намного лучше.
                                                                                                                          Подарите мне какую нибудь полку с сата винтами и кешем на ссд, было бы очень интересно пощупать такую схему на чтение/запись.
                                                                                                              • 0
                                                                                                                Это все бушное, а в плане винтов это не айс и нет гарантии никакой.