Редактор «Гиктаймс»
642,7
рейтинг
20 февраля 2013 в 13:47

Как основатели Google «обманули» интернет-провайдера

В 2000 году у компании Google были дата-центры только на западном побережье США, а компания хотела расшириться и открыть дата-центр на восточном побережье. Возникла проблема, как перенести огромную базу данных с одного дата-центра в другой. Поисковый индекс как раз превысил 1 млрд страниц и содержал десятки терабайт данных.

В то время бизнес ещё не давал сумасшедших денег, и основатели компании Ларри Пейдж и Сергей Брин старались экономить, как могли. Они посчитали, что передача данных на скорости 1 Гбит/с займёт несколько суток, а за трафик придётся заплатить $250 тыс.

Ларри и Сергей пошли на хитрость. Дело в том, что в то время у интернет-провайдеров была стандартная практика: загрузка канала замерялась каждые 5 минут, а в конце месяца отбрасывались 5% крайних показаний, чтобы нивелировать аномальные скачки трафика (см. burstable billing).

Ларри и Сергей решили, что если они будут загружать канал менее чем 5% месяца (то есть 36 часов), то им удастся избежать оплаты. Так они и сделали: каждый месяц в течение трёх ночей Google передавал данные с западного на восточное побережье на максимальной скорости, а в остальное время маршрутизаторы были отключены. В конце месяца компания получала счёт на $0. Так продолжалось несколько месяцев, пока они не скопировали весь индекс.

Наверное, основатели Google рассматривали и банальный вариант отправки носителей по почте. Но в те времена ёмкость HDD была не слишком большой: для записи 20 терабайт понадобились бы сотни HDD или ленточных накопителей, которые бы отправляли туда-обратно, вышло бы не так уж и дорого. Но они нашли вариант ещё дешевле.

Эта история описана в книге Стивена Леви «В Гуглоплексе: как компания Google мыслит, действует и формирует наши жизни» (In The Plex: How Google Thinks, Works, and Shapes Our Lives).

Кстати, похожая история с «оптимизацией» расходов произошла c Microsoft в 2012 году, когда в одном из дата-центров нужно было быстро сжечь электричества на $70 тыс., чтобы избежать штрафа $210 тыс. за невыработку необходимых объёмов.
Анатолий Ализар @alizar
карма
681,6
рейтинг 642,7
Редактор «Гиктаймс»
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (76)

  • +25
    Зачёт!
  • –15
    Неужели им было выгоднее месяцы ждать, чем один раз заплатить? Или дата-центр на восточном побережье не должен был приносить вообще никакой прибыли?
    • +36
      200 тысяч баксов же за трафик. Это в два раза больше, чем они получили от основателя Sun двумя годами ранее.
    • +5
      Думаю, что у них было на тот момент достаточно времени, чтобы такое провернуть.
      • –18
        Скажите, у вас часто, делая что-то, появляется мысль «А вот это можно растянуть на много месяцев. У меня полно времени.»
        Помоему, когда чем-то занимаешься, то желаешь выполнить работу оперативно. Разве что, с финансовой точки зрения это действие абсолютно не выгодно.
        • +36
          У меня летом предстоит ремонт квартиры, мне нужна будет лазерная рулетка. Было два варианта — купить в китае за 70 баксов и получить ее через 45 дней. Или купить за 160 баксов в локальном магазине. Я купил в китае и теперь жду. Так как мне это не срочно.

          Тоже самое и у них. Скорее всего подготовка к запуску датацентра занимает не один месяц, можно данные перекачать в начале ( и заплатить 200 тыс), а потом три месяца ждать пока остальные работы завершатся. Или качать данные параллельно основным работам и ничего за это не заплатить.
          • –3
            Ну, если это так, то вполне логично. Жаль что этот момент в статье не рассмотрен…
          • +8
            а можно линк на рулетку? спасибо.
            • +12
              Я взял UT391
          • +2
            Думаю, Гражданский кодекс и Закон о правах потребителя позволят вам вернуть в магазин рулетку на 14-й день использования, при условии сохранности упаковки и кассового чека. И вы заплатите как Google — 0$.
            • +4
              Если это технически-сложное устройство, то Вы можете его вернуть только в случае неисправности.
              • 0
                и то по моему только если в ремонт, когда я судился 4 года назад как раз в этом стоял момент, является ли принтер струйный технически сложным устройством и вынести решение вернуть деньги или отдать отремонтированный суд долго решал, в итоге по обоюдному сошлись спустя 2 года и жалобе за затяжку в областной суд. Но я так и не понял, ведь получается очень много устройств электронных можно косить в эту сторону, определяется только ближайшим сервисным центром с лицензией или еще как?
            • +15
              Ёлки не возвращаете? =)
              • 0
                Только искусственные)
          • +1
            Зато после ремонта можно открывать стартап — сдавать лазерную рулетку в аренду (локально). Так оно лучше себя окупит.
            • 0
              Можно было бы взять самому, заплатить 100 ру и ничего не ждать.
              • 0
                В тех местах, где такая услуга доступна, это да. А где нет, но есть спрос, там можно и стартап открыть.
        • +1
          Ну вот у меня, конекретно, сейчас валится домашняя видеоколлекция в бакет на Amazon Glacier. Валиться она будет, судя по текущей скорости, еще дней 20. Ну, в общем, я не против, пусть хоть не 20, а даже 30, или все 60 валится. От «оперативности» мне не станет ни лучше, ни хуже.
    • +11
      Как я понимаю, ситуация была на уровне «А какая разница? Месяц туда, месяц сюда....»
      Просто тупо и банально экономический анализ: «Заработаем-ли мы при старте новой площадки ПРЯМО ЗАВТРА столько денег за время её простоя из-за синхронизации?!»

      Т.е. — досрочное открытие дата-центра на восточном побережье за эти месяцы НЕ ПРИНЕСЛО-БЫ прибыль, которая окупила-бы пересылку этого дампа «скоростными» методами!!!

      Это на уровне:
      У вас зарплата 10 тысяч в месяц, до работы вы можете дойти пешком.
      Вам предложили подработку, которая даст вам ещё 10 тысяч в месяц, но для этого надо один раз слетать на другой конец света за 250 тысяч туда-обратно, но потом будет приносить по 10 тыщ ежемесячно, работая по «удалёнке».
      Или вы можете согласиться на подработку в соседнем кабинете, куда можете вполне спокойно дойти пешком и она будет приносить те-же 10 тысяч ежемесячно, но приступать там к работе вы сможете только через пару месяцев.

      Аналогия понятна?
      Если на доп-работу вы устроитесь прямо сейчас — расходы на старт окупятся только через 25 месяцев, а если подождать и не торопиться — теряете только двухмесячный заработок!
  • +4
    Так они думаю — как русские))
    • +41
      Скорее еврейские корни проявились :)
  • +139
    «Ларри и Пейдж»

    Брин и Сергей тут не причем?
    • –39
      +1 Аффтар жжот
    • +27
      Все знают, что Отцы-основатели это: Ларри Брин и Сергей Пейдж.
      • 0
        deleted
    • +105
      «Оказывается, Карл, Маркс, Фридрих, Энгельс не четыре человека, а два, а Слава Кпсс — вообще не человек»
      • –13
        Блин, я 1 секунду назад собирался написать именно это!
        • +13
          Всем добра!
      • +12
        «…не муж и жена, а четыре совершенно разных человека!»
      • +3
        Как сказал мой бывший одноклассник учителю литературы: «Да там Пьер убил Безухова на дуэли» на вопрос: «О чем данная глава книги Война и мир?».
        • +1
          В конце этого нетипичного коана не ученик, а учитель должен был обрести просветление.
  • +3
    А книгу Леви на русский еще не переводили видимо?
  • +15
    пришлось быстро сжечь электричества на $70 тыс., чтобы избежать штрафа $210 тыс. за невыработку необходимых объёмов.
    Что за дикость? О_о
    Не, человечество никогда не освоит космос.
    • +30
      Не переживайте, этого не было. Они врубили нагреватели на 35 Мегаватт, и выдвинули ультиматум — или снимаете штраф, или мы сожгем нужное количество электричества. В итоге штраф скостили до 60к.

      И это не дикость — производство электроэнергии для крупных потребителей нужно планировать заранее, для того и контракты со штрафами — чтобы все к планам относились ответственно.
      • +2
        Интересно, нафига в датацентре нагреватели на 35 Мегаватт?
        • +14
          Положили утюг в холодильник?
        • +5
          Если датацентр еще только строящийся, то, возможно, для тестирования системы охлаждения.
        • 0
          На случай ядерной зимы
        • 0
          На самом деле не систем охлаждения, (этот мегаутюг не в стойке стоит, а на улице) а для регулярного тестирования дизелей под нагрузкой. И действительно ядерной зимой, он во внутреннем дворе устраивает маленький филиал Сахары, с полным уничтожением всего снега и сушкой. :)
      • +3
        А планы на выработку и потребление объясняются чисто техническими проблемами. Если по плану в энергосистеме выработается пара никому не нужных (не потребленных) мегаватт, частота в сети скакнет и плохо будет всем :)
        У нас, кстати, штрафуют электростанцию, если она вдруг завалит планы по выработке мощности в энергосистему (даст больше или меньше запланированного).
    • +4
      facepalm.jpg

      Производство электричества в промышленных масштабах в каком-то смысле мало отличается от любого другого производства. Сказать «Спасибо, обойдемся» не вариант. Или вы знаете способ мгновенного выключения электростанции? :)
      • –1
        В отличии от России, во многих других странах, в тч и в США энергетическая промышленность совсем никак не относится к государству, и цена за киловатт может изменяться даже в течении дня, на сколько я помню. Это связано с тем, что промышленному заказчику будет безопаснее заплатить повышенную стоимость за электричество, если вдруг произойдет конвейерное отключение соседних энергосистем.
        • +4
          Здесь причиной является трудность остановки/ускорения турбины и веселые переходные процессы в энергосистеме, а не форма собственности. Именно из-за физики стараются планировать потребление электроэнергии крупными потребителями. И энергетики теряют самообладание, когда слышат о «часе земли»
    • +3
      В Беларуси еще год назад (не знаю как сейчас) мы вхолостую гоняли трафик в датацентре белтелекома, чтобы соблюсти соотношение входящего/исходящего, при котором цена за трафик становилась меньше.
    • +1
      Мне однажды пришлось залить на мастерхост (учитывал соотношение входящего/исходящего трафика) несколько гигов с макхоста (безлимитный трафик), чтобы аннулировать счет на ~300$ возникший после DDoS. Получилось. Я был в трансе от маразма происходящего, в начале попытался провести переговоры по поводу списания — не получилось.
  • +2
    Hacker-style.
  • 0
    Не могу понять: если 95% времени канал не занят, а 5% — занят, то это не обсчет по загрузке, а именно по времени. То ли я не понимаю, то ли перевод такой…

    И 30 или 36 часов?
    • +1
      Софт провайдера настроен таким образом, что 5% самых больших показателей отбрасывает. А это и есть активность, остальные 95% времени там не было активности.
  • +2
    Теперь они разбогатели и хотят компенсировать расходы провайдеру?
    • +1
      Я думаю, они с лихвой компенсировали их расходы тем, что многократно увеличили трафик провайдера за счет своего роста и развития))
      • 0
        Они настолько увеличили трафик многих провайдеров, что те уже требуют делиться с ними прибылью, а то расширять мощности в одиночку накладно выходит. И кое-кому (не помню точно) даже удалось договориться.
    • +1
      Купить, наверное, хотят. Для Google Fiber понадобится :)
  • +3
    Кто-то сказал, что богатые люди — это не те, у кого много денег, а те, кто не платит, если есть хоть малейшая возможность не заплатить.
    • –1
      Так и есть, в книгах по разбогатению(sic) проповедуют принцип «сначала заплати себе», а уж потом — кредиторам, налоговой, попрошайкам и т.п.
  • +4
    Способ, передачи данных (именно физической передачи носителя), называется SneakerNet. Рэндалл Монро, автор xkcd у себя в блоге обсуждал вопрос — когда же SneakerNet станет быстрее текущих каналов связи (перевод). Рекомендую ознакомиться.
    • 0
      > когда же SneakerNet станет быстрее текущих каналов связи
      Вот только вопрос звучал наоборот: «Наступит ли когда-нибудь такой момент, что пропускная способность интернета превзойдет пропускную способность FedEx?»
      • 0
        Передача данных оффлайновыми каналами, как раз и называется SneakerNet

        UPD. Как-то я неправильно написал вопрос.
        • 0
          Вы написали вопрос с точностью до наоборот. В оригинале он звучал как «станет ли когда-нибудь интернет быстрее SneakerNet-а» (с точностью до терминов), вы же написали «станет ли когда-нибудь SneakerNet быстрее интернета».
  • +1
    > загрузка канала замерялась каждые 5 минут, а в конце месяца отбрасывались 5% крайних показаний
    Как они не додумались качать 4 минуты через одну?
    • +4
      Они бы додумались, но собственного их инсайдера не было у провайдера, наверное, иначе как синхронизировать и не влететь на 200k?
    • +4
      Скорее всего имелось в виду, что значения кол-ва проходяшего трафика снимались 5-минутными интервалами, и высчитывался bandwidth по этим показателям. Потом 5% пиков на полученном графике не считаются. Биллинг по такому методу и называется 95-percentile или Bandwidth (95%).

      На графиках это выглядит как-то примерно так:
      image
  • 0
    История из разряда красивых сказочек, которыми надо обязательно приправлять книгу, чтобы читалось интереснее…

    Я начал использовать гугль в 98-99 году, уже тогда он был на слуху, а это значит по масшатабам был сравним с yahoo и прочими тогдашними интернет монстрами. Такие компании не строят датацентры, чтобы те простаивали несколько месяцев, так как банально на зарплату и рент за время простоя они заплатят суммы, исчисляемые миллионами. К тому же индекс живой, и за несколько месяцев изрядно потеряет актуальность.
    • +1
      Датацентр не мгновенно строится.
    • +1
      Известность не значит, что безумно много кеша под подушкой. Адвордс (которые и вывел их на прибыльность) они только в 2000 году запустили.
  • –1
    Кто бы мог подумать… неужели?
  • +3
    Хороший трюк. Я в своё время (когда Google ещё не было, лучшими поисковиками были AltaVista и Rambler и доступ в Интернет в России был ещё мало у кого) тоже делал кое-что в этом духе для обхода ограничений на траффик. Но в ответом на вопрос «как перенести огромную базу данных с одного дата-центра в другой» я бы и сейчас выбрал ведро винчестеров/кассет.
  • 0
    Ну собственно при получении то сей обьем данных куда то записали, таки можно было не ждать а купить диски на стороне отправителя и привезти их в искомый датацентр-получатель. Только разве что затраты на транспорт (думаю в пару тыщь долларов а то и меньше влезли бы).
    • 0
      Быть может, хранилище уже смонтировали, и только потом подумали о стоимости передачи данных.
      Если представить, что нужно было смонтировать, например, 10 000 жестких дисков в одном месте, а потом снять и перевести в другое, экономия в 250k начинает выглядеть сомнительной.
      А 10000 стриммерных кассет сколько будут стоить, сколько времени записываться, перевозиться и сколько на это потребуется работы?
      Похоже, передать все по каналам связи было правильным решением, а сэкономить на трафике они решили из интереса и хакерского склада ума :)
    • 0
      А ещё есть вариант, что данные у них (как по слухам поступает и Яндекс) хранятся в памяти, а не на винчестерах
  • +1
    А почему «обманули»? Все в рамках договора.
  • 0
    Помню, лет 13 назад в Новосибирске был (а может и сейчас есть) доступ в интернет от Сибирьтелекома по номеру 8-180. Очень удобно — не нужно покупать никаких карточек и дозваниваться до многочисленных номеров, как было у других провайдеров. Правда, не так дёшево, как у них.
    Но! с одним «хак»-моментом: соединения через «восмёрку» длительностью меньше 45 секунд не тарифицировались. То есть вообще!
    В результате при определённой сноровке почта скачивалась мелкими порциями, вложения в письмах были строго нужного размера (чтобы кусок мог проскочить в безопасное время), а навигация по просторам интернета сводилась к дозвону и пулемётному щёлканию по нескольким ссылкам, затем отключаемся — смотрим, что там скачалось — и если нужно повторяем сеанс.
    Аналогично, кстати, было и с обычными (голосовыми) звонками. Из пригорода и области народ звонил в город — и потом с пулемётной скоростью за 45 секунд рассказывал новости. При желании сеанс повторяли несколько раз.
    А потом, в 2004-м году лавочку прикрыли и стали тарифицировать всё. Но это уже совсем другая история.
    • 0
      Это что, у нас народ ухитрялся в 10 нетарифицируемых секунд укладываться и бесплатно звонить с мобил Северо-Западного GSM (из которого позже вырос «Мегафон») вообще куда угодно, включая страны дальнего зарубежья.
      • 0
        У нас так постепенно планку скорозвонства (правда внутри страны) довели до 2 секунд. А потом вообще отказались от этой акции — народ таки разговаривал бесплатно )))
    • 0
      Помню, лет 13 назад в Новосибирске был (а может и сейчас есть) доступ в интернет от Сибирьтелекома по номеру 8-180.

      Да, помню делал так. Было очень медленно и неудобно, но позволяло экономить деньги бедным студентам ;-) Кстати, очень помогал wget и прочие выкачивальщики сайтов целиком.
  • 0
    Не только «то время» — burstable-тарификация широко применяется при межоператорских расчётах по сей день.
    Но сейчас операторы стали умнее и делают так: к примеру, если предоплачиваешь 100 мегабит по burstable, порт лимитируется на 200 мегабит.
    В итоге полной халявы не выходит.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.