Как основатели Google «обманули» интернет-провайдера

    В 2000 году у компании Google были дата-центры только на западном побережье США, а компания хотела расшириться и открыть дата-центр на восточном побережье. Возникла проблема, как перенести огромную базу данных с одного дата-центра в другой. Поисковый индекс как раз превысил 1 млрд страниц и содержал десятки терабайт данных.

    В то время бизнес ещё не давал сумасшедших денег, и основатели компании Ларри Пейдж и Сергей Брин старались экономить, как могли. Они посчитали, что передача данных на скорости 1 Гбит/с займёт несколько суток, а за трафик придётся заплатить $250 тыс.

    Ларри и Сергей пошли на хитрость. Дело в том, что в то время у интернет-провайдеров была стандартная практика: загрузка канала замерялась каждые 5 минут, а в конце месяца отбрасывались 5% крайних показаний, чтобы нивелировать аномальные скачки трафика (см. burstable billing).

    Ларри и Сергей решили, что если они будут загружать канал менее чем 5% месяца (то есть 36 часов), то им удастся избежать оплаты. Так они и сделали: каждый месяц в течение трёх ночей Google передавал данные с западного на восточное побережье на максимальной скорости, а в остальное время маршрутизаторы были отключены. В конце месяца компания получала счёт на $0. Так продолжалось несколько месяцев, пока они не скопировали весь индекс.

    Наверное, основатели Google рассматривали и банальный вариант отправки носителей по почте. Но в те времена ёмкость HDD была не слишком большой: для записи 20 терабайт понадобились бы сотни HDD или ленточных накопителей, которые бы отправляли туда-обратно, вышло бы не так уж и дорого. Но они нашли вариант ещё дешевле.

    Эта история описана в книге Стивена Леви «В Гуглоплексе: как компания Google мыслит, действует и формирует наши жизни» (In The Plex: How Google Thinks, Works, and Shapes Our Lives).

    Кстати, похожая история с «оптимизацией» расходов произошла c Microsoft в 2012 году, когда в одном из дата-центров нужно было быстро сжечь электричества на $70 тыс., чтобы избежать штрафа $210 тыс. за невыработку необходимых объёмов.
    Поделиться публикацией
    Реклама помогает поддерживать и развивать наши сервисы

    Подробнее
    Реклама
    Комментарии 76
    • +25
      Зачёт!
      • –15
        Неужели им было выгоднее месяцы ждать, чем один раз заплатить? Или дата-центр на восточном побережье не должен был приносить вообще никакой прибыли?
        • +36
          200 тысяч баксов же за трафик. Это в два раза больше, чем они получили от основателя Sun двумя годами ранее.
          • +5
            Думаю, что у них было на тот момент достаточно времени, чтобы такое провернуть.
            • –18
              Скажите, у вас часто, делая что-то, появляется мысль «А вот это можно растянуть на много месяцев. У меня полно времени.»
              Помоему, когда чем-то занимаешься, то желаешь выполнить работу оперативно. Разве что, с финансовой точки зрения это действие абсолютно не выгодно.
              • +36
                У меня летом предстоит ремонт квартиры, мне нужна будет лазерная рулетка. Было два варианта — купить в китае за 70 баксов и получить ее через 45 дней. Или купить за 160 баксов в локальном магазине. Я купил в китае и теперь жду. Так как мне это не срочно.

                Тоже самое и у них. Скорее всего подготовка к запуску датацентра занимает не один месяц, можно данные перекачать в начале ( и заплатить 200 тыс), а потом три месяца ждать пока остальные работы завершатся. Или качать данные параллельно основным работам и ничего за это не заплатить.
                • –3
                  Ну, если это так, то вполне логично. Жаль что этот момент в статье не рассмотрен…
                  • +8
                    а можно линк на рулетку? спасибо.
                  • +2
                    Думаю, Гражданский кодекс и Закон о правах потребителя позволят вам вернуть в магазин рулетку на 14-й день использования, при условии сохранности упаковки и кассового чека. И вы заплатите как Google — 0$.
                    • +4
                      Если это технически-сложное устройство, то Вы можете его вернуть только в случае неисправности.
                      • 0
                        и то по моему только если в ремонт, когда я судился 4 года назад как раз в этом стоял момент, является ли принтер струйный технически сложным устройством и вынести решение вернуть деньги или отдать отремонтированный суд долго решал, в итоге по обоюдному сошлись спустя 2 года и жалобе за затяжку в областной суд. Но я так и не понял, ведь получается очень много устройств электронных можно косить в эту сторону, определяется только ближайшим сервисным центром с лицензией или еще как?
                      • +15
                        Ёлки не возвращаете? =)
                        • 0
                          Только искусственные)
                      • +1
                        Зато после ремонта можно открывать стартап — сдавать лазерную рулетку в аренду (локально). Так оно лучше себя окупит.
                        • 0
                          Можно было бы взять самому, заплатить 100 ру и ничего не ждать.
                          • 0
                            В тех местах, где такая услуга доступна, это да. А где нет, но есть спрос, там можно и стартап открыть.
                      • +1
                        Ну вот у меня, конекретно, сейчас валится домашняя видеоколлекция в бакет на Amazon Glacier. Валиться она будет, судя по текущей скорости, еще дней 20. Ну, в общем, я не против, пусть хоть не 20, а даже 30, или все 60 валится. От «оперативности» мне не станет ни лучше, ни хуже.
                    • +11
                      Как я понимаю, ситуация была на уровне «А какая разница? Месяц туда, месяц сюда....»
                      Просто тупо и банально экономический анализ: «Заработаем-ли мы при старте новой площадки ПРЯМО ЗАВТРА столько денег за время её простоя из-за синхронизации?!»

                      Т.е. — досрочное открытие дата-центра на восточном побережье за эти месяцы НЕ ПРИНЕСЛО-БЫ прибыль, которая окупила-бы пересылку этого дампа «скоростными» методами!!!

                      Это на уровне:
                      У вас зарплата 10 тысяч в месяц, до работы вы можете дойти пешком.
                      Вам предложили подработку, которая даст вам ещё 10 тысяч в месяц, но для этого надо один раз слетать на другой конец света за 250 тысяч туда-обратно, но потом будет приносить по 10 тыщ ежемесячно, работая по «удалёнке».
                      Или вы можете согласиться на подработку в соседнем кабинете, куда можете вполне спокойно дойти пешком и она будет приносить те-же 10 тысяч ежемесячно, но приступать там к работе вы сможете только через пару месяцев.

                      Аналогия понятна?
                      Если на доп-работу вы устроитесь прямо сейчас — расходы на старт окупятся только через 25 месяцев, а если подождать и не торопиться — теряете только двухмесячный заработок!
                    • +4
                      Так они думаю — как русские))
                      • +41
                        Скорее еврейские корни проявились :)
                      • +139
                        «Ларри и Пейдж»

                        Брин и Сергей тут не причем?
                        • –39
                          +1 Аффтар жжот
                          • +27
                            Все знают, что Отцы-основатели это: Ларри Брин и Сергей Пейдж.
                          • +105
                            «Оказывается, Карл, Маркс, Фридрих, Энгельс не четыре человека, а два, а Слава Кпсс — вообще не человек»
                            • –13
                              Блин, я 1 секунду назад собирался написать именно это!
                            • +12
                              «…не муж и жена, а четыре совершенно разных человека!»
                              • +3
                                Как сказал мой бывший одноклассник учителю литературы: «Да там Пьер убил Безухова на дуэли» на вопрос: «О чем данная глава книги Война и мир?».
                                • +1
                                  В конце этого нетипичного коана не ученик, а учитель должен был обрести просветление.
                            • +3
                              А книгу Леви на русский еще не переводили видимо?
                              • +15
                                пришлось быстро сжечь электричества на $70 тыс., чтобы избежать штрафа $210 тыс. за невыработку необходимых объёмов.
                                Что за дикость? О_о
                                Не, человечество никогда не освоит космос.
                                • +30
                                  Не переживайте, этого не было. Они врубили нагреватели на 35 Мегаватт, и выдвинули ультиматум — или снимаете штраф, или мы сожгем нужное количество электричества. В итоге штраф скостили до 60к.

                                  И это не дикость — производство электроэнергии для крупных потребителей нужно планировать заранее, для того и контракты со штрафами — чтобы все к планам относились ответственно.
                                  • +2
                                    Интересно, нафига в датацентре нагреватели на 35 Мегаватт?
                                    • +14
                                      Положили утюг в холодильник?
                                      • +5
                                        Если датацентр еще только строящийся, то, возможно, для тестирования системы охлаждения.
                                        • 0
                                          На случай ядерной зимы
                                          • 0
                                            На самом деле не систем охлаждения, (этот мегаутюг не в стойке стоит, а на улице) а для регулярного тестирования дизелей под нагрузкой. И действительно ядерной зимой, он во внутреннем дворе устраивает маленький филиал Сахары, с полным уничтожением всего снега и сушкой. :)
                                          • +3
                                            А планы на выработку и потребление объясняются чисто техническими проблемами. Если по плану в энергосистеме выработается пара никому не нужных (не потребленных) мегаватт, частота в сети скакнет и плохо будет всем :)
                                            У нас, кстати, штрафуют электростанцию, если она вдруг завалит планы по выработке мощности в энергосистему (даст больше или меньше запланированного).
                                          • +4
                                            facepalm.jpg

                                            Производство электричества в промышленных масштабах в каком-то смысле мало отличается от любого другого производства. Сказать «Спасибо, обойдемся» не вариант. Или вы знаете способ мгновенного выключения электростанции? :)
                                            • –1
                                              В отличии от России, во многих других странах, в тч и в США энергетическая промышленность совсем никак не относится к государству, и цена за киловатт может изменяться даже в течении дня, на сколько я помню. Это связано с тем, что промышленному заказчику будет безопаснее заплатить повышенную стоимость за электричество, если вдруг произойдет конвейерное отключение соседних энергосистем.
                                              • +4
                                                Здесь причиной является трудность остановки/ускорения турбины и веселые переходные процессы в энергосистеме, а не форма собственности. Именно из-за физики стараются планировать потребление электроэнергии крупными потребителями. И энергетики теряют самообладание, когда слышат о «часе земли»
                                            • +3
                                              В Беларуси еще год назад (не знаю как сейчас) мы вхолостую гоняли трафик в датацентре белтелекома, чтобы соблюсти соотношение входящего/исходящего, при котором цена за трафик становилась меньше.
                                              • +1
                                                Мне однажды пришлось залить на мастерхост (учитывал соотношение входящего/исходящего трафика) несколько гигов с макхоста (безлимитный трафик), чтобы аннулировать счет на ~300$ возникший после DDoS. Получилось. Я был в трансе от маразма происходящего, в начале попытался провести переговоры по поводу списания — не получилось.
                                              • +2
                                                Hacker-style.
                                                • 0
                                                  Не могу понять: если 95% времени канал не занят, а 5% — занят, то это не обсчет по загрузке, а именно по времени. То ли я не понимаю, то ли перевод такой…

                                                  И 30 или 36 часов?
                                                  • +1
                                                    Софт провайдера настроен таким образом, что 5% самых больших показателей отбрасывает. А это и есть активность, остальные 95% времени там не было активности.
                                                  • +2
                                                    Теперь они разбогатели и хотят компенсировать расходы провайдеру?
                                                    • +1
                                                      Я думаю, они с лихвой компенсировали их расходы тем, что многократно увеличили трафик провайдера за счет своего роста и развития))
                                                      • 0
                                                        Они настолько увеличили трафик многих провайдеров, что те уже требуют делиться с ними прибылью, а то расширять мощности в одиночку накладно выходит. И кое-кому (не помню точно) даже удалось договориться.
                                                      • +1
                                                        Купить, наверное, хотят. Для Google Fiber понадобится :)
                                                      • +3
                                                        Кто-то сказал, что богатые люди — это не те, у кого много денег, а те, кто не платит, если есть хоть малейшая возможность не заплатить.
                                                        • –1
                                                          Так и есть, в книгах по разбогатению(sic) проповедуют принцип «сначала заплати себе», а уж потом — кредиторам, налоговой, попрошайкам и т.п.
                                                        • +4
                                                          Способ, передачи данных (именно физической передачи носителя), называется SneakerNet. Рэндалл Монро, автор xkcd у себя в блоге обсуждал вопрос — когда же SneakerNet станет быстрее текущих каналов связи (перевод). Рекомендую ознакомиться.
                                                          • 0
                                                            > когда же SneakerNet станет быстрее текущих каналов связи
                                                            Вот только вопрос звучал наоборот: «Наступит ли когда-нибудь такой момент, что пропускная способность интернета превзойдет пропускную способность FedEx?»
                                                            • 0
                                                              Передача данных оффлайновыми каналами, как раз и называется SneakerNet

                                                              UPD. Как-то я неправильно написал вопрос.
                                                              • 0
                                                                Вы написали вопрос с точностью до наоборот. В оригинале он звучал как «станет ли когда-нибудь интернет быстрее SneakerNet-а» (с точностью до терминов), вы же написали «станет ли когда-нибудь SneakerNet быстрее интернета».
                                                          • +1
                                                            > загрузка канала замерялась каждые 5 минут, а в конце месяца отбрасывались 5% крайних показаний
                                                            Как они не додумались качать 4 минуты через одну?
                                                            • +4
                                                              Они бы додумались, но собственного их инсайдера не было у провайдера, наверное, иначе как синхронизировать и не влететь на 200k?
                                                              • +4
                                                                Скорее всего имелось в виду, что значения кол-ва проходяшего трафика снимались 5-минутными интервалами, и высчитывался bandwidth по этим показателям. Потом 5% пиков на полученном графике не считаются. Биллинг по такому методу и называется 95-percentile или Bandwidth (95%).

                                                                На графиках это выглядит как-то примерно так:
                                                                image
                                                              • 0
                                                                История из разряда красивых сказочек, которыми надо обязательно приправлять книгу, чтобы читалось интереснее…

                                                                Я начал использовать гугль в 98-99 году, уже тогда он был на слуху, а это значит по масшатабам был сравним с yahoo и прочими тогдашними интернет монстрами. Такие компании не строят датацентры, чтобы те простаивали несколько месяцев, так как банально на зарплату и рент за время простоя они заплатят суммы, исчисляемые миллионами. К тому же индекс живой, и за несколько месяцев изрядно потеряет актуальность.
                                                                • +1
                                                                  Датацентр не мгновенно строится.
                                                                  • +1
                                                                    Известность не значит, что безумно много кеша под подушкой. Адвордс (которые и вывел их на прибыльность) они только в 2000 году запустили.
                                                                  • –1
                                                                    Кто бы мог подумать… неужели?
                                                                    • +3
                                                                      Хороший трюк. Я в своё время (когда Google ещё не было, лучшими поисковиками были AltaVista и Rambler и доступ в Интернет в России был ещё мало у кого) тоже делал кое-что в этом духе для обхода ограничений на траффик. Но в ответом на вопрос «как перенести огромную базу данных с одного дата-центра в другой» я бы и сейчас выбрал ведро винчестеров/кассет.
                                                                      • 0
                                                                        Ну собственно при получении то сей обьем данных куда то записали, таки можно было не ждать а купить диски на стороне отправителя и привезти их в искомый датацентр-получатель. Только разве что затраты на транспорт (думаю в пару тыщь долларов а то и меньше влезли бы).
                                                                        • 0
                                                                          Быть может, хранилище уже смонтировали, и только потом подумали о стоимости передачи данных.
                                                                          Если представить, что нужно было смонтировать, например, 10 000 жестких дисков в одном месте, а потом снять и перевести в другое, экономия в 250k начинает выглядеть сомнительной.
                                                                          А 10000 стриммерных кассет сколько будут стоить, сколько времени записываться, перевозиться и сколько на это потребуется работы?
                                                                          Похоже, передать все по каналам связи было правильным решением, а сэкономить на трафике они решили из интереса и хакерского склада ума :)
                                                                          • 0
                                                                            А ещё есть вариант, что данные у них (как по слухам поступает и Яндекс) хранятся в памяти, а не на винчестерах
                                                                          • +1
                                                                            А почему «обманули»? Все в рамках договора.
                                                                            • 0
                                                                              Помню, лет 13 назад в Новосибирске был (а может и сейчас есть) доступ в интернет от Сибирьтелекома по номеру 8-180. Очень удобно — не нужно покупать никаких карточек и дозваниваться до многочисленных номеров, как было у других провайдеров. Правда, не так дёшево, как у них.
                                                                              Но! с одним «хак»-моментом: соединения через «восмёрку» длительностью меньше 45 секунд не тарифицировались. То есть вообще!
                                                                              В результате при определённой сноровке почта скачивалась мелкими порциями, вложения в письмах были строго нужного размера (чтобы кусок мог проскочить в безопасное время), а навигация по просторам интернета сводилась к дозвону и пулемётному щёлканию по нескольким ссылкам, затем отключаемся — смотрим, что там скачалось — и если нужно повторяем сеанс.
                                                                              Аналогично, кстати, было и с обычными (голосовыми) звонками. Из пригорода и области народ звонил в город — и потом с пулемётной скоростью за 45 секунд рассказывал новости. При желании сеанс повторяли несколько раз.
                                                                              А потом, в 2004-м году лавочку прикрыли и стали тарифицировать всё. Но это уже совсем другая история.
                                                                              • 0
                                                                                Это что, у нас народ ухитрялся в 10 нетарифицируемых секунд укладываться и бесплатно звонить с мобил Северо-Западного GSM (из которого позже вырос «Мегафон») вообще куда угодно, включая страны дальнего зарубежья.
                                                                                • 0
                                                                                  У нас так постепенно планку скорозвонства (правда внутри страны) довели до 2 секунд. А потом вообще отказались от этой акции — народ таки разговаривал бесплатно )))
                                                                                • 0
                                                                                  Помню, лет 13 назад в Новосибирске был (а может и сейчас есть) доступ в интернет от Сибирьтелекома по номеру 8-180.

                                                                                  Да, помню делал так. Было очень медленно и неудобно, но позволяло экономить деньги бедным студентам ;-) Кстати, очень помогал wget и прочие выкачивальщики сайтов целиком.
                                                                                • 0
                                                                                  Не только «то время» — burstable-тарификация широко применяется при межоператорских расчётах по сей день.
                                                                                  Но сейчас операторы стали умнее и делают так: к примеру, если предоплачиваешь 100 мегабит по burstable, порт лимитируется на 200 мегабит.
                                                                                  В итоге полной халявы не выходит.

                                                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.