Пользователь
0,0
рейтинг
3 мая 2011 в 01:16

Google Global Cache — для избранных

Одна из характеристик Google — предоставление качественный сервисов, бесплатно и с выгодой для себя.

Google Global Cache (GGC) — одно из решений по оптимизации огромных объемов своего трафика на базе платформы CDN, да еще и с пользой для пользователей (читай провайдеров).

Но что же все-таки это такое?


Взрыв широкополосного доступа и богатый мультимедийный контент постоянно увеличивает спрос от провайдеров Интернета (ISP). GGC позволяет предоставлять Google контент, в первую очередь видео, из собственной сети (провайдера). Это облегчает нагрузки на сеть и снижает затраты на транзитные линки, тем самым экономя деньги провайдеров, в то же время повышая уровень обслуживания пользователей.

Проект GGC находятся на стадии бета, поэтому соглашение с провайдером является коммерческой тайной, и запрещено использовать упоминания об этой услуги в своих целях.

Обзор системы


Без GGC, каждый запрос пользователя из сети провайдера на видео YouTube, Google Apps, etc. создает транзит этого экземпляра видео по сети, от Google к пользователю.
С GGC, только первая копия видео проходит транзит по всей сети. Если другой пользователь запрашивает то же видео, Google обслуживает его из узла GGC.

Особенности GGC


сокращение трафика через сети: процент запросов через cache варьирует в зависимости от схемы использования пользователей, но типичная производительность близка к 75%,

быстрый ответ, прозрачный для пользователей: Google прозрачно обслуживает пользователей запросы из кэша внутри сети,

простота установки: для установки требуется rack (шкаф), ноутбук, копия CD от Google, а также подключение к Интернету. После того как сервера были настроены и доступны из сети, Google будет делать всю остальную работу и мониторить удаленно,

надежность: узел имеет несколько уровней избыточности. Если узел GGC недоступен по любой причине, запросы пользователей будут отправлены прозрачно для Google.

Как GGC работает


Когда пользователь запрашивает части содержания — например, видео, веб-страницы или изображения — системы Google определяют, если этот ресурс может быть предоставлен из узла GGC внутри сети, и если пользователь имеет право доступа к узлу GGC.
Если узел GGC уже имеет закэшированую версию запрашиваемого контента в своем локальном кэше, он будет предоставлять контент непосредственно конечному потребителю, улучшая работу пользователей и экономя деньги за Интернет транзит.
Если содержимое не хранится на узле GGC, узел скачивает их из Google, предоставляет его пользователю, и хранит его для будущих запросов.

Диаграмма запросов



1. Пользователь запрашивает по ссылке видео или другой контент размещенный на Google. Компьютер генерирует запрос DNS для адреса хоста.
2. DNS провайдера запрашивает DNS Google на адрес IP хоста с содержанием.
3. DNS Google знает, что у вас есть GGC, так что ответы содержат IP адреса GGC узла провайдера.
Это известно, потому что провайдер анонсировал IP адреса DNS резолвера узлу GGC (через BGP) и Google обновил информацию в свой DNS.
4. DNS провайдера отвечает IP-адрес GGC узла пользователю.
5. Компьютер пользователя отправляет запрос на IP адрес который маршрутизируется на GGC узел.
6. Узел подтверждает, что пользователь имеет доступ к этому узлу (делается путем сопоставления IP-адресa пользователя в список блоков IP анонсированных через узел BGP.) Если адрес не является в списке, пользователь перенаправляется на кэш в сети Google.
7. Если контент не содержится на узле GGC, узел запрашивает контент из Google и кэширует его.
8. После того как узел GGC содержит контент, отдает его пользователю. Контент содержится на узле, так что следующий запрос может быть отдан без запроса к Google.

Предоставляемое оборудование от Google


Google предоставляет необходимое оборудование, провайдер должен обеспечить размещение с своем помещении, питание от электросети и подключение к Интернету.

GGC работает на стоечных серверах (rack mountable), по 3-8 в каждом кластере.

Характеристики серверов
• 2 RU Rack-mountable chassis
• 74см Д x 44см Щ x 8.64см В
• Вес: 28 КГ
• Блок питания: 2x 110/220 VAC.
• 4 x 1000Base-T copper Gigabit Ethernet
• IP адресация: выделенная подсеть (один широковещательный домен).



Возможные конфигурации:
3 сервера — 6RU 1200W
4 сервера — 8RU 1600W
6 сервера — 12RU 2400W
8 сервера — 16RU 3200W

Администрирование


Используется сайт ggcadmin.google.com, для конфигурации узла и информации о доставке. Первоначальный пользователь получает доступ к порталу от группы GGC.
После принятия бета-соглашения, пользователь может пригласить дополнительных пользователей.

Остальные детали


— Google сохраняет право собственности на оборудование и программное обеспечение, из которого составлен узел. Google будет отвечать за техническое обслуживание, поддержку и транспортные расходы, связанные с серверным оборудованием,
— По уверениям Google, конфиденциальность пользователей имеет первостепенное значение.
Личная информация (Personally Identifiable Information) или частный контет пользователей не сохраняется на узле GGC,
— Google сохраняет право требовать от провайдеров заверений о неразглашении использования услуги, так как проект находится в стадии бета.

Почему для избранных спросите вы?
Дело в том что Google обычно предлагает сам такие услуги только тем провайдерам, которые присутствуют в крупнейших точках обмена трафиком и если трафик на ресурсоемкие услуги Google (youtube, maps) составляют значительный процент от трафика (>70%).

Ссылки по теме:
Google @ Peering DB
Региональное кеширование от Google и реакция на него СМИ
Вот пример
blogger analytics
@prox
карма
48,0
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (29)

  • +5
    У яндекса тоже вроде похожий сервис был.
    • +1
      Их сервис имел смысл в основном в тяжелые времена оплаты за трафик и крайне низких скоростей, то есть в создании удобств непосредственно пользователю.
      Сегодня пользователь вряд ли заметит, загрузится у него ролик с ютуба за 3 секунды от провайдера или за 7 секунд из интернета, сервис гугла направлен на создание удобств в первую очередь провайдерам.
      • 0
        Разве провайдерам, а не себе лично? Ведь у них падает нагрузка на сети, а не у провайдеров.
        • +3
          И себе и провайдеру. Это у конечных пользователей сейчас есть безлимитные тарифы. А провайдерам — чем меньше трафика тем лучше.
          • 0
            Полагаю, что на фоне торрентов гугл смотриться весьма скромно.
            • +1
              Скромно, но тем не менее тот же youtube занимает приличный кусок, особенно у указанных в статье крупных провайдеров.
              • 0
                тем не менее — полагаю, что это скорей задел на будущее — когда на ютубе будут полные фильмы :)
              • 0
                Сомневаюсь, что в России хоть кто-то перевалит за 70% только за счет гуглосервисов.
                • 0
                  Легко догадаться, что комментарии ниже я не читал.
    • +2
  • 0
    Супер. Конечно, это прозрачнее кэширующих прокси. Но у меня вопрос — а неужели нет сторонних продуктов, делающих то же самое, но без привязки к google. Думаю, что есть. А нет — может, пора стартапчик стартапить?
    • 0
      Есть. Стоят тонны денег и дают 3-5% экономии.
  • +1
    Где только такие провайдеры сидят у которых трафик в сторону Google более 70 процентов? Дикий процент какойто — Ютубоманск-Гуглемапный какойто получается. Нереально.
    • 0
      Рискну предположить, что если ограничение действительно в 70% — то основной клиент мобильные операторы связи:

      Мой трафик на мобильном устройстве — это почта (как ни странно гугл), поиск (в моей случае яндекс, но в мире полагаю гугл :)), карты (аналогично), ролики (опять же гугл).
    • +1
      если трафик на ресурсоемкие услуги Google (youtube, maps) составляют значительный процент от трафика (>70%)
    • +1
      70% — это что-то автор напутал.
      Мне в Гугле сказали — нужно 300 мбит трафика из гугла в свою AS.
  • +1
    Первое предложение прям с душой написано, полностью согласен.
  • –2
    Простите за упоминание ВКонтакте всуе, но они сделали всё гораздо проще — в социалке для отдачи видео используется P2P-технология, доступная в актуальных версиях Flash Player.

    Разве в случае с YouTube это не даст большего результата, чем распространение шкафов?..
  • +2
    Кстати, p2p технология может прекрасно решать вопросы копирайта. Допустим1000 человек легально покупают контент, а затем безвозмездно дают кусочек его своим друзьям. Одновременно каждый кусочек смотрит ровно один человек. «Копий» не создается.
  • 0
    2. DNS провайдера запрашивает DNS Google на адрес IP хоста с содержанием.

    А если используешь не провайдерский DNS, а OpenDNS или аналог?
    • 0
      с Google Public DNS и OpenDNS работает.
    • –1
      Видимо, будете смотреть прямо с серверов, минуя кеш.
  • 0
    How much?
    • 0
      Google also offers CDN platform «Google Global Cache» to ISPs with qualifying levels of traffic.
  • 0
    Кстати, «Вот пример» — мой блог. :)
    • 0
      Никакого пресловутого «Хабраэффекта», от которого ложатся хостинги и вешаются провайдеры не наблюдаю.
  • 0
    В Megaline такое есть. Первый запрос видео с youtube качает с «главного» сервиса. Перезагрузка страницы уже переводит запрос на местный уровень. Из-за особенностей провайдера такой вариант намного быстрее работает.
  • 0
    А можно узнать откуда взята вот эта цифра:
    — сокращение трафика через сети: процент запросов через cache варьирует в зависимости от схемы использования пользователей, но типичная производительность близка к 75%,

    ?
  • 0
    source Google
    это значит что для обычного ISP, ~75% трафика к Google Network можно кэшировать (в основном Youtube)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.