Редактор Geektimes
763,9
рейтинг
23 января 2011 в 00:03

Google ужесточает методы борьбы с поисковым спамом



Борьба с недобросовестными SEOшниками ведется поисковыми движками уже много лет. Тем не менее, несмотря на все попытки поисковых сервисов ликвидировать сайты-пустышки, которые выходят в топ только благодаря «черным» методам поисковой же оптимизации, подобных сайтов все равно довольно много. На днях Мэтт Катс, глава отдела по борьбе с поисковым спамом в Google, объявил о вводе в работу новых методов борьбы с поисковым спамом, значительно более надежных, чем ранее. Понятно, что рано или поздно всякого рода «оптимизаторы» найдут выход из положения, но, по заверениям Катса, это произойдет нескоро.

Google собирается бороться не только с так называемыми «дорвеями» и прочим мусором, но и с обычными сайтами (теми же интернет-магазинами), которые нарушают правила поискового сервиса. В принципе, многие из нас слышали об интернет-магазине солнцезащитных очков, который много лет находился в топе благодаря негативным отзывам покупателей. Понятно, что кроме владельца этого интернет-магазина, который был только рад подобному эффекту, очень многие SEO-специалисты злоупотребляли и злоупотребляют «черными» методами продвижения ресурсов в Сети. Вот с такими деятелями, вернее, с их искусственно продвигаемыми в поисковой выдаче продуктами, и собирается воевать поисковик. Это война «не на жизнь, а на смерть».

К примеру, Google научился распознавать автоматические комментарии, оставляемые различными скриптами (которые, в свою очередь, применяются самими SEOшниками для своих ресурсов) с целью продвижения сайтов в выдаче поисковика. Кроме того, «радикально улучшен» метод, благодаря которому поисковик теперь сможет определять нормальные сайты, которые подверглись взлому. Этот метод был введен не так давно, и показал неплохие результаты, ну, а теперь его, по словам разработчиков, сделали намного более совершенным.

Кстати, Google ввел в работу еще один способ борьбы с некачественными сайтами — фильтр, опускающий в поисковой выдаче сайты с дублированным (скопированным откуда-либо) конетнтом, подвергся значительным изменениям, и теперь копипастерские сайты ждет незавидная судьба. Во всяком случае, хочется на это надеяться.

Катс также подчеркнул, что сайты, нарушающие правила Google, и на страницах которых размещена контекстная реклама Google AdSense, не имеют никаких преимуществ по сравнению с аналогичными сайтами без рекламы AdSense. Вероятно, это прямой намек на так называемые дорвеи. Правда, в это как-то слабо верится — с дорвеями ведется борьба уже очень давно, и пока что особых успехов в этой борьбе не видно.

Что же, хочется надеяться на то, что новые методы борьбы с веб-спамом станут действительно надежным инструментом очистки Сети от мусора. Недавно на Хабре уже публиковалась новость о том, что, по прогнозам аналитиков, лет через пять Интернет просто «утонет» в огромном количестве мусорных сайтов, которых становится все больше. Хочется надеяться на то, что прогноз этот не станет реальностью.

Via Yahoo
marks @marks
карма
169,7
рейтинг 763,9
Редактор Geektimes
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое

Комментарии (89)

  • –1
    Ведущий «сто к одному» теперь спамер?)
    • 0
      Просто картинка из Интернетов, подходящая по смыслу =) Никоим образом не хочу обидеть ведущего.
    • +9
      Это не Гуревич.
    • +2
      Картинка поменялась? Вижу дядьку в банке «Спама», но причем тут ведущий 100 к 1?
      • +5
        Не будьте занудой, ведь действительно похож слегка!
        • 0
          Похож)
          И вид у него такой безобидный, мол почему их так все не любят…
    • +2
      Это Мэт Каттс, главный спамоборец из Гугла :)
      • 0
        Надеюсь, у нашего война Мэта амбиций не поубавится по мере борьбы со спамом, а также увеличением изощренности обходов оптимизаторами новых мер.
        Пусть наш друг крепится духом.;)
    • –2
      Он просто так же уныл, как и спам
  • 0
    Есть подозрение, что ИИ будет создан именно с целью максимально точного определения спама…
    • +6
      А может сначала наоборот?
      xkcd.com/810/
      • 0
        Реально… Вспоминается борьба снаряда и брони. Здесь нету выигранной войны, а только сражение. Не скоро видать конец этому. Так что зарплату у google сотрудников скоро привяжут к количеству выигранных сражений.
  • 0
    >новых методов борьбы с поисковым спамом, значительно более надежных, чем ранее
    >Google научился распознавать автоматические комментарии, оставляемые различными скриптами
    >фильтр… подвергся значительным изменениям, и теперь копипастерские сайты ждет незавидная судьба

    Ну как бы то, что поисковики непрерывно ведут работу по улучшению выдачи уже много лет, не секрет. Как я понимаю, нет даже намека на конкретику, которая помогла сделать фильтры «более надежными и эффективными»? Google Chrome, пользовательские факторы?

    Яндекс, кстати, иногда делится интересными деталями.
    • +6
      Детали я так понимаю интересны СЕОшникам?:)
      • +2
        А конструктивные особенности, скажем, новых автомобилей интересны лишь автомеханикам? Нет.
      • 0
        Вы так говорите, как будто сеошники это что-то плохое.
        Вот тут предпоследняя реплика на эту тему.
        • 0
          В данной статье говорится о черных методах СЕО. Соответственно раскрывать методы защиты есть не логично, ибо зная их можно придумать способ их обойти. Это не стопроцентная гарантия защиты, но увеличивает вреемя для появления способов обойти проверки…
          • 0
            В статье называется только один «черный метод СЕО»:

            >К примеру, Google научился распознавать автоматические комментарии, оставляемые различными скриптами

            Вообще-то это обычный спам. Который якобы в ЖЖ сейчас разгулялся. К СЕО не имеет никакого отношения, в выдаче сайт только убить таким способом. Адалт трафик гонят и проч.

            Еще упоминается копипаста. Ну, действительно, синонимайз, бывает, неплохо ранжируется, оригинал неверно определяется. Приятная для СЕОшников данность, которая рано или поздно исчезнет. Никаких там методов обхода, придется покупать копирайт да и все.
        • +1
          Наверное, СЕО «имеет много гитик», но я лично рассматриваю гигантскую армию сеошников именно как гидру, засирающую интернет. Они как представители «канадской оптовой компании» лезут в любую приоткрытую щель и заклеивают твой подъезд тоннами рекламных листовок.
          • 0
            Ссылки по сайдбарам и футерам не воспринимаю так нервно, их можно не замечать просто.
            Откровенные ГС и сателлиты далеко от моего подъезда. Где-то в глубине промзон, продолжая метафору.
            Для всего остального есть Adblock
  • +12
    Мусорные сайты действительно начинают доставать.
    А ещё по некоторым запросам вместо нужной мне информации я часть получаю наобор отсеошненных сайтов магазинов вместо сходного по написанию сайта посвященного тематике.
    Ох. Где ты 2001 год, тогда было всё намного проще.
    • 0
      Проще, но не лучше. Поиск по русским сайтам от гугла на тот момент был почти никакой, почти как нынешний английский bing при поиске по русским словам.
    • 0
      в 2001м и варез по ftp/http ссылкам напрямую раздавали, и аськи 6-7 знаков халявные были, да и хабр тогда ещё был тортом (с)…
  • +1
    Мне немного в фильтрации результатов поиска помогает плагин для хрома WOT сайты, которые скорее всего являются некачественными, мошеническими и прочим мусором чаще всего имеют низкий рейтинг, и напротив ссылки стоит красный кружок, соответственно напротив честных сайтов — зелёный
    • 0
      Тоже пользуюсь этим плагином, только для Firefox. По большей части говорит правду, хотя бывают и ошибки =)
      • 0
        К сожалению, пользователи очень часто ставят сайту низкие оценки по всем графам, так что иногда можно лишь догадываться — ты попал на левый сайт с контентом для взрослых и угрозами безопасности, или просто оф. сайту Ранеток случайно попавшие пользователи по инерции выставляют во всех графах по минимум.
    • +5
      Мой сайт почему-то заминусовали в этом сервисе, причем по всем параметрам, включая «Безоп-ть детей» и «Надежн. продавца» (информационный сайт про горнолыжный курорт — я ничего не продаю и детям ничего не угрожает, подозреваю дело рук конкурентов), поэтому никак не могу согласиться что WOT это полезный сервис.
      Скорее я в нем усмотрел элементы вымогательства и спама — на письма они не отвечают, а на сайте предлагается разослать всем друзьям предложение установить WOT, зарегистрироваться у них, и попросить поднять рейтинг. Естественно это совершенно неприемлемо, поэтому пришлось плюнуть на них, хотя и не нравится такая ситуация.
  • +3
    Мне кажется ни один алгоритм не сможет навести порядок среди мусорных сайтов, основанных на скриптах собирающих информацию из сети, просто потому, что алгоритм пытается бороться против людей, которые, конечно же, намного гибче к изменениям условий. И ждать появления ИИ, который «придет и решит все проблемы» глупо. Есть же прекрасный пример коллективного разума: Википедия. Ведь Вики постоянно пытаются править вставкой левых ссылок да и просто вандализм процветает. Однако, сообщество реагирует довольно быстро. По такому пути мне кажется и должно идти построение «белого» списка сайтов, которые действительно дают контент, а не наполнены роботами из кучи гавна типа marketgid
    • –1
      Как раз для этого создан DMOZ — для белого списка сайтов
  • +4
    То-то я думаю, с чего вдруг Stackoverflow начал в выдаче выскакивать. Ещё недельку назад в топе по программерным были какие-то непонятные сайты дублирующие контент со Stackoverflow.
    • 0
      Авторы stackoverflow об этом недавно писали, возможно даже, что это повлияло на гугль.
      • 0
        очень странно если авторы stackoverflow так говорили и в то же время разадвали свою базу:
        blog.stackoverflow.com/category/cc-wiki-dump/
        • +2
          Это ничему не противоречит, они как раз возмущались тем, что скопированный контент выводится раньше первоисточника. При том что кроме стыренного контента и рекламы там ничего нет.

          www.codinghorror.com/blog/2011/01/trouble-in-the-house-of-google.html
          • 0
            Кстати, это действительно актуальная проблема, ведь контент википедии или stack overflow любой может скопировать, так как он под свободной лицензией. Если убрать всякий мусор, типа кучи ссылок на другие языки и редактирование в википедии, или заминусованные комменты на stackoverflow — получившаяся страница в глазах робота будет выглядеть лучше, и такой сайт-пустышка обойдет оригинал. Я кстати, не понимаю, как с этим вообще бороться.

            Разве что пинговать гугл при добавлении нового материала — так тут свои сложности есть.
            • 0
              хорошо обновляемые ресурсы робот часто обходит, так что это не должно быть проблемой.
            • 0
              Скопированный контент должен ранжироваться ниже, для этого есть соответствующие алгоритмы, которые определяют оригинал. И они постоянно совершенствуются. Сайт, состоящий из копи-паста очень быстро попадает в бан.
    • 0
      тут очень интересная история Stackoverflow открыто раздает ВСЮ свою базу знаний вместе с комментами, качай/заливай на свои сайты. Поэтому так многно мусора в выдаче гугла. Ребята со Stackoverflow сами способствуют.
    • 0
      Кстати, да. По работе приходится зачастую искать много технической информации, и по памяти помню 5-6 сайтов, дублирующих, помимо стэка, еще и google groups, причем весьма некачественно (плохая и неюзабельная верстка, либо вообще постинг в vBulletin).
  • +5
    Последнее время стал замечать в гугле сайты контент которых автоматически переведен с английского на другие языки, тем самым создавая совершенно не читаемые локальные версии, которые засоряют выдачу. Очень раздражает когда попадаешь на такой сайт. Хочется надеется что гугол сделает чтонибуть и в эту сторону.
    • 0
      А мне казалось, что такие сайты уже давно отфильтровывает google, как и Яндекс. Только они не успевают за производством г. сайтов и русский сегмент обделен вниманием.
  • +1
    Свежо придание, да верится с трудом… уже не в первый раз сотрудники поискового гиганта рапортуют о победе над спамом и дорвеями, а некоторых нишах (не беря даже фарму, гемблинг и прочую чернуху) при низкочастотных запросам (непосредственно названия товаров) дорвеев на первых трех страницах выдачи более 70%
    • 0
      вы еще про варезники забыли — тут вообще кошмар. А ведь еще лет 10 назад, так хорошо и удобно было в рунете нужный софт искать.
      • 0
        Да его и сейчас удобно искать, на первом месте в выдаче сайт разработчика, дальше одни ссылки на варез
        • 0
          Увы, далеко не всегда.
          • –2
            Увы? Честно жить не пробовали?
            • 0
              Не понял о чем вы.
  • –2
    Так и представляю (на картинке) выбегает спартанец и с криком — «Это СПАМ!» делает движение ногой!
  • +2
    Отделы качества поисковых систем всегда опасались радикальных методов, о которых обильно декларируется в статье. Причина простая — чем жестче методы поисковых систем, тем легче участникам рынка делать пакости конкурентам. Считаю статью информационным вбросом с целью запугивания и пропаганды белых методов.
  • +7
    Мне кажется, эту новость можно датировать любой датой прошлого или будущего.
    Они (не только Мэтт Катс, — все) всегда говорят одно и то же.
    • 0
      Та же мысль посетила при прочтении, если внизу подписать что это статья 2001 года — поверил бы.
    • 0
      Так там идет генерация даты рэндомом и постинг новости. В паре абзацев — машинный рерайт
  • +1
    Забавные у них методы борьбы… Я бы начал с разорения комьюнити сеошников, из них уж точно можно подчеркнуть сайты которые надо блокировать.
    • +1
      Во первых — никто там сайтами не светит, а во вторых — тут же начнется слив конкурентов, что тоже не есть гуд
  • +2
    При из возможностях бюджета проще нанять тысячу человек которые руками (ну точнее головой) будут анализировать сайты и банить в выдаче.
    • 0
      Такое тоже используется (в яндексе таких специалистов асессорами называют, кажется), но проблемы не решает.
      • +3
        это вопрос количества таких специалистов, 10-20 человек конечно не могут решать проблему. А вот 1000, если каждый будет хотя бы 20 сайтов в день банить. То это в месяц уже полмиллиона будет выноситься. Главная задача сделать так чтобы они банились еще до того как успеют окупиться и принести хотя бы копеечку. Тогда этот бизнес станет просто бессмысленным и умрет.
        • 0
          Полная ахинея, простите. Это называется «рыть врагу яму».
          • 0
            Ну с врагом надо бороться. Способ пока видится только один. Не индексировать мусорный контент.
            • 0
              Мусорный контент 1) практически не виден (лично я на него вообще не натыкался очень долго уже) 2) подпитывает отрасль деньгами. Рунет — самый мощный национальный сегмент от части благодаря позиции Яндекса не воспринимать мусор как врага.
              • 0
                1) Как это не виден? Да в любом поисковом запросе кучей навален
                2) Так можно что угодно оправдать.
                • +1
                  1) То, что навалено кучей в поисковой выдаче, автоматически банится, так что, эти «наваленные мусорные кучи» мы видим только в процессе утилизации.

                  2) Забаньте «Хабр» за некоторое количество копи-паста.
                  • 0
                    Анализ Хабра показывает что он не является мусорным доменом
        • 0
          «Продвинутый» СЕО-шник может сделать и тысячу сайтов за день. Ручной апрув абсолютно нереален
          • 0
            Ничего, за пару месяцев вычистят. Главное чтобы это случалось до того момента как они отобьются как минимум.
            • 0
              Интересно! Вася делает по 1000 дорвеев в сутки, а Петя банит 20.
              Каким образом нужно искривить пространство, чтобы 1000 Петь смогли успевать за тысячами Вась?
              • 0
                Если окупание занимает скажем 50 дней (причем с учетом того факта что каждый день из исходной тысячи убывает по 20 штук) то на одного Васю нужен всего один Петя.
                Вася то деньги тратит на эти дорвеи. Доллар-два (в реальности больше) но тратит. Хотя бы банально свое время в это вкладывает, а если оно не оплачено то зачем ему этим заниматься?
                • 0
                  Нынешнее «дорвеестроение» сейчас реально на шаг впереди существующих алгоритмов их выявления. Не спорю, 80 процентов из них являются откровенной халтурой, которая палится только по коду страницы, но есть и неотличимые от СДЛ
                  • 0
                    Ну примерно как с почтовым спамом, но тот научились почти на 100% отсекать, а в случае с сайтами значительную часть можно только руками и головой отсечь.
      • 0
        Асессоры решают несколько иную задачу. Они работают с конкретными регионами, или языками. И дают рекомендации разработчикам поисковых алгоритмов, разъясняют, так сказать «национальные особенности своего сегмента Сети. Они могут, буквально в каждом городе отличаться.
        • 0
          Я в курсе. Проблема в том что они всегда на шаг позади.
  • 0
    Всё это из области сражения щита и снаряда. Пока нет работоспособного способа связать сайт с человеком — хозяином сайта, победы над спамом не будет.
    • 0
      А что это даст? Создавать сайты это противозаконно?
      • 0
        Создавать программы противозаконно? Нет. А вот создавать вредоносные программы (вирусы) еще как противозаконно.
        Эту же логику можно применить и к сайтам. Даже формулировки можно частично позаимствовать.
        • 0
          Как можно применить эту логику? Я создал сайт, это не запрещено (если на нем нет никакого нелегального контента, или там нарушений авторских прав). То что поисковик его проиндексировал я не виноват.
          • 0
            Ну я вам под дверь наложу кучу… а если кто-то это будет нюхать — я не виноват.
      • 0
        При чём тут законность или противозаконность? Вопрос в том, чтобы посетитель сайта знал что он посещает.
        Если какой-то индивидуум будет плодить дорвеи — его сайты просто будут понижаться в выдаче. Вопрос только как привязать сайт к хозяину. В зоне ru это сделать, в принципе, можно — домены регистрируются на живых людей с документами.
        • 0
          Ну и будут регистрировать на бомжей за бутылку и древних бабушек из деревни.
          • 0
            Вы представляете себе масштабы сеошного спама? Бомжей не хватит и родственников-идиотов тоже не хватит.
            По крайней мере в России действует система проверки паспортов. Есть и другие способы подтвердить свою личность. Речь, в конце концов, не идёт о 100-процентных методах определения спама, достаточно каких-то коэффициентов.
        • 0
          Да что Вы говорите? RU регистрируется без проблем на Васю Пупкина за 89 рублей!
          • 0
            Ну он видимо говорит как в идеале типа по закону. В реальности то конечно можно на любые фейковые данные регистрировать.
  • +1
    «сайты-пустышки, которые выходят в топ»

    Никто в разуме не будет вливать деньги в вывод сайта-пустышки в топ. А если он там оказался (как это постоянно происходит у Матрикснета), то только благодаря кретинизму «новомодных» фильтров.
  • –5
    Может проще уголовную ответственность ввести за создание таких сайтов?
    • +7
      Правильно, суд Тройка и расстрел
  • 0
    Похоже что следующим шагом в развитии поисковых систем будет возвращение к истокам — составлению «белых» адресов, посещение которых целесообразно.
    Слишком много хлама в интернете.
  • 0
    Катс предлагает сдаться! ;)
  • 0
    Ни как не получиться загадить весь интернет мусорным спамом, потому что на всякий запрос есть качественный представитель услуг, который всегда продвижение вытесняется мусорные сайты.
  • 0
    Главное — был бы результат, а методы не так важны. Сколько лет им еще придется потратить на «обеление» результатов выдачи.
  • 0
    В конечном итоге эти нововведения ничего хорошего не принесут.

    Копипаст? откуда боту знать где оригинал? или чем выше ресурс — тем больше шансов что он первоисточник? никак нет, большие сайты, особенно новостные часто копипастят новости. И их индексация куда более быстрая.

    А поисковый спам — как был так и остался в выдаче Google. Банальный запрос скачать фильм, который ещё не вышел на DVD тому в подтверждение.

    Кто занимается СЕО — платит деньги, поэтому они просто задавят много хороших ресурсов, в которые не вкладываются деньги.
  • 0
    Опять добрым и злым SEO-шникам мешают зарабатывать деньги. Читается как будто так: «И поняли свыше, что погибнут все в сей войне, и отключили всех». Они например теперь понижают PR, если ссылаются на сайт много доноров с низким PR. Яндекс продвигается, а google PR падает (((, с другой стороны этот PR не очень влияет на выдачу в google как смотрю по отчетам, хотя влияет на вес донора.

    В общем плач и страдание.

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.