| Looney | Дата: Среда, 25.05.2011, 17.32 | Сообщение # 1 |
Группа: Пользователи
Сообщений: 100
|
Непот-фильтр сегодня: анализ и тенденции
Явление непотизма и борьба с ним. Яндекс и оптимизаторы: единство и конфликт интересов.
Современный непот-фильтр: алгоритм определения, статистика, качественно-количественные характеристики.
Как мы все знаем, термин «непот» произошел от средневекового понятия «непотизм» или, выражаясь русским языком, кумовство-сватовство. Непотизмом создатели поисковой системы Яндекс решили называть явление проставление ссылок за некий «интерес», в роли которого может выступать получение ответной ссылки, либо получение платы.
Непот-фильтр – одна из самых старейших санкций в Яндексе. Суть непот-фильтра в его каноническом понимании – полное отключение влияния текстов исходящих ссылок с сайта. Таким образом, любые ссылки с любых страниц сайта, на который был наложен непот-фильтр, не работали в смысле передачи ими ссылочного ранжирования.
Определить такой канонический фильтр можно было следующим способом: с документа на сайте А, который подозревался в наложении на него непот-фильтра, ставилась ссылка абракадаброй на документ на сайте Б. При этом оба сайта, А и Б сидели на трубе должны индексироваться Яндексом.
Ждем индексации этой ссылки, и по запросу «абракадабра» должны получить в выдаче два документа: один, А (донор)– потому что на нем есть такой текст, и это текст проставленной ссылки, и другой, Б (акцептор) с подписью «найден по ссылке». Хочу оговориться, что меня часто спрашивают о том, в какой последовательности должны находиться донор и акцептор. В данном случае, это не имеет никакого значения. Если акцептор не находился, значит сайт-донор находится в непоте.
Многих оптимизаторов смутили рассуждения сотрудников Яндекса о том, что можно не отрубать ссылочное ранжирование «плохих», «непотных» ссылок, а значительно снижать их влияние, к примеру, в 100 раз. К сожалению, эксперименты не подтверждают этого. Потому что даже сниженная в 1000 раз ссылка все равно передаст пользу по абракадабре, а в случае наложения непот-фильтра мы видим, что акцептор не находится вообще, абсолютно.
В свое время я задался вопросом – а существует ли непот-фильтр на самом деле. Я создал на SearchEngines.ru топик с просьбой прислать мне примеры действующего непот-фильтра. Топик разросся на большое число страниц.
Мне прислали большое количество:
Примеров забаненных сайтов,
Сайтов, которые не находятся в топ10, хотя они самые релевантные в мире
Клятвенных уверений, что они своими глазами видели непот, но не помнят урлы сайтов.
Приказы поверить на слово без предоставления доказательств.
Но никто упорно не мог прислать мне сайт, действительно находящийся под непот-фильтром. Наконец, мое терпение было вознаграждено, и один из моих бывших клиентов действительно прислал мне пример сайта, на котором стояла уникальная абракадабренная ссылка на проиндексированный сайт, который находился по любым другим запросам, кроме этой самой абракадабры. Ссылка была проставлена более 2-х месяцев назад.
Любопытная особенность – в присланном примере занепоченный сайт ранее был забанен, потом по письму в службу поддержки был разбанен после устранения нарушений, но в индекс вернулся уже с наложенным непот-фильтром.
Таким образом, существование непот-фильтра было доказано. Но долгое время непот-фильтр оставался диковинкой для многих оптимизаторов. Я думаю, большинство из нас с ностальгией вспоминают те времена, когда для розыска занепоченного сайта нужно было привлечь все силы нашего форума (http://forum.searchengines.ru).
В отличие от других санкций, например бана или пессимизации, непот-фильтр всегда был тайной за семью печатями. Сотрудники службы поддержки Яндекса никогда не признавали наложение непотфильтра. При прямом запросе Платону Щукин по поводу непот-фильтра, наложенного на конкретный сайт, он отвечал – никаких санкций нет.
В недавнем интервью из 170 тысяч вопросов O руководитель отдела Веб-поиска компании Яндекс Александр Садовский, знаменитый тем, что в свою бытность оптимизатором изобрел блоки ссылок с главных страниц сайтов O, сказал, что непот-фильтр не признается, и не будет признаваться, поскольку сотрудники службы поддержки Яндекса не комментируют детали борьбы с поисковым спамом, а наложение такого фильтра – это и есть детали.
Таким образом, мы получили фильтр, который практически нигде не встречается, налагался вручную на весь сайт, его наложение не признавалось, а соответственно – его нельзя было снять. История знает только один случай снятия ручного непот-фильтра, о нем много говорилось, речь идет о его наложении на сайты компании «Агава». Несмотря на свою секретность, непот-фильтр продолжал оставаться забавным курьезом, интересным феноменом, но не более того. В повседневной практике оптимизаторы с ним не сталкивались.
Однако, примерно год назад, поисковая система Яндекс сделала стратегическую ставку на совершенно иной подход к наложению санкций. Именно в прошлом году оптимизаторы научились быстро и недорого создавать огромные тонны ссылок, и это заставило Яндекс вынуть из-под сукна старый магический артефакт – непот-фильтр, и сдуть с него пыль, наполнив его новым содержанием.
Современный непот-фильтр существенно отличается от первоначальной версии Непот 1.0. Итак, Непот 2.0 столкнулся с огромным количеством ссылок на массе сайтов, отсеять которые вручную сегодня уже не представляется возможным. Очевидно, что современный непот фильтр налагается автоматически. Преимущество автоматических фильтров для нас состоит в том, что они беспристрастны, и кроме того – их можно снять, и это тоже произойдет автоматически, без томительного 30-дневного карцера. Позже мы будем говорить о способах снятии автоматического непот-фильтра.
Такой массовый удар по ссылкам восстановил баланс в системе. Да, теперь можно купить много дешевых ссылок, но подавляющее большинство из них не будет работать! То же касается и сателлитов – Яндексу не составит труда отфильтровать ссылки с сетки в 1500 сателлитов, и для этого ему даже не нужно читать спам-рипорты.
В современной реальности есть примеры наложения ручного непот-фильтра, но такие примеры единичны, это крупнейшие порталы, имеющие огромный статический вес и потрясающую работоспособность ссылок – разумеется, до наложения непот-фильтра.
За время существования Непот-сервиса им проверено более 244 тысяч ссылок. Из проверенных ссылок только 63500 ссылок поддавались проверке. Их работоспособность распределилась так: 26131 ссылок – точно работают, а 37402 – точно не работали.
При этом сплошь и рядом и мы видели, что на одной и той же странице одни ссылки работали, а другие ссылки -нет.
Все проверенные ссылки стояли примерно на 20 тысячах главных страниц. Из них около 5400 – те «морды», на которых большинство ссылок работает, то есть 27% всех проверенных морд пригодны для размещения ссылок на них.
Очевидно также и то, что современный Непот 2.0 накладывается не на сайт, а на документ. Есть множество примеров, когда ссылки с главной страницы не работают, а ссылки с внутренних – наоборот. Есть все основания полагать, что объектом наложения современного непот-фильтра является конкретная ссылка.
Многие продавцы ссылок, получив существенный удар по своему кошельку (занепоченные ссылки никто не хочет покупать)– задумались о причинах наложения непот-фильтра с одной стороны, ио способах его быстрейшего снятия – с другой.
Поделюсь своими наблюдениями на этот счет. Здесь необходимо отделить те ограничения, которые Яндекс накладывает на работоспособность ссылки вне зависимости от непота. Есть ограничения, которые делают не рабочей только часть ссылки, передают разную пользу словам, которые входят в текст ссылки (анкор), но все эти ограничения не имеют отношения к непот-фильтру, и не входят в этот доклад. Непот-фильтр – это ограничение, которое делает уникальную ссылку полностью неработоспособной с точки зрения ссылочного ранжирования.
Первое, что пришло в голову оптимизаторам – это то, что фильтр накладывается за так называемые «ссылочные блоки». Дескать, если ссылки стоят в одном «подвале»-они не работают, а если рассредоточены по странице – они работают прекрасно. Наши наблюдения показали, что такой зависимости нет. Это логично – верстка документа с помощью таблицы стилей позволяет в коде разместить ссылки как угодно, а выглядеть это будет все равно как ссылочный «подвал». Если ПС не читают таблицы стилей, то и отловить ответный ход они не смогут и проиграют эту партию.
Также можно признать ошибочной версию о том, что фильтр накладывается в зависимости от числа ссылок. Статистика показывает, что на рабочей морде средне-статистически (по медиане) 13 ссылок, а на нерабочей – 14.
Можно констатировать, что в интернете достаточно уникальных ссылок для проверки – как на рабочих, так и на не рабочих «мордах» больше трети ссылок – уникальны.
Сегодня мы можем смело опровергнуть теорию о том, что фильтруется связь ссылка-акцептор, то есть документ, получающий ссылку. Это не соответствует действительности, ссылки работают или не работают вне зависимости от того, куда они ведут.
Фильтрация ссылок – один из самых мощных инструментов Яндекса сегодня, и отключение ссылочного ранжирования есть только часть этой фильтрации. Пока нам не удалось установить однозначную причину наложения непот-фильтра. Мне кажется, что ее следует искать в тематическом соответствии донор-анкор (текст ссылки).
Хочу проиллюстрировать этот вывод одним экспериментом. На некоем доноре на «морде» было проставлено 4 ссылки, две из которых явно не тематические, а две могут быть признаны тематическими. Скажем так – донор имел гуманитарную тематику,2 ссылки имели тематику техническую, а 2– также гуманитарную. Технические ссылки не работали, а гуманитарные – работали. Такое положение существовало пару месяцев. После чего мы добавили на страницу донора еще 2 явно тематические ссылки. При этом в качестве анкора были взяты две фразы из текста донора.
После индексации новых ссылок картина на доноре изменилась: тематических ссылок стало 4, а не тематических – 2, то есть доля нетематических ссылок снизилась. И все 6 ссылок стали работать! Интересно, что две добавленные тематически ссылки вели на совершенно разные сайты. Одна вела на однозначно тематический гуманитарный ресурс. Другая – на магазин технических товаров. И обе прекрасно работают, что доказывает – связи между работоспособностью ссылки и ее получателем нет.
Кроме данного способа «вывода из непота» известен еще один – радикальный. Он состоит в удалении сайта из индекса поисковой системы. После уничтожения не обратного только индекса, но и прямого (сохраненной копии) сайт снова можно индексировать. При этом непот-фильтр с него снимается и ссылки начинают работать. Лично мне данный способ не кажется полезным, поскольку рано или поздно в случае размещения не тематических ссылок они все равно будут занепочены.
Если предположение о наложение непота за тематическое несоответствие донора и анкора верно, то мы можем столкнуться с новой волной спамерного противостояния. Логично предположить, что ссылка «услуги адвокатов» с порно-сайта работать не будет. Нечистым на руку ссылочникам не составит труда изменить анкор на «эротические услуги голых адвокатов», что существенно повысит со-тематичность анкора и донора.
Очевидно, что после массового внедрения Непот-сервиса (а она насчитывает более 1000 пользователей) – SEO давление на выдачу Яндекса увеличилось. Яндекс это почувствовал, ив ответ отменил операторы языка запросов link и anchor. Непот-сервис приостановил свою работу, что дало Яндексу временное преимущество в противостоянии.
Кстати, отмена этих операторов затруднила возможность анализа стоимости продвижения, что сделало наш сервис «Оценки стоимости продвижения», который вышел сразу после отмены операторов, чрезвычайно популярным.
Многие оптимизаторы в ответ увеличили аналитическую активность, зачастую используя в ней автоматический доступ к результатам выдачи. В ответ Яндекс установил так называемую капчу, которая послужила барьером для роботов, анализирующих результаты выдачи. Появление капчи вызвало очередной виток в противостоянии Яндекса и того крыла оптимизаторов, которое видит в Яндексе противника и готово использовать в противостоянии любые методы.
Введение капчи затруднило не только интелелктуальную аналитику, производимую браконьерскими методами. Но и отслеживание позиций продвигаемых сайтов с помощью программ, использующих автоматический доступ.
Несмотря на то, что моя компания извлекает выгоду из новых волн противостояния, я считал и продолжаю считать, что будущее принадлежит сотрудничеству оптимизаторов и Яндекса. Мы уже давно совместно формируем выдачу по всем хоть сколько-нибудь конкурентным запросам.
Я всегда пропагандировал и буду пропагандировать подход, при котором оптимизаторы и поисковые системы объединяют свои усилия по формированию качественного продукта – выдачи. И делают это сообща, не пряча друг от друга «фиги в кармане». Поисковая система, которая первой активно привлечет оптимизаторов к совместной разработке алгоритмов ранжирования и борьбы с поисковым спамом, получит конкурентное преимущество.
Поисковые системы, и Яндекс в том числе, чувствуют это, что видно по их активности общения с нами. Мне кажется, что им нужно действовать решительнее в этом направлении, и от слов переходить к осуществлению конкретной деятельности вместе с оптимизаторами.
 http://progamerok.ru
 vk.com/Latte_Makiato
 R446689865182
|
| |
| |
