Выпадение страницы из яндекса для проверки запрос. Как попасть на первую страницу поисковой выдачи в Яндексе? За нарушение закона

В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.

1. Яндекс не индексирует сайт полностью

Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.

Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:

Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
Добавьте на сайт Яндекс.Метрику
Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);

1.2. Старый сайт частично или полностью выпал из индекса

Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).

Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.

Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:

Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).

2. Яндекс не индексирует страницы на сайте

Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:

Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
На страницу нет ссылок – соответственно, поисковая система не может ее найти.
Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.

С поисковыми системами нужно быть крайне осторожным, их алгоритмы совершенствуются постоянно, что приводит неопытных вебмастеров к серьезным проблемам.

Сделав одно не правильное действие, можно не то что попрощаться с ТОПом выдачи, но и вообще придти к исключению сайта из неё.

Почему страницы выпали из индекса? Для всех новичков мы уже рассказывали, . Делать это нужно постоянно, чтобы быстро определять проблемы.

Чем быстрее вы их выявите, тем проще будет всё исправить. Удаление страниц из поисковой выдачи может быть связано с различными причинами, попробуем в этом разобраться.

Страницы выпадают из индекса Яндекса, что делать?

Самая распространенная причина удаления страниц из списка проиндексированных – это попадание сайта под фильтры .

У поисковых систем создано несколько фильтров, под которые попадают ресурсы за нарушение разных правил. К примеру, под Минусинск попадают площадки, чьи владельцы покупали ссылки.

В одной из наших статей рассказывалось, . А вообще, сначала нужно отправить сообщение в тех. поддержку поисковых систем, чтобы выяснить, какой именно фильтр наложен и по какой причине.

Если речь идет о Google, то при ручных санкциях вебмастерам отправляются уведомления о наложении санкций. Автоматическое добавление под фильтры не сопровождается этим уведомлением.

На практике встречаются самые разнообразные факторы, из-за которых выпали страницы из индекса в Яндекс. К примеру, это может быть переспам ключевыми словами .

Если вы ещё не зарегистрированы в специальных сервисах для вебмастеров, обязательно это сделайте:

Это необходимо для сбора статистики, получения уведомлений и так далее. Даже если ваша площадка попадает под фильтры, вы сразу это заметите.

Если же вы не имеете представления, за что ваши страницы пропали из индекса, читайте, (это тех. поддержка Яндекса).

Общие причины попадания под фильтры

Чтобы вы не думали, что вашу площадку по ошибке добавили под фильтры, рассмотрите основные причины наложения санкций поисковыми системами и проанализируйте свою деятельность за последние месяцы.

Возможно, вы сами создали проблемы, если:

использовали высокую плотность ключевых слов;
покупали не качественные ссылки;
публиковали на сайте копипаст;
продавали ссылки (добавляли слишком много внешних ссылок);
применяли запрещенные методы продвижения;
пытались скрыть контент или подменить его;
размещение слишком коротких статей (до 500 символов).

Дайте поисковой системе хотя бы один повод добавить вас под фильтры и санкции 100% будут наложены. Лучшее думать об этом заранее, так как вывести площадку из-под них не так просто. Для начала потребуется устранить проблему, а потом продолжать развивать проект.

Выпала страница из индекса, но фильтры не наложены

Бывают проблемы связанные с индексацией, которые не указывают на наложение санкций. Возможно, вы устанавливали какой-нибудь плагин или редактировали код, что может привести к закрытию страницы.

Хорошо, что в интернете есть профессионалы, готовые помочь и после создания темы на одном из популярных сервисов, выяснилось следующее.

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:

Страница перенаправляет робота на другие страницы.

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, . Так вы сообщите роботу об изменениях.

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.

Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.

В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

04:16 pm - Пропала страница из поисковой выдачи Яндекса

Яндекс - это загадка! По идее 1000 страниц (уникального?) контента должны давать как минимум 1000 посетителей. Если речь идёт о поисковом трафике, то здесь многое зависит от того, сколько страниц находится в индексе (базе данных) поисковой системы. Конечно, там много всяких факторов, но меня интересует вот что: как и почему пропадают страницы из этого самого индекса Яндекса?

Примечание : эту тему я подымал в своём журнале неоднократно. Проблемы и индексации, на живом примере, достаточно актуальны и вот только теперь, благодаря ответам Александра Садовского , руководитель отдела веб-поиска Яндекса, на первом в истории существовании SEO в Рунете закрытом круглом столе, нашёлся таки хоть какой-то более-менее реальный ответ.

В сервисе Яндекс.Вебмастер есть такие параметры как количество загруженных роботом страниц и количество страниц в поиске. Параметр загружено роботом подразумевает количество страниц, к которым смог (успел?) обратиться робот поисковой системы. Параметр страниц в поиске подразумевает количество страниц, загруженных роботом, прошедших все проверки и участвующих в поиске.

Понятно, что дубликаты, редиректы, спам и т.д. не попадают в результаты поиска. В тоже время, бывает и так, что страница проиндексировалась нормально, а потом исчезла в неизвестном направлении. Именно поэтому значения выше упомянутых параметров могут значительно отличаться друг от друга. Например, у моего журнала, на момент написания заметки, были следующие значения: загружено роботом - 684 , страниц в поиске - 313 . И это ещё не самый худший вариант.

Дело в том, что при ранжировании страницы в Яндекс учитывается множество статических (связанных с самим сайтов) и динамических (зависящих от запроса пользователя) факторов. Если страница не появляется даже на тысячном месте, вне зависимости от сочетания этих факторов, то смысла хранить её нет. Поэтому, со временем, она может исчезнуть из поисковой выдачи. Другими словами, несмотря на то, что сайт нужно делать для людей, но только спрос может обеспечить существование вашей страницы в поисковой выдаче.

Примечание : если говорить о ЖЖ не стоит забывать, что архив здесь закрыт для индексации, а в общей ленте выводятся далеко не все заметки. Лично у меня на странице?skip=390 , ссылка Previous 10 entries ведёт уже в архив.

Comments:

Поэтому уникальный контент в ЖЖ нет смысла постить. Теперь я понимаю копипастеров. Спасибо за пост. Многое прояснилось теперь.

Почему же нет смыла? Главное чтоб он успел попасть в индекс. Можно также периодически перелинковку делать, т.е. в новых статьях давать ссылки на старые. Можно ещё обновить дату, сабж в RSS не попадёт но будет на главной странице. В общем, всё относительно.

Речь же в моей заметке не об этом, а о том чтоб контент был вообще востребован и входил хотя бы в первую 1000 по какому-то из более-менее актуальных поисковых запросов.

Вот про тысячу страниц контента и как минимум тысячу посетителей, как становится ясно из видео, фотография из которого в этой статье выложена, Яндекс и говорит.

Правда, я так и не понял, зачем им подобные трудности с отбором мусора, если весь мусор всё равно присутствует в архиве загруженных роботом страниц. Они заявляют, что если контент не запрашивается пользователями, он не будет показан - и пусть не показывают, зато объединили бы "Страницы в поиске" и "Загружены роботом". Была бы одна база, меньше трудностей и, следовательно, меньше проблем...

Ну, мусор не показывают чтоб ресурсы сэкономить - это понятно. А информация "Страниц в поиске" и "Загружены роботом" всё таки нужна. Хотя бы для того, чтоб вебмастер мог сориентироваться нет ли проблем при индексации его сайта. Хотя, здесь было бы удобней, если бы Яндекс показывал какие именно страницы загружены роботом, а то только одна структура. А лучше всего страницы, которые исключены из поиска, тогда сразу можно было бы понять над чем нужно поработать. В общем, как всегда что-то и как-то не так в логике, но имеем то, что имеем (имхо).

Массовое выпадение посадочных страниц из индекса поисковых систем, а следовательно и из поиска, черевато падением позиций сайта и снижением объема органического трафика.

Можно отметить несколько основных и часто встречающихся причин, почему поисковые системы выкидывают страницы сайта из своего индекса и перестают их учитывать в ранжировании.

Причины выпадения страниц из индекса

Страницы, которые перенаправляют 301 или 302 редиректом на другие страницы или сторонние сайты, либо содержат слишком большое кол-во исходящих на сторонние ресурсы ссылок. Иначе их можно назвать дорвейными страницами .
Страницы которые отдают контент для поисковых систем отличный от того что видит пользователь, так называемый клоакинг .
Размещение на странице скрытого для пользователя контента, это может быть использовано программно (ошибки в коде или умышленно), а также с помощью разметки текста (очень маленький шрифт или цвет под фон)
Не уникальный или малополезный контент, а также страницы с дублирующимся контентом с других страниц сайта.
Страницы с большим количеством рекламных блоков, созданных преимущественно или исключительно, для заработка на рекламе.
Избыточное количество ключевых фраз на странице – переоптимизация.
Накрутка поведенческих факторов путем имитации действий пользователей
Использование на сайте технологии кликджекинга - размещением на сайте невидимых пользователю элементов, взаимодействие с которыми осуществляется без его ведома или создание на сайте невидимых пользователю элементов поверх кнопок, форм, видеороликов и т.п.
Ошибочное закрытие раздела сайта или страницы в файле robots.txt или мета-тегом robots.
Заражение сайта вредоносным кодом с точки зрения ПС.
Сбои в работе хостинга или CMS из-за чего страница длительное время не доступна для роботов ПС.

Как определить выпавшие из индекса Яндекса страницы

В Яндекс Вебмастере имеется достаточно удобный инструмент по анализу страниц, которые поисковая система посчитала не соответствующими необходимым критерия качества. Владея этой информацией Вы сможете устранить допущенные ошибки для возврата возврата необходимых страниц в индекс поисковой системы Яндекс.

Резюме:

Чтобы избежать выпадения страниц сайта из индекса ПС следует следить за техническим состоянием ресурса и своевременно устранять возникающие ошибки. Не злоупотреблять рекламными блоками для информационных проектов, а для E-commerce проектов вообще от них отказаться. Не использовать запрещенных поисковыми системами техник, таких как клоакинг, дорвеи и кликджекинг. А также наполнять свой ресурс качественным и уникальным контентом полезным не только для SEO , но и для пользователей.