Критична помилка в яндекс вебмайстрів. Малокорисних контент, спам Прибираємо мобільні редіректи
Добрий день шановні читачі блогу сайт, відкриваю я сьогодні веб кабінет Яндекса і виявляю на проти двох своїх сайтів, знак оклику, зайшовши в перший сайт я побачив фатальну помилку з ось таким вмістом: "Сайт може загрожувати безпеці користувача, або на ньому були виявлені порушення правил пошукової системи. Наявність цієї проблеми негативно позначається на становищі сайту в результатах пошуку. " Давайте дивитися в чому причина і яким чином ви зможете це виправити.
Більш детальний вид помилки " Сайт може загрожувати безпеці користувача "
І так є пацієнт, мій один з блогів (http: //москва-россія.рф/) на ньому я ділюся своїм досвідом проживання в Москві, де і куди там піти і що і де подивитися, якщо ви його ще не бачили, то ласкаво прошу. Заходжу я в webmaster кабінет і бачу як і писав вище, попередження.
Зайшовши в налаштування самого сайту, я побачив наступну картину: 1 фатальна помилка, клацаємо по ній, щоб подивитися деталі.
Розділ містить рішення часто зустрічаються проблем категорії «Фатальні», виявлених при діагностиці сайту в Яндекс.Вебмастере. Проблеми цієї категорії ведуть до виключення окремих сторінок або всього сайту з результатів пошуку.
Головна сторінка сайту повертає помилку
Якщо ви отримали таке повідомлення, виконайте наступне:
Після внесення змін дочекайтеся чергового відвідування робота. Також ви можете відправити сторінку на переобход - робот обійде її протягом двох тижнів.
Якщо в результаті перевірки сторінка відповідає кодом 200 OK і проблем з доступністю вмісту немає, то попередження в Яндекс.Вебмастере пропаде протягом декількох днів.
Чи не вдалося підключитися до сервера через помилку DNS
Раз на добу індексує робот звертається до DNS-серверів, щоб визначити IP-адресу сервера, на якому знаходиться сайт. Якщо на сайті некоректно налаштовані DNS-записи, робот не отримує IP-адреса сайту. Тому сайт не може бути проіндексовані і доданий в результати пошуку.
Перевірте коректність відповіді сервера індексується роботу. Якщо сайт як і раніше недоступний, зверніться до хостинг-провайдеру для коригування DNS-записів вашого домену. Коли доступ до сайту з'явиться, інформація в Яндекс.Вебмастере оновиться протягом декількох днів.
Проблема з доступом до сайту може бути короткочасною. Якщо при повторній перевірці відповіді сервера помилок не виявлено, дочекайтеся оновлення інформації в веб-майстрів, це повинно відбутися протягом декількох днів.
Якщо доменне ім'я не було продовжено вчасно, сайт стає недоступним для індексування. Продовжіть реєстрацію домену. Після цього повідомлення в Яндекс.Вебмастере пропаде протягом декількох днів.
Сайт закритий для індексації у файлі robots.txt
Кілька разів на добу індексує робот запитує файл robots.txt і оновлює інформацію про нього у своїй базі. Якщо при черговому зверненні робот отримав забороняє директиву, в Яндекс.Вебмастере з'являється відповідне попередження.
Перевірте вміст файлу robots.txt. Якщо заборона як і раніше присутня, видаліть його з файлу. Якщо ви не можете зробити це самостійно, зверніться до хостинг-провайдеру або реєстратору доменного імені. Після зняття заборони дані в Яндекс.Вебмастере оновлюються протягом декількох днів.
Якщо доменне ім'я не було продовжено вчасно, файл robots.txt буде містити забороняють директиви для робота. Продовжіть реєстрацію домену. Після цього повідомлення в Яндекс.Вебмастере пропаде протягом декількох днів.
Виявлено порушення або проблеми з безпекою
Якщо знайдено порушення правил пошуку Якщо знайдена загроза безпеціНа сторінці діагностика → Безпека і порушення виконайте наступне:
Коли ви вирішите проблему:
Переконайтеся, що проблему вирішено. Якщо при перевірці сервіс повторно виявить загрозу, ви зможете повідомити про її усунення тільки через місяць. Далі цей період буде збільшуватися і може скласти три місяці.
В інтерфейсі Яндекс.Вебмайстер на сторінці діагностика → Безпека і порушення натисніть кнопку Я все виправив. Це дасть додатковий сигнал алгоритмам Яндекса про те, що сайт потрібно перевірити ще раз. Якщо перевірка завершена успішно, з часом обмеження будуть зняті, а інформація про порушення перестане відображатися.
Панель Вебмастера Яндекс - що це таке?
Кожна людина, яка займається просуванням сайтів, повинен знати, для чого потрібен Яндекс Вебмайстер.
Яндекс Вебмайстер - безкоштовний кабінет вебмастера для аналітики, збору статистики, пошуку помилок і інших корисних функцій. В панелі Вебмастера Яндекс можна стежити за індексацією сторінок в пошуковій системі Яндекса.
Історія появи Вебмастера
Перша версія панелі Вебмастера стала доступна 19 жовтня 2007 року. Про запуск сервісу розповів Олександр Садовський (керівник відділу веб-пошуку, Яндекс) на засіданні клубу seo-оптимізаторів. Доступ до сервісу для закритого бета-тестування надавався за запрошеннями. Офіційна дата відкриття сервісу для широкої аудиторії - 21 грудня 2007 року.
Якщо я нічого не плутаю, то виглядав він в той час приблизно так:
А в 2015 році вийшла бета-версія нового Яндекс Вебмайстер:
Сервіс Яндекс Webmaster
Відсутність даних в розділі «Мої сайти» не завадить нам оглянути функціонал сервісу.
огляд функцій
фатальні помилки
Фатальні помилки включають в себе найсерйозніші проблеми, які безпосередньо впливають на просування сайту. Такі як:
- Сайт закритий до індексації у файлі robots.txt;
У вашому файлі robots..txt) виявлений заборона на індексацію всього сайту. Виглядати цей рядок буде так: «Disallow: /» або «Disallow: *». Можливо, це зроблено спеціально, поки сайт розробляється, головне не забути потім прибрати 🙂 - Чи не вдалося підключитися до сервера через помилку DNS;
Упав сервер або збилися налаштування DNS. Може ви там десь копирсалися? 🙂 - Головна сторінка сайту повертає помилку;
Можлива проблема з хостингом або з файлами на сервері. - Виявлено порушення або проблеми з безпекою.
Яндекс знайшов якусь небезпеку на сайті, наприклад, спіймали якийсь вірус, що є загрозою для відвідувача сайту. Чи не круто, коротше.
критичні помилки
- Велика кількість непрацюючих внутрішніх посилань;
Перевірте працездатність посилань на сайті, якісь з них не працюють. Можна їх знайти за допомогою Sreaming Frog SEO Spider. - Довгий відповідь сервера.
Подивіться, чи немає у вас плагінів, які сильно навантажують ваш хостинг? Можливо, відвідуваність вашого ресурсу різко зросла і вам варто задумати про зміну тарифу на хостингу. Я, до речі, beget.ru використовую 🙂
Можливі проблеми
- Немає використовуваних роботом; Створіть файл Sitemap.xml або закиньте в Файли Sitemap в розділі «Індексування».
- Виявлено помилки в файлах Sitemap; Перевірте свої файли на помилки. Можливо, є 404-сторінки або інші проблеми.
- Некоректно налаштований відображення неіснуючих файлів і сторінок; Ймовірно, на сайті некоректно налаштований повернення HTTP-коду 404 Not Found.
- Помилки у файлі robots.txt; Тут може бути гора помилок, перевіряйте файл за допомогою аналізу robots.txt в розділі «Інструменти».
- Головна сторінка перенаправляє на інший сайт; Без коментарів ... 🙂
- Велика кількість сторінок-дублів; Яндекс знайшов дублі. Потрібно працювати над якістю сайту. Знайдіть технічні помилки або закрийте сторінки в robots.txt.
- Не вдалося знайти файл robots.txt; Терміново знайдіть його і покажете Яндекс Вебмастеру 🙂
- відсутні теги
; Терміново заповніть на ці теги. Краще заповнювати на основі запитів. - відсутні
; Теж заповніть. Це важливо. - Файли Sitemap давно не оновлювалися; посту не викладаєте? Тоді пофіг 🙂 Інакше перевірте настройки Sitemap.xml.
- Формати реклами не відповідають рекомендаціям IAB Russia.Реклама може заважати користувачам працювати з вашим ресурсом.
- Чи не задана регіональна приналежність сайту;
- Сайт не зареєстрований в Яндекс. довіднику;
- Файл favicon не найден;
- Веб-сайт не оптимізований для мобільних пристроїв;
- Помилка лічильника Яндекс.Метрики.
Безпека і порушення
Яндекс регулярно перевіряє безпеку і порушення на сайтах.
Таблиця фільтрів по групах:
Також можна налаштувати фільтри:
- регіон;
- пристрій;
- дата;
- показник.
- загальні показники;
- покази на позиціях;
- кліки з позицій;
- CTR на позиціях;
- середня позиція показу в топах;
- середня позиція кліка в топах.
Фільтрація за запитами з топ-1:
Всі запити і групи
У розділі представлені пошукові запити, за якими сайт знаходиться на перших 50 позиціях результатів пошуку Яндекса. Показники є усередненими за останні 7 днів.
Для кожного запити можна подивитися:
- покази;
- кліки;
- позиція;
Крім статистики запитів можна додавати свої запити, наприклад, за якими плануєте просувати сайт.
Додати запити можна двома способами:
- ручками;
- файлом.
Яндекс Вебмайстер може підбирати пошукові запити, що відповідають тематиці вашого сайту, для залучення додаткового трафіку.
Запропоновані запити можна використовувати в якості умови таргетування при веденні реклами.
Індексування в Яндекс Вебмастер
Розділ містить в собі:
- Статистика обходу;
- Сторінки в пошуку;
- Структура сайту;
- Перевірити статус URL;
- Важливі сторінки;
- Переобход сторінок;
-
Сторінки в пошуку
Розділ відображає сторінки сайту, які беруть участь в пошуку Яндекса.
Сторінка може не потрапити в результати пошуку, якщо вона дублює контент іншої сторінки, містить спам або віруси, перенаправляє на інший URL, при її завантаженні сталася помилка.
структура сайту
Сервіс відображає розділи сайту, які містять не менше 10 сторінок і складають більше 1% від загальної кількості сторінок, завантажених в базу пошуку.
При видаленні призначеного для користувача розділу зі структури сайту інформація про нього в базі пошуку зберігається.
У мене додано розділ сайту / yandex-webmaster / вручну. Самостійно можна додати до 5 розділів.
Перевірити статус URL
Ви можете перевірити, чи знає робот про певну сторінці сайту, права на який ви підтвердили.
У полі URL можна ввести повний URL сторінки або шлях від кореня сайту, що починається з «/».
Як правило, збір і обробка інформації займають до 2 хвилин. Іноді це може зайняти кілька годин. Як тільки обробка даних завершиться, статус перевірки зміниться на «перевірено».
Моя сторінка роботом обходиться і в пошуку з'являється.
Моніторинг важливих сторінок
Ви можете відстежувати індексування найбільш важливих сторінок сайту і найбільш популярних - рекомендованих Яндекс.Вебмайстер. Для цих сторінок можна налаштувати повідомлення.
Стаття не завершена. Продовжу дописувати пізніше 🙂
Пошукова оптимізація - велика робота над безліччю різних факторів. Дизайн, технічна складова, контент. Навіть незначні на перший погляд деталі дуже важливі для просування. Про найчастіших помилках в дизайні сайту ми вже говорили. Сьогодні розберемо 9 фатальних SEO помилок, здатних «угробити» будь-який сайт.
- Фільтри і санкції пошукових систем
Як мінімум, раз на тиждень рекомендую заглядати в вебмастера Яндекс і Google для перевірки наявності санкцій. В Яндексі це можна зробити в розділі Діагностика → Безпека і порушення. В Google - Пошуковий трафік → Заходи, прийняті вручну.
Як показує наша практика, найчастіше власники сайтів навіть не здогадуються про накладені обмеження. Недавній приклад з нашої роботи:
Велика кількість чужих текстів на сайті та відкриті витікаючі посилання. Результат на скріншоті.
До зняття всіх обмежень подальшого сенсу займатися просуванням немає. Виправляємо всі помилки, повідомляємо пошуковій системі і чекаємо зняття санкцій.
- контент
Ми постійно говоримо про те, як важливі тексти. Контент - це те, навіщо користувачі заходять на сайти. Неунікальний і нецікавий контент нікому не потрібен. Пошукові системи занижують подібні ресурси у видачі, а клієнти втомилися читати одні й ті ж шаблонні тексти на сотні сайтів. Пруф того, що за контент можна вилетіти з хороших позицій,.
Перевіряйте унікальність текстів перед розміщенням на text.ru.
Як писати тексти, на які сторінки і в цілому, про контент, багато написано в нашому блозі. Ось хороша підбірка статей від нашого копірайтера Дар'ї.
- Теги Title і Description, заголовки H1-H3
Основа SEO-просування - правильно підібрані ключові слова. Це дуже важливий фактор в оцінці релевантності вашого сайту пошуковим запитом.
Найчастіше ми стикаємося з двома помилками. Повна відсутність ключових слів у тегах:
Тег Title повинен бути заповнений у вигляді зв'язного пропозиції з включенням ключових слів.
Або Переспа ключами в заголовках:
Важливо знайти золоту середину. Теги повинні бути корисними не тільки для пошукових роботів, але і для звичайних людей. Не забувайте про інформативності. Як правильно писати теги title, description і заголовки H1, добре розповідає наш копірайтер Катерина в своїй статті.
- Переїзд на https
C січня 2017 року браузер Google Chrome (починаючи з 56 версії) почав позначати всі HTTP-сайти, що містять будь-які форми, що передають особисті дані користувачів (email, паролі, дані кредитних карт і т.п.) як «небезпечні». Також наявність SSL сертифікату є невеликим імпульсом в ранжируванні в Google.
Всім інтернет-магазинах в першу чергу слід перейти на протокол https. При цьому дуже важливо дотримати правильний алгоритм дій.
Найчастіша помилка - просто налаштувати 301-редирект зі старої версії http на https після покупки SSL-сертифіката. Власники сайтів забувають про файлі robots.txt, директиві Host, налаштування веб-майстрів. Сайт з http випадає з індексу, новий сайт на https ще не проіндексовані. Усі позиції моментально відлітають в трубу.
У нашому Блозі є докладна інструкція, як правильно перенести сайт з http на https. Якщо залишаться питання, пишіть нам, обов'язково допоможемо.
- файл robots.txt
Текстовий файл, розміщений на сайті і призначений для роботів пошукових систем. У цьому файлі слід вказати параметри індексування свого сайту для пошукових роботів.
Іноді файл robots.txt відсутня зовсім.
Свіжий приклад з нашої роботи. Інтернет-магазин верстатів, роботи проводилися в рамках послуги пошукове просування сайту. Сайт був повністю відкритий для індексації пошуковим роботам і зовсім не мав файл robots.txt.
Налаштували йому robots, тепер все в порядку:
Що конкретно ми зробили?
Закрили від індексації адмін панель сайту, службові сторінки 404 і 403, сторінку пошуку, кошик. Вказали адресу карти сайту, налаштували директиву Host.
Разом з іншими роботами по оптимізації це допомогло досягти таких результатів:
Ще одна серйозна помилка - сайт повністю закритий від індексації. За це відповідають директиви Disallow і Allow, які забороняють або дозволяють індексування розділів, окремих сторінок сайту або файлів відповідно. Для перевірки файлу у пошукових систем є спеціальні інструменти: Яндекс і Google.
Перевірте, що у вашого сайту є файл robots.txt і заповнений він коректно. Від індексації слід закривати всі службові сторінки, сторінки пошуку і фільтрів. Сторінки дублів, реєстрації, авторизації. Кошик і сторінку оформлення замовлення для інтернет-магазинів. .
- Дублювання контенту (дублі сторінок)
Дубльований контент або просто дублі - це сторінки на вашому сайті, які повністю (чіткі дублі) або частково (нечіткі дублі) збігаються один з одним, але кожна з них має свій URL.
Одна сторінка може мати як один, так і кілька дублів:
Пошукові роботи негативно ставляться до дубльованого контенту і можуть знизити позиції у видачі через відсутність унікальності, а отже, і корисності для клієнта. Немає сенсу читати одне і те ж на різних сторінках сайту.
Може змінитися релевантна сторінка. Робот може вибрати для видачі дубльовану сторінку, якщо вважатиме її зміст більш релевантним запитом. Сайт втратить позиції і просяде у видачі. У 90% випадків дублі заважають просуванню, і після їх усунення позиції сайту поліпшуються.
Як знайти і прибрати дублі на сайті, розповідаємо в даній статті.
- Дзеркала сайту
Дзеркалами вважаються сайти, які є повними копіями один одного, доступні за різними адресами. Всі дзеркала сайту важливо склеїти через 301 редирект.
Показники тИЦ, вага зовнішніх посилань не повинні розтікатися, а вони будуть, тому що пошуковики вважають різними ресурсами сайти, розташовані за різними адресами. Можлива заміна релевантної сторінки в пошуковій видачі, дублювання контенту. 100% заважає зростанню сайту у видачі.
Сайт не повинен відкриватися за різними адресами, з www і без www, просто site.ru і site.ru/index.php, по http і https і т.д .:
Чек-лист для перевірки:
- Сайт повинен бути доступний тільки по одному протоколу http або https.
- Обрано головне дзеркало сайту, з www або без www, зазначено в вебмайстрів.
- Налаштований 301 редирект з усіх дзеркал.
- Головна сторінка сайту доступна за однією адресою, без /index.php, /index.html і т.п.
- Адаптивна верстка (версія сайту для мобільних пристроїв)
100% Must-have для всіх сайтів в 2017 році. Сьогодні зростання мобільного трафіку випереджає комп'ютерний. Число користувачів, що використовують смартфони для здійснення покупок, в світі зростає з кожним днем. Алгоритми пошукових систем враховують адаптивність при ранжуванні сайту в мобільній видачі.
Google вже з 2015 року використовує алгоритм Google mobile-friendly.
- Швидкість завантаження сайту
Тут все просто. Користувачам не подобаються повільні сайти. Пошукові системи так само віддають перевагу швидким, оптимізованим сайтам. Перевірити швидкість завантаження свого сайту можна за допомогою інструменту Google. Червоний - повільно, важливо терміново збільшувати швидкість, жовтий - нормально, але можна оптимізувати, зелений - відмінно.
Розберемо на конкретному прикладі
Пам'ятаєте, на початку статті ми згадували інтернет-магазин верстатів. Що ми виправили з фатальних помилок:
- неунікальний контент
Написали хороший продає, унікальний текст на головну сторінку сайту.
- помилки оптимізації
Скорегували теги title і description, заголовки H1.
- Відсутність файлу robots.txt
Створили і налаштували файл robots.txt. Зараз сайт правильно індексується пошуковими системами. До цього, як писали вище, даного файлу не було на сайті зовсім.
- Наявність не склеєних дзеркал
Склеїли дзеркала сайту. Сайт був доступний за двома адресами з www і без.
- Некоректний відповідь сервера для неіснуючих сторінок
Створили окрему сторінку 404 і налаштували правильну відповідь сервера для неіснуючих сторінок.
До виконання робіт неіснуючі сторінки через 302 редирект перенаправляли користувача на головну сторінку сайту.
результати:
Позитивна динаміка зростання відвідуваності з пошукових систем:
Трафік з Google виріс в два рази:
Результат за 3 місяці:
+8 запитів у Яндекса, +6 у Google в топ-5
+19 запитів у Яндекса, +9 у Google в топ-10
+25 запитів у Яндекса, +11 у Google в топ-20
+14 запитів у Яндекса, +4 у Google в топ-50
Хочете так само? Перевірте, може дані помилки є і на вашому сайті. Якщо немає часу і бажання розбиратися, замовляйте пошукове просування у нас, з радістю допоможемо.
Приблизно рік тому (або більше) Яндекс зробив в вебмайстрів Яндекса можливість дізнаватися застосовані санкції до вашого сайту чи ні.
І ось минув рік.
Сьогодні я розповім які з цих «санкційних» сигналів працюють, а які не працюють.
Виглядає це приблизно так:
Самі санкції мають 4 види: Фатальні проблеми, Критичні проблеми, Можливі проблеми, Рекомендації.
фатальні проблеми це по суті бан сайту. Зазвичай це що то дуже серйозне. Наприклад бан за покупку посилань, накрутку ПФ, спамние текст, ..
Якщо у вас є фатальна проблема в вебмайстрів, то зазвичай сайт або повністю видаляється з індексу Яндек або ж траф стає практично нульовим.
Насправді фатальні проблеми зустрічаються дуже рідко. Я всього один раз бачив таке. Був у однієї людини бан за Минусинськ.
Зрозуміло якщо ви бачите фатальні проблеми на сайті, то потрібно терміново їх виправляти.
критичні проблеми це в основному якісь технічні проблеми у сайту. Приклад таких проблем: Вірус на сайті, Сайт видає 404 помилку, Довго вантажиться сайт, ..
Ось приклад найпоширенішою проблеми: Довгий відповідь сервера.
Середній час відповіді роботу всіх сторінок вашого сайту перевищує 3 секунди. Проблема могла виникнути через тривале відповіді, що повертається сервером при зверненні пошукового робота до деяких сторінок сайту. Якщо в даний момент сервер відповідає швидко, у міру переобхода сайту роботом Яндекса проблема перестане бути актуальною, і повідомлення про помилку пропаде.
За фактом можу сказати, що якщо у вас на сайті є критична проблема, То трафік у вашого сайту знизиться. Сайт буде в індексі Яндекса, але траф сильно просяде.
Після того ви виправите проблему трафік відновиться, але НЕ ПОВНІСТЮ.
Так, до речі це цікава річ від Яндекса - якщо сайт накладені санкції, але потім сайт вийшов з під санкцій, то траф остаточно не відновлюється Чому незрозуміло. Подейкують, що таке ось покарання і щоб більше не порушував.
Можливі проблеми це найпоширеніші проблеми. Насправді половина (або більше) з цих проблем не є проблемами.
Ну посудіть самі, ось ці проблеми: Відсутня robots, txt, Чи не прописаний в Роботс Host, Відсутня діспрішн, ..
Причому найчастіше вплив багатьох цих проблем зовсім різне. Про це ми і поговоримо більш докладно.
Відсутня robots, txt, Чи не прописаний в Роботс Host - как не странно, але Яндекс вважає, що ця проблема суттєва. Знижується трафік на сайті.
Особисто для мене це зрозуміло, тому що багато сайтів взагалі не мають на своєму сайті robots.txt і прекрасно існують.
Відсутні мета-теги
Але що стосується Вебмастера Яндекса, факт того що діспрішни у вашого сайту відсутність не тягне до якихось санкцій з боку Яндекса.
Немає використовуваних роботом файлів Sitemap.
По суті немає карти сайту. Не звертайте на це увагу, ніяких санкцій на це не накладається.
В цілому зазвичай у власників сайтів далеких від Seo, ось така ситуація в вебмайстрів:
Але скажу, чесно їм на це похіру.
Почнемо з мого блогу (сайт):
Неважко зрозуміти, що мого блогу не потрібен ніякий фізичну адресу в Пітері.
«Сайт не оптимізовані для мобільних пристроїв».
Це насправді НЕ побажання, а саме критична або навіть Фатальна проблема. Справа в тому, що якщо сайт у вас криво відображається для «мобільних» користувачів, то Поведінкові чинники у сайту будуть дуже низькі.
Тому якщо у вас в вебмайстрів висвічується така проблема, то терміново її виправляйте.
І в кінці висловлю свою думку про роботу Вебмастера Яндекса:
Все дуже і дуже «мутно». Немає головного сигналу - «Поведінкові чинники». Можна було зробити такий сигнал, і якщо у вашого сайту погані ПФ, то можна прибрати цю опцію і прописувати - Покращуйте ваш сайт.
А так практично всі сигнали не є проблемними.
Ну навіщо публікувати, що у сайту немає Роботс, хоста в Роботс і карти сайту, коли по суті це не має ніякого значення для сайту ?! Або може користувач сайту так і мріє зазирнути в Роботс ?!
Потрібен сигнал: Переспа тексту і Індикатор Поведінкових факторів.
Пишіть свої побажання які санкційні сигнали ви хотіли б бачити в Яндекс.Вебмастере. Я цей список постараюся передати Яндексу.