Сьогодні хочу розглянути питання, про технічну складову наших сайтів, і пропоную кожному заглянути під "капот" свого сайту або блогу. Чи справді з вашим сайтом все в порядку, як це здається на перший погляд? Поговоримо про програму Xenu, яка допоможе знайти биті, вихідні та інші непридатні посилання на вашому ресурсі.

Програма Xenu - проводимо технічний аудит на сайті

Вітаю, зовсім я пропав і перестав займатися своїм блогом. Все більше йду в роботу з комерційними сайтами. Скористаюся невеликою перервою і поділюся корисною програмою Xenu для Веб-майстрів, яка вже не раз мене виручала. Працюю з нею вже досить давно і постійно застосовую на практиці.

Використовуючи програму Xenu ви можете знайти всі вихідні і биті посилання на своєму сайті.

Коротко розповім один цікавий випадок, який трапився кілька місяців тому. На одному з сайтів, над яким я працюю, зокрема інтернет-магазин стався злам. Моя колега, велике їй спасибі, помітила в декількох картках з товаром, підозрілі посилання на інші сайти. Дані посилання ніяк не можуть бути присутніми на нашому ресурсі, так як ми його використовуємо для клієнтів. Відразу ж запустили Xenu, на цьому сайті досить багато сторінок, тому перевірка займає приблизно 1-2 години.

В кінці перевірки ми виявили близько 20 вихідних посилань, в тому числі, на сайти 18+ та інтернет-казино. Так само вдалося обчислити зловмисника, так як він залишив вихідну посилання і на себе. Так, існує така біржа в інтернеті, яка продає посилання зі зламаних сайтів, можливо дехто про неї чув.

В результаті ми все почистили, так само знайшли пару цікавих скриптів і замінили паролі. Наслідки були не сильно відчутні, але втратили трохи трафік в Google, так як відреагували приблизно через тиждень ... Перейдемо до практики.

Перевірка вихідних і зовнішніх посилань

Грунтуючись на історії, яку я вам розповів, якщо ви запідозрили, що з вашим ресурсом щось не так (наприклад втрата позицій і пропускної здатності), раджу періодично проганяти свій сайт або блог за допомогою даної програми. Ви навіть можете це зробити зараз, в цілях профілактики, разом зі мною.

Перше, що ми з вами подивимося, це як виявити зовнішні посилання. Xenu ви можете завантажити за посиланням програма для перевірки зовнішніх посилань.

1. Запускаємо програму, вводимо адресу нашого сайту і натискаємо ОК.

Чекаємо поки робот, пробіжить по всім нашим сторінкам. Залежно від того, на скільки багато у вас сторінок, сканування триває від декількох хвилин до декількох годин.

2. Як тільки робот обійшов усі сторінки, ми бачимо список різних посилань, які присутні на нашому ресурсі. Для того, що б було простіше побачити і знайти витікаючі посилання з вашого сайту, сортуємо посилання по полю "Address". Дивимося на початок списку і кінець, і ось наші зовнішні посилання.

3. Для того, що б швидко знайти сторінки звідки проставлена \u200b\u200bзовнішнє посилання, необхідно при натисканні, правою кнопкою миші по "поганий" засланні вибрати "URL properties".

Шукаємо биті посилання на сайті з Xenu

Тепер давайте перевіримо, чи є на сайті биті посилання, які віддають 404 код і як їх знайти. Основна причина появи таких посилань, це те, що адреса (URL) сторінки, на яку веде посилання змінився або сторінка видалена, а посилання залишилася. Так само є й інші причини.

При такому сортуванні, ви так само зможете знайти і посилання за якими відбувається редирект, що теж дуже корисно.

Я розповів вам основні два моменти з пошуку зовнішніх і битих посилань на сайті за допомогою Xenu. Програма є безкоштовною і на скільки я знаю, вже досить стара і не оновлюється, але для нас головне, що працює.

Так само я використовую цю програму, при "першому знайомстві" з сайтом, яким починаю займатися.

На цьому все, якщо у вас є інший цікавий софт на дану тему, діліться в коментарях!

Доброго вам дня! Минулого тижня повернулася з села, де провела незабутній час повного релаксу! Погода вистояла відмінна, цілими днями ми проводили в річках, озерах, лісах, полях. Свіже повітря і ні душі навколо - ось це справжній відпочинок!

Продовжуємо вивчати тему оптимізації блогу на WordPress. Раніше ми детально розглянули питання перевірки сайту на і вручну і за допомогою плагіна. Сьогодні ми докладно зупинимося на 2х десктопних програмах, що виконують ці завдання автоматично, розберемо їх основні параметри і параметри технічного аудиту. Це - Xenu's Link Sleuth і Netpeak Spider, безкоштовні інструменти для seo-аналізу блогу.

Як користуватися програмою Xenu.

Працювати з цією програмою не складно, а в результаті виходить докладна і грунтовна звіт про всі наявні на сайті посиланнях. Крім свого основного призначення, перевірки битих посилань, Xenu може виконувати і інші завдання:

• складання карти сайту;
• визначення часу завантаження сторінок;
• пошук неунікальний тайтлів;
• виявлення сторінок зі значним рівнем вкладеності;
• визначення кількості зовнішніх і внутрішніх посилань на сайті;
• виявлення картинок без атрибута alt.

Окреслені моменти вельми важливі для розвитку ресурсу. Рішення даних завдань послужить для оптимізації вашого вордпресс-блогу. Тому пропоную вам уважно вивчити інструкцію по роботі з Xenu Link Sleuth. Почнемо.

Цей додаток є безкоштовним. Завантажити програму Xenu можна за посиланням: xenus-link-sleuth.en.softonic.com.

Разархівіруем файл і запускаємо Setup.exe. Після установки програми можна приступати до настройки її основних параметрів. Слід зазначити, що Xenu написана для Windows і не працює з іншими операційними системами.

Інтерфейс програми англомовний, але він лаконічний і досить простий. Щоб створити нову перевірку, потрібно клікнути по першій піктограмі в лівому верхньому кутку вікна програми або пройти по шляху «File» - «Check URL». В результаті відкриється вікно «Xenu's starting point» з базовими налаштуваннями:

Вгорі вписуємо адресу інспектується ресурсу. Якщо ви хочете включити в перевірку посилання на зовнішні ресурси, слід залишити галочку біля пункту « Checkexternallinks ». кнопка « Localfile » призначена для вибору файлу на вашому комп'ютері, якщо ви хочете проаналізувати такої.

У полі « ConsiderURLsbeginningwiththisas 'internal ': » ви можете додати такі сторінки, які відносяться безпосередньо до перевіряється сайту, але мають відмінний від головної сторінки адресу. наприклад, https: //forum.ВашСайт.ru .

В поле же « DonotcheckanyURLsbeginningwiththis: » можна перерахувати ті лінки, які ви хочете виключити з перевірки програмою Xenu.

У нижній частині розташована кнопка « e-mail ». Вона буде потрібно вам в тому випадку, якщо ви захочете отримати звіт про виконану аналізі блогу на свій e-mail за допомогою SMTP-Server:

« e-mailreportandquitwhendone » - виберіть цей пункт, якщо хочете отримати весь звіт відразу по завершенню роботи програми;

« e-mailonlyiftherearebrokenlinks » - при виборі цього варіанту звіт прийде, якщо будуть знайдені биті посилання.

Крім цього, в Xenu передбачена велика кількість додаткових налаштувань. Їх можна викликати, клікнувши по кнопці « More options ».

Перед нами відкривається вкладка «Basic Options». Перший параметр - « ParallelThreads ». Він регулює кількість паралельних синхронних запитів. Іншими словами, яке число посилань буде перевірятися одночасно. Рекомендується не перевищувати значення за замовчуванням, щоб не перевантажувати сервер і не впливати на коректність проведеного аудиту. пункт « MaximumDepth » встановлює максимальну глибину вкладеності сторінок, на якій буде проводитися робота програми Xenu. Тут теж можна залишити дефолтний значення. якщо поле « Treatredirectionsaserror » відзначити галочкою, редіректи будуть розглядатися додатком як помилка.

Праворуч розташований блок чекбоксів « Report ». Він служить для того, щоб налаштувати висновок звіту після сканування сайту. Виберіть ті параметри, показники яких ви хочете бачити в результаті:

« Brokenlinks,orderedbylinks » - биті посилання, згруповані за URL-адресами;

« Broken links, ordered by page » - аналогічно, биті посилання, але згруповані по сторінках;

« Brokenlocallinks » - внутрішні биті посилання;

« RedirectedURLs » - адреси з 301-м і 302-им редирект;

« FtpandgopherURLs » - URL з протоколами, відмінними від http;

« ValidtextURLs » - Чи не биті (робочі) посилання;

« SiteMap »,«Statistics » - додати в звіт карту сайту, статистику;

« Orphanfiles » - файли-одинаки, тобто ті, на які посилань немає.

Якщо ми хочемо застосовувати ці налаштування для всіх проектів, потрібно відзначити галочкою поле « Applytoalljobs ».

Зробивши налаштування Xenu, тиснемо «ОК». Програма починає аудит сайту. Вона проходить по всьому блогу і визначає наявність посилань. Якщо виникає необхідність призупинити роботу програми, на панелі вгорі є кнопки «Pause» (призупинити), «Stop» (перервати), «Continue» (продовжити). Скільки триватиме аналіз ресурсу, залежить від кількості сторінок, одночасних потоків, швидкості з'єднання і завантаженості сервера. По завершенню роботи, з'являється діалогове вікно, яке повідомить про це і пропонує вивести звіт.

Якщо погоджуємося, Xenu формує htm-документ з результатами проведеного аналізу в режимі реального часу.

Тепер розберемо, як можна користуватися даними, отриманими за допомогою Xenu Link Sleuth, в самій програмі. Результати seo-аналізу сайту розташовані в кілька стовпчиків. « Address » містить список всіх знайдених URL. Для того, щоб отримати більш детальну інформацію про якусь конкретну посиланням, натискаємо по ній правою кнопкою миші, в контекстному меню вибираємо пункт «URL properties». Відкривається вікно, в якому відображені наступні характеристики линка:

• «Page URL» - сторінка, на яку веде посилання;
• «Title or link text» - атрибут title або анкор посилання в матеріалі нашого блогу;
• «1 page linking to this one» - URL сторінки, де знаходиться посилання.

Далі йде стовпець « Status» , Де вказані статуси всіх посилань. Якщо ми хочемо відфільтрувати биті посилання, досить просто клікнути на назві стовбця. Неробочі посилання, виділені червоним кольором, будуть згруповані програмою Xenu у верхній частині сторінки.

• not found - посилання не знайдена;
• no such host - даний URL не існує;
• no connection - сервер не відповідає. В даному випадку слід зменшити кількість одночасних потоків в настройках і повторити перевірку.

Закладка « Type » дозволяє сортувати файли за типом розширення: картинки, html / css-файли і т.д.

у вкладці « Size » зібрана інформація про вагу файлів в КБ. Цими даними можна скористатися, щоб знайти і стиснути найважчі зображення на блозі.

У колонці « Title » можна відсортувати результати за однойменним мета-тегу title. Це дає можливість знайти дублі сторінок по візуальному збігом заголовків.

Також програма надає інформацію за такими параметрами:

« Level » - глибина вкладеності сторінки, на якій знаходиться URL;

« OutLinks » - кількість вихідних посилань на конкретній сторінці;

« InLinks » - вхідні посилання, що ведуть на певну сторінку.

Скориставшись інструкцією по роботі з Xenu Link Sleuth і проаналізувавши результати seo-аналізу, ви з легкістю зможете усунути всі биті посилання і більшість дублів на вашому блозі.

Netpeak Spider: визначення основних сео-параметрів сайту.

Дана програма є аналогом Xenu. Вона дозволяє просканувати сайт на наявність помилок, пов'язаних з внутрішньою оптимізацією. При цьому програма має російськомовний інтерфейс, що значно спрощує роботу з ним. І якщо ви вже знайомі з програмою Xenu, виконати настройки Netpeak Spider для вас не складе труднощів.

Ось список тих параметрів, які можна отримати в результаті аудиту сайту за допомогою даної програми:

• « URL »- адреса просканувати сторінки;
• «Глибина» - рівень вкладеності сторінки;
• « LinkCanonical » - наявність атрибута rel \u003d "canonical" і адреса, на який він вказує;
• «Відповідь» - відповідь сервера (3хх-5хх);
• « Title »,«Description »,«Keywords » - зміст відповідних мета-тегів;
• « robots.txt » - дозволена або заборонена (allowed / disallowed) індексація сторінки;
• « MetaRobots » - наявність мета-тега «robots»;
• «Редіректи» - кількість перенаправлень зі сторінки;
• «Заголовки (H1) » - кількість заголовків першого рівня;
• «Посилання з цієї сторінки», «Посилання на цю сторінку» - кількість всіх посилань, що виходять з цієї сторінки і провідних на цю сторінку відповідно;
• «Внутрішні посилання»;
• «Зовнішні посилання»;
• « PR »,« PR (без наскрізних посилань)» - внутрішній показник Page Rank сторінки, внутрішній показник Page Rank сторінки без урахування наскрізних посилань;
• «Дублі поTitle »,« Дублі по Description »,« ДубліпоKeywords » - групи сторінок з відповідним періодичним мета-тегом.

Завантажити програму можна за посиланням - netpeak.ua/software/netpeak-spider. Додаток безкоштовне, але необхідно пройти нескладну реєстрацію. Після цього на електронну пошту нам буде висланий ключ активації, яким треба скористатися при установці програми. Сам процес установки стандартний: запускаємо файл.exe і слідуємо інструкції Netpeak Spider.

Після запуску програми, відкриваємо вікно з необхідними налаштуваннями: «Налаштування» - «Сканування». Вибираємо необхідні параметри, зберігаємо.

В основному вікні програми прописуємо адресу перевіряється ресурсу, вказуємо кількість паралельних потоків і глибину вкладеності сторінок. Запускаємо сканування (піктограма праворуч від поля для вставки URL).

Отримані результати можна фільтрувати за таким же принципом, як і в програмі Xenu. Для доступу до детальної інформації про цікавить нас показнику досить викликати контекстне меню кліком правої кнопки миші. Так, наприклад, якщо ми хочемо побачити список всіх вихідних посилань на конкретній сторінці, натискаємо за кількістю і вибираємо у вікні пункт «Подивитися всі посилання з цієї сторінки».

Для пошуку дублів праворуч від основного розміщено вікно поменше. Тут пропонується кнопка «Знайти дублі» і можливість вибрати критерій фільтрації - «За title», «За description» або «По keywords». Результати аудиту можна зберегти у вигляді файлу Excel. Для цього слід клікнути по основному меню у верхній області вікна «Експорт в Excel».

На закінчення слід згадати, що і Xenu Link Sleuth, і Netpeak Spider зарекомендували себе як відмінні інструменти для перевірки битих посилань і мають безліч позитивних відгуків серед веб-майстрів. Зазначу, що хоча функціонал Netpeak Spider дещо ширше, на відміну від Xenu, в ній немає можливості повторно відкрити файл, що перевіряється.

Xenu's Link Sleuth - старий надійний crawler, який швидко просканує сайт і знайде буквально все: биті посилання, редіректи, помилки і багато іншого.

При перевірці сайту важливо знайти і виправити всі помилки, биті посилання і неправильні редіректи, так як їх відсутність є позитивним факторів в ранжуванні сайту.

Хочу порадити відмінний софт: - старий надійний crawler, який швидко просканує сайт і знайде буквально все: Биті посилання, редіректи, помилки, зашірованние url, розмір документа, дату і багато іншого. Остання версія від 2010 року, але це не заважає Xenu знаходить більше помилок за меншу кількість часу, ніж багато сучасних аналоги.

Але це не все, у програми є безліч додаткових налаштувань, наприклад:

• Ми можемо регулювати швидкість аналізу і кількість потоків
• Виводити більш детальну статистику про кожній сторінці сайту. Наприклад, щоб показувати все редіректи, потрібно зайти в «Options» - «Preferences» і поставити галочку «Treat redirections as errors» - тоді все редіректи будуть відображатися як помилка і віддавати відповіді 301 або 302:

• У Xenu ми можемо створювати статичну html і xml карту сайту
• Конвертувати звіт в формат Excel і сортувати отримані дані

На останньому пункті зупинимося детальніше. Щоб відкрити звіт в Excel потрібно експортувати звіт «File» - «Export to TAB Separated File»:

Отримаємо звіт в обичном.txt файлі - його потрібно відкрити Notepad ++ (або аналогом) і змінити кодування на ANSI:

Після цього можна спокійно відкривати файл в Excel:

Де ми вже можемо сортувати дані як потрібно: за датою появи документа, за кількістю зовнішніх посилань, за рівнем вкладеності сторінки і т.д.

На кожному сайті можуть з'являтися так звані "биті посилання" (англ. " broken links "), Які ведуть на неіснуючі веб-сторінки як на цьому сайті, так і на інших сайтах в Інтернеті.

"Битий" або "мертва посилання" може з'явитися після зміни структури сайту (видалення або зміни адрес сторінок або цілих розділів), при цьому на якийсь із сторінок залишається посилання, яка вказує на стару адресу сторінки. Такі посилання можуть бути як "внутрішніми" (провідними на неіснуючі сторінки цього ж сайту), так і "зовнішніми" (провідними на неіснуючі сторінки іншого сайту). І в тому і в іншому випадку, завдання вебмастера - знайти і виправити такі посилання, щоб не вводити в оману відвідувачів.

Якщо на сайті трохи сторінок і на кожній знаходиться не більше 2-3 посилань, їх можна періодично перевіряти вручну. Але якщо на сайті сотні сторінок, на кожній з яких є з десяток посилань, така перевірка може перетворитися в проблему. В цьому випадку ппоіск битих посилань краще це робити спеціальною програмою. Про одну з таких програм з назвою Xenu "s Link Sleuth я і хочу вам розповісти.

Запуск програми

Після кліка на значку програми з'являється її головне меню.

Для перевірки сайту натискаємо клавіші Ctrl + N або тиснемо на крайню зліва кнопку "Check URL". Відкривається вікно, де ми вказуємо адресу сайту, який необхідно перевірити на "биті посилання". Якщо адреса сайту закінчується назвою каталогу, не забудьте додати в кінці рядка символ "/" або буде перевірений весь батьківський каталог. наприклад:

Правильно: http://www.host.com/user/

Неправильно: http://www.host.com/user

Налаштування програми:

• Local file - вибрати для перевірки збережену веб-сторінку.
• Check external links - додатково до "внутрішнім" будуть перевірятися всі "зовнішні" посилання.
• Consider URL "s beginning with this as" internal " - додати список посилань, які програма буде вважати "внутрішніми". Введення кожної такої посилання завершується натисканням на кнопку "Add".
• Do not check any URL "s beginning with this - додати список посилань або розділів, які програма НЕ буде перевіряти. Введення кожної такої посилання завершується натисканням на кнопку "Add".
• More options - відкрити вікно з додатковими настройками (див. Нижче).

Після затиснення на кнопку "OK" почнеться пошук битих посилань на сайті, який може зайняти, в залежності від числа сторінок сайту, швидкості їх завантаження і числа посилань на кожній з них, від декількох секунд до декількох годин.

На екрані з'являється список знайдених на сайті посилань, кожна з яких виділяється певним кольором:

• сіра - посилання знаходиться в черзі на перевірку або виключена з перевірки відповідно до заданих настройками
• зелена - посилання доступна
• червона - знайдена "мертва" посилання або посилання тимчасово недоступна.

Переміщатися за списком можна за допомогою клавіш управління курсором (Вгору, Вниз, PageUp, PageDown) або знаходиться праворуч смуги прокрутки.

Внизу вікна в рядку статусу виводиться загальна кількість знайдених та оброблених посилань і час, що минув з початку перевірки.

По закінченню перевірки виводиться відповідне повідомлення і запит на формування звіту:

Додаткові настройки програми:

• Parallel Threads - число паралельно запитуваних сторінок (рекомендується 1 - 3, занадто велике значення може привести до значного навантаження на сервер і уповільнення швидкості завантаження сторінок)
• Ask for password or certificate when needed - при необхідності запитувати паролі та сертифікати (використовується для захищених сайтів і розділів)
• Treat redirections as errors - вважати редіректи помилками
• Report - інформація, яку необхідно виводити в звіт (можна вказувати пункти згідно з малюнком)
  • Broken links, ordered by links - показувати "биті" посилання, відсортовані за адресою посилання
  • Broken links, ordered by page - показувати "биті" посилання, відсортовані за адресою сторінки
  • Broken local links - показувати "биті" локальні посилання
  • Redirected URLs - показиватьссилкі з перенаправленням
  • Site Map - будувати HTML-карту сайту (при великій кількості перевірених сторінок може привести до значних затримок часу при формуванні звіту)
  • Statistics - виводити в звіт різну статистичну інформацію

Отриманий звіт відкривається в вашому браузері і складається з розділів, які були задані в налаштуваннях програми:

Якщо було задано висновок статистичної інформації, то додається відповідний блок.

В статистикою вказано кількість перевірених сторінок з угрупованням по їх типам (HTML-сторінки, зображення, скрипти, файли і т.п.), сумарні розміри сторінок. Також вказується кількість знайдених посилань з угрупованням по їх типам:

• ok - сторінка знайдена;
• skip external - сторінка пропущена як "зовнішня";
• forbidden request - доступ до сторінки заборонений;
• not found - Сторінка не знайдена.