Xenu's Link Sleuth: программа проверки веб-сайта на "битые" ссылки

На каждом сайте могут появляться так называемые "битые ссылки" (англ. "broken links"), которые ведут на несуществующие веб-страницы как на этом сайте, так и на других сайтах в Интернете.

В каких случаях появляются такие ссылки?

"Битая" или "мертвая ссылка" может появиться после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Такие ссылки могут быть как "внутренними" (ведущими на несуществующие страницы этого же сайта), так и "внешними" (ведущими на несуществующие страницы другого сайта). И в том и в другом случае, задача вебмастера - найти и исправить такие ссылки, чтобы не вводить в заблуждение посетителей.

Как же можно найти "битые ссылки"?

Если на сайте немного страниц и на каждой находится не более 2-3 ссылок, их можно периодически проверять вручную. Но если на сайте сотни страниц, на каждой из которых имеются с десяток ссылок, такая проверка может превратиться в проблему. В этом случае ппоиск битых ссылок лучше это делать специальной программой. Об одной из таких программ с названием Xenu's Link Sleuth я и хочу вам рассказать.

Программа Xenu's Link Sleuth позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки.

Преимущества программы:

  • Программа бесплатна (freeware)
  • Простой и удобный пользовательский интерфейс
  • Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
  • Простой формат отчета
  • Размер исполняемого файла программы меньше 1Мб
  • Возможность проверки защищенных сайтов по протоколу SSL ("https://")
  • Определение и вывод редиректов (т.е. пересылок на другие страницы)
  • Возможно формирование карты проверяемого сайта

Системные требования: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, (для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer). Также программа работает под Red Hat 8 и Ubuntu с помощью wine, и под Mac с помощью Crossover.

Запуск программы

После клика на значке программы появляется ее главное меню.

Для проверки сайта нажимаем клавиши Ctrl+N или жмем на крайнюю слева кнопку "Check URL". Открывается окно, где мы указываем адрес сайта, который необходимо проверить на "битые ссылки". Если адрес сайта заканчивается названием каталога, не забудьте добавить в конце строки символ '/' или будет проверен весь родительский каталог. Например:

Правильно: http://www.host.com/user/

Неправильно: http://www.host.com/user

Настройки программы:


  • Local file - выбрать для проверки сохраненную веб-страницу.
  • Check external links - дополнительно к "внутренним" будут проверяться все "внешние" ссылки.
  • Consider URL's beginning with this as "internal" - добавить список ссылок, которые программа будет считать "внутренними". Ввод каждой такой ссылки завершается нажатием на кнопку "Add".
  • Do not check any URL's beginning with this - добавить список ссылок или разделов, которые программа НЕ будет проверять. Ввод каждой такой ссылки завершается нажатием на кнопку "Add".
  • More options - открыть окно с дополнительными настройками (см. ниже).

После зажатия на кнопку "OK" начнется поиск битых ссылок на сайте, который может занять, в зависимости от числа страниц сайта, скорости их загрузки и числа ссылок на каждой из них, от нескольких секунд до нескольких часов.

На экране появляется список найденных на сайте ссылок, каждая из которых выделяется определенным цветом:

  • серая - ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками
  • зеленая - ссылка доступна
  • красная - найдена "мертвая" ссылка или ссылка временно недоступна.

Перемещаться по списку можно с помощью клавиш управления курсором (Вверх, Вниз, PageUp, PageDown) или находящейся справа полосы прокрутки.

Внизу окна в строке статуса выводится общее количество найденных и обработанных ссылок и время, прошедшее с начала проверки.

По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета:

Дополнительные настройки программы:

  • Parallel Threads - число параллельно запрашиваемых страниц (рекомендуется 1 - 3, слишком большое значение может привести к значительной нагрузке на сервер и замедлению скорости загрузки страниц)
  • Ask for password or certificate when needed - при необходимости запрашивать пароли и сертификаты (используется для защищенных сайтов и разделов)
  • Treat redirections as errors - считать редиректы ошибками
  • Report - информация, которую необходимо выводить в отчет (можно указывать пункты согласно рисунку)
    • Broken links, ordered by links - показывать "битые" ссылки, отсортированные по адресу ссылки
    • Broken links, ordered by page - показывать "битые" ссылки, отсортированные по адресу страницы
    • Broken local links - показывать"битые" локальные ссылки
    • Redirected URLs - показыватьссылки с редиректами
    • Site Map - строить HTML-карту сайта (при большом количестве проверяемых страниц может привести к значительным задержкам времени при формировании отчета)
    • Statistics - выводить в отчет различную статистическую информацию

Полученный отчет открывается в вашем браузере и состоит из разделов, которые были заданы в настройках программы:

Если было задан вывод статистической информации, то добавляется соответствующий блок.

В статистике указано количество проверенных страниц с группировкой по их типам (HTML-страницы, изображения, скрипты, файлы и т.п.), суммарные размеры страниц. Также указывается количество найденных ссылок с группировкой по их типам:

  • ok - страница найдена;
  • skip external - страница пропущена как "внешняя";
  • forbidden request - доступ к странице запрещен;
  • not found - страница не найдена.

Полученный отчет можно сохранить для дальнейшей обработки в Excel.

Ваша оценка: Нет Средняя: 4.8 (56 голосов)

Комментарии

звонки

Народ, подскажите пожалуйста, я сейчас нахожусь в Мексике , а родители в Киеве, как оплатить им что-нибудь, чтобы они мне звонили дёшево ?

Что дальше

Добрый день/ночь. Будьте добры объясните что делать с найденными битыми ссылками? Как их удалить с сайта? Спасибо.

Это уже зависит от

Это уже зависит от используемой системы управления сайтом (CMS). Обычно достаточно просто отредактировать тексты страниц, содержащих "битые" ссылки и удалить эти ссылки.

Re: звонки

Оплати им самый дешевый комп или ноут, поставь Скайп и говорите сколько надо бесплатно.

отличная софтина

Admin, отличная софтина, спасибо. Прочекал свои сайты и нашел кучу недоработок, буду исправлять! Спасибо

Внешние ссылки

Программа во время сканирования случайно не делает переходы по объявлениям Яндекс Директ, Adsense, Бегун?

Отличная программа. Все битые

Отличная программа. Все битые линки удалил - быстро. Унтуитивно понятная. Спасибо!

Постоянно вываливает ошибку(

Windows 7. Проверив малую часть сайта 1500 линков из 10 000 линков, пишет ошибку "Out of memory", пытался в настройках минимизировать - оставлял только один поток и одну галочку самую верхнюю из списка "Broken links, ordered by links", но все пишет Аут ОВ Мемори (( Уже в окружаюих средах в винде прописал для джавы -Xmx6G и прочие настройки. Ничего не помогает - помогите найти проблему!

out of memory

Этот ответ "out of memory" это хостинг присылает, где сканируемый сайт лежит. это не твоя локальная машина глючит. Эта прога много запросов генерит и хостинг, особенно если слабый, затыкается. Совет: снизь кол-во потоков до 1-2

А у меня Serif сам битые

А у меня Serif сам битые ссылки вычисляет

Что означает надпись

Что означает надпись forbidden request ? по ссылке заходит без проблем

задержка при парсинге

Очень не хватает опции, где можно было бы выставлять задержку при парсинге. Например мой хостинг настроен так, что 10 запросов подряд пропускает, а потом forbidden request. Нужно 10 секунд подождать. А задержку между запросами или группами запросов в Xenu нельзя поставить.

Привет.Тоже ошибка "Out of

Привет. Тоже ошибка "Out of memory". Windows 7, 4 гига оперативы. Количество проверяемых ссылок 900 000, проверилось 290 000 и вылазит ошибка. Поставил еще 4 гига оперативы. Проверилось еще 15000 и опять ошибка. Возможно ошибка возникает из-за огромного количества ссылок которые проге негде хранить. Но каким образом исправить ошибку?

Очевидно же - поставить ещё 8

Очевидно же - поставить ещё 8 Гб оперативы.

Удаление битых ссылок

Подскажите как удалить найденные битые ссылки. Если быть точнее у меня все битые ссылки это старые категории объявлений или рубрик, которые я вроде как удалил, а они все еще в Яндексе висят. Как исправить эту оплошность?
 
 
 
 

Понравился материал? Подпишитесь на обновления сайта и ежедневно БЕСПЛАТНО получайте полезные статьи и советы удобным для Вас способом: по RSS или по e-mail
Добавьте материал в закладки:

 
 
 
 
загрузка...
 
 
 
 
На протяжении многих лет продаем особенные стабилизаторы напряжения марки Lider.