Xenu's Link Sleuth: программа проверки веб-сайта на "битые" ссылки

На каждом сайте могут появляться так называемые "битые ссылки" (англ. "broken links"), которые ведут на несуществующие веб-страницы как на этом сайте, так и на других сайтах в Интернете.

В каких случаях появляются такие ссылки?

"Битая" или "мертвая ссылка" может появиться после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Такие ссылки могут быть как "внутренними" (ведущими на несуществующие страницы этого же сайта), так и "внешними" (ведущими на несуществующие страницы другого сайта). И в том и в другом случае, задача вебмастера - найти и исправить такие ссылки, чтобы не вводить в заблуждение посетителей.

Как же можно найти "битые ссылки"?

Если на сайте немного страниц и на каждой находится не более 2-3 ссылок, их можно периодически проверять вручную. Но если на сайте сотни страниц, на каждой из которых имеются с десяток ссылок, такая проверка может превратиться в проблему. В этом случае ппоиск битых ссылок лучше это делать специальной программой. Об одной из таких программ с названием Xenu's Link Sleuth я и хочу вам рассказать.

Программа Xenu's Link Sleuth позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки.

Преимущества программы:

• Программа бесплатна (freeware)
• Простой и удобный пользовательский интерфейс
• Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
• Простой формат отчета
• Размер исполняемого файла программы меньше 1Мб
• Возможность проверки защищенных сайтов по протоколу SSL ("https://")
• Определение и вывод редиректов (т.е. пересылок на другие страницы)
• Возможно формирование карты проверяемого сайта

Системные требования: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, (для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer). Также программа работает под Red Hat 8 и Ubuntu с помощью wine, и под Mac с помощью Crossover.

Запуск программы

После клика на значке программы появляется ее главное меню.

Для проверки сайта нажимаем клавиши Ctrl+N или жмем на крайнюю слева кнопку "Check URL". Открывается окно, где мы указываем адрес сайта, который необходимо проверить на "битые ссылки". Если адрес сайта заканчивается названием каталога, не забудьте добавить в конце строки символ '/' или будет проверен весь родительский каталог. Например:

Правильно: http://www.host.com/user/

Неправильно: http://www.host.com/user

Настройки программы:

• Local file - выбрать для проверки сохраненную веб-страницу.
• Check external links - дополнительно к "внутренним" будут проверяться все "внешние" ссылки.
• Consider URL's beginning with this as "internal" - добавить список ссылок, которые программа будет считать "внутренними". Ввод каждой такой ссылки завершается нажатием на кнопку "Add".
• Do not check any URL's beginning with this - добавить список ссылок или разделов, которые программа НЕ будет проверять. Ввод каждой такой ссылки завершается нажатием на кнопку "Add".
• More options - открыть окно с дополнительными настройками (см. ниже).

После зажатия на кнопку "OK" начнется поиск битых ссылок на сайте, который может занять, в зависимости от числа страниц сайта, скорости их загрузки и числа ссылок на каждой из них, от нескольких секунд до нескольких часов.

На экране появляется список найденных на сайте ссылок, каждая из которых выделяется определенным цветом:

• серая - ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками
• зеленая - ссылка доступна
• красная - найдена "мертвая" ссылка или ссылка временно недоступна.

Перемещаться по списку можно с помощью клавиш управления курсором (Вверх, Вниз, PageUp, PageDown) или находящейся справа полосы прокрутки.

Внизу окна в строке статуса выводится общее количество найденных и обработанных ссылок и время, прошедшее с начала проверки.

По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета:

Дополнительные настройки программы:

• Parallel Threads - число параллельно запрашиваемых страниц (рекомендуется 1 - 3, слишком большое значение может привести к значительной нагрузке на сервер и замедлению скорости загрузки страниц)
• Ask for password or certificate when needed - при необходимости запрашивать пароли и сертификаты (используется для защищенных сайтов и разделов)
• Treat redirections as errors - считать редиректы ошибками
• Report - информация, которую необходимо выводить в отчет (можно указывать пункты согласно рисунку)
  • Broken links, ordered by links - показывать "битые" ссылки, отсортированные по адресу ссылки
  • Broken links, ordered by page - показывать "битые" ссылки, отсортированные по адресу страницы
  • Broken local links - показывать"битые" локальные ссылки
  • Redirected URLs - показыватьссылки с редиректами
  • Site Map - строить HTML-карту сайта (при большом количестве проверяемых страниц может привести к значительным задержкам времени при формировании отчета)
  • Statistics - выводить в отчет различную статистическую информацию

Полученный отчет открывается в вашем браузере и состоит из разделов, которые были заданы в настройках программы:

Если было задан вывод статистической информации, то добавляется соответствующий блок.

В статистике указано количество проверенных страниц с группировкой по их типам (HTML-страницы, изображения, скрипты, файлы и т.п.), суммарные размеры страниц. Также указывается количество найденных ссылок с группировкой по их типам:

• ok - страница найдена;
• skip external - страница пропущена как "внешняя";
• forbidden request - доступ к странице запрещен;
• not found - страница не найдена.

Полученный отчет можно сохранить для дальнейшей обработки в Excel.