Браузеры для загрузки сайтов на жесткий диск.

Интернет – это огромное хранилище информации, поэтому нет ничего удивительного в том, что некоторые страницы этой безграничной энциклопедии иногда хочется иметь под рукой, то есть на жестком диске. Конечно, в любом браузере есть команда Сохранить как, однако если для вас весь сайт представляет интерес, а на нем содержится сотня страниц, или, скажем, вас интересует интернет-галерея, в которой тысяча фотографий, сохранить все это вручную довольно тяжело. К тому же при сохранении веб-страниц вручную все ссылки между ними теряются, поэтому о переходе с одной страницы на другую можно забыть.

Решение проблемы – специальные программы, предназначенные для скачивания веб-сайтов. Они могут взять на себя утомительную работу по сохранению страниц, а кроме того, способны превращать реальные ссылки в относительные, благодаря чему по сайту, сохраненному на жестком диске, можно путешествовать точно так же, как в Интернете.

С каждым годом браузеры, которые работают в режиме, отключенном от Интернета, становятся все более функциональными. Сегодня многие из них можно использовать и как обычные браузеры, и как менеджеры загрузки, и даже как специализированные утилиты для скачивания и просмотра файлов в формате Flash, потокового видео, файловых архивов на FTP-серверах и т. д.

Если вам нужны все эти возможности, лучшим выбором будет программа Offline Explorer Pro. Сделать глубокое исследование структуры сайта поможет BlackWidow, а поиск на сайте файлов определенного типа можно поручить Teleport Pro. Offline Commander имеет функциональный браузер с быстрым переключением из режима, отключенного от Интернета, в режим, подключенный к Всемирной сети, и обратно, а с помощью WebCopier Pro удобно делать резервные копии сайтов и обновлять их. Программы WinHTTrack Website Copier и Offline Downloader понравятся тем, кому необходимо быстро скачать несколько сайтов, не вникая в настройки приложения. Рассмотрим эти программы подробнее.

WebCopier Pro

Производитель: MaximumSoft (http://www.maximumsoft.com).

Статус: коммерческая.

Страница для скачивания: http://www.maximumsoft.com/downloads/http://www.it.dom-spravka.info/.

Размер: 2,3 Мбайт.

 

Работа с программой начинается с создания нового проекта. Необходимо указать адрес сайта, информацию с которого нужно загрузить на жесткий диск, и папку, в которой будут сохраняться все файлы. Если нет желания тратить время на настройку программы, можно запускать загрузку с параметрами по умолчанию. Однако лучше все же изменить настройки, чтобы не качать ничего лишнего.

WebCopier Pro дает возможность определить типы файлов, которые необходимо загружать. Например, если вас интересует только текстовая информация, вы можете отключить загрузку картинок и звуковых файлов. Кроме того, можно определить, должны ли скачиваться файлы только с начального сервера или со всех серверов. Если вы уверены, что вся полезная информация на сайте размещена только на основном сервере, выбирайте первый вариант. Тем самым вы избавите себя от загрузки лишнего содержимого, например, тех сайтов, которые размещают рекламу на интересующем вас ресурсе. Если у вас достаточно быстрое соединение с Интернетом, вы можете увеличить количество страниц и файлов, которые будут одновременно загружаться. По умолчанию это количество равно пяти. Для каждого проекта можно определить максимальное количество файлов, которые могут быть загружены с сайта, наибольший размер файла, максимальное время, которое может быть потрачено на загрузку. При необходимости на доступ к скачанным файлам можно установить пароль.

Программу можно использовать не только для одноразовой загрузки сайта, но и для слежения за изменениями на нем. Эта возможность будет полезна, например, веб-мастерам. WebCopier Pro автоматически проверит все страницы ресурса, сравнит их с загруженными на жесткий диск и, обнаружив различия, заменит старую копию более новой. Если для вас важно хранить и старые версии страниц, необходимо просто снять флажок Удалять устаревшие файлы в области Другие настроек программы.

В WebCopier Pro удобно реализовано управление проектами, поэтому программу вполне можно оставлять работать на ночь или, скажем, на выходные на работе. Можно установить загрузку разных сайтов один за другим, а также составить расписание загрузки, указав день и время начала работы для каждого проекта.

Наблюдать за загрузкой сайтов можно визуально – программа показывает график загрузки, а также выводит такую полезную информацию, как текущая и средняя скорость, количество ссылок, общий размер загруженных файлов (рис. 4.9). Загруженные файлы можно сразу же просмотреть во встроенном браузере.

Рис. 4.9. Загрузка сайта при помощи программы WebCopier Pro

BlackWidow

Производитель: SoftByte Labs (http://softbytelabs.com/us/bw/).

Статус: коммерческая.

Страница для скачивания: http://softbytelabs.com/us/downloads.html.

Размер: 12,6 Мбайт.

 

Название для этой программы выбрано не случайно. «Черная вдова», подобно настоящему пауку, умеет плести паутину. Нити этой паутины – это веб-страницы, изображения, звуковые файлы и прочие элементы, которые можно найти в Интернете. Программа находит на веб-страницах самые разные ссылки, даже те, которые скрыты от глаз обычного пользователя Интернета.

Всю полученную информацию она группирует по вкладкам. Например, на вкладке Structure можно увидеть структуру папок сайта и посмотреть, какие в них лежат файлы (рис. 4.10), на вкладке ©Email публикуются найденные программой на сайте адреса электронной почты, а на вкладке Ext Links – ссылки, которые ведут на другие серверы. Кроме того, есть специальная вкладка Link Errors, на которую программа заносит ошибочные ссылки. Эта функция может быть полезна для веб-мастеров, проверяющих работоспособность своего сайта.

Рис. 4.10. Программа BlackWidow создает структуру папок и файлов сайта

 

Очень удобно то, что Black Widow может составлять структуру сайта, не загружая все страницы и файлы. Полученные данные могут быть сохранены в специальном формате WEB и использованы позднее. Такими файлами удобно делиться с другими пользователями программы. На сайте разработчика есть даже специальный раздел, где выкладываются файлы со структурой популярных сайтов, например таких, где хранится электронная документация или красивые картинки. Все, что остается сделать пользователю, – скачать их с сайта в BlackWidow и начать загрузку.

Еще одна интересная функция этой программы – Net Spy. При ее включении BlackWidow отслеживает все страницы, на которые вы заходите браузером, и автоматически создает их структуру, а также сообщает, какие файлы и изображения загружаются вместе с этой страницей (рис. 4.11). Эту возможность очень удобно использовать для поиска скрытых ссылок на файлы или для того, чтобы увидеть, производится ли на сайте пересылка на другие адреса.

Рис. 4.11. Работа с функцией Net Spy

 

Возможности программы можно расширить, используя подключаемые модули. С их помощью можно, например, производить на сайтах поиск файлов в формате Flash, документов PDF и других типов файлов; искать на сервере файлы по маске (например, от imaged до image999); производить поиск изображений с заданным разрешением (например, для установки их в качестве фонового рисунка Рабочего стола); обходить разнообразную защиту, которую веб-мастера устанавливают на загрузку страниц и изображений. Приложение может даже находить ссылки на изображения и файлы, которые создаются с использованием JavaScript.

WinHTTrack Website Copier

Производитель: Xavier Roche (http://www.httrack.com).

Статус: бесплатная.

Страница для скачивания: http://www.httrack.eom/page/2/en/http://www.it.dom-spravka.info/.

Размер: 3,3 Мбайт.

 

Самый верный способ помочь пользователю не забыть о каких-нибудь важных параметрах и сделать для него настройку программы более простой – создать понятный пошаговый мастер. Именно по этому пути пошли разработчики бесплатной программы WinHTTrack Website Copier. На первый взгляд, возможности утилиты можно пересчитать по пальцам, но за внешней простотой скрываются широкие возможности. Так, программа может автоматически возобновлять прерванные загрузки, соединяться с Интернетом, разрывать соединение и даже выключать компьютер, когда закачка будет завершена.

Перед началом загрузки сайта можно определить, какие типы файлов нужно качать, а какие можно пропустить, определить названия файлов и папок, которые не нужно качать. При этом можно указать как точные имена, так и буквенные и числовые сочетания, которые могут быть частью названия. Если вы хотите, чтобы программа работала в фоновом режиме, можно установить минимальную скорость загрузки. В этом случае она не будет мешать серфингу в Интернете или выполнению других заданий, например работе менеджера закачки.

В настройках WinHTTrack Website Copier можно также задать ограничение на размер файлов, причем это можно сделать раздельно для HTML-файлов и файлов всех остальных типов. Кроме того, можно указать количество одновременных соединений и глубину выкачки, то есть на сколько уровней программа будет выкачивать страницы. Например, у нас есть адрес стартовой страницы сайта и мы хотим скачать все страницы, на которые имеются ссылки со стартовой. В таком случае глубина выкачки 1. Если мы также хотим скачать все страницы, на которые есть ссылки со страниц, скачанных в первом случае, то глубина выкачки будет равна 2 и т. д. При этом отдельно указывается глубина выкачки для внешних ссылок, то есть ссылок на другие сайты. Это очень удобная функция, которая помогает уменьшить количество «лишних» загружаемых файлов.

В отличие от многих других программ, где настройки загрузки можно определить только до начала выполнения задания, в WinHTTrack Website Copier управлять закачкой можно на ходу. Когда программа начинает работу, вы можете видеть все ссылки, которые сейчас закачиваются, а также процент загрузки для каждой из них. Если вы заметите нежелательный файл, например ненужный архив большого размера, вы просто можете нажать кнопку Пропустить возле соответствующей ссылки, и программа перейдет к следующему файлу (рис. 4.12).

Рис. 4.12. Загружаемыми страницами можно управлять на ходу

 

Все загруженные проекты можно просмотреть при помощи удобной команды Просмотр сайтов меню Файл. После ее выбора в браузере, который установлен в системе по умолчанию, откроется сгенерированная программой страница со списком всех загруженных проектов. Можно будет выбрать нужный и начать просмотр сайта в режиме, отключенном от Интернета.

Offline Downloader

Производитель: InternetSoft Corp. (http://www.offlinedownloader.com/).

Статус: коммерческая.

Страница для скачивания: http://www.offlinedownloader.com/download.htm.

Размер: 630 Кбайт.

 

Несмотря на то что Offline Downloader не имеет мастера настройки, освоиться с программой не сложно. Добавить ссылку для загрузки можно непосредственно в главном окне программы, вписав ее вручную, вставив из буфера обмена или из текстового файла. Программа составляет структуру сайта, после чего можно сохранить все доступные ссылки в текстовом файле, удалить те страницы, папки или целые разделы, которые вы не хотите закачивать. В процессе загрузки можно также управлять количеством страниц, которые одновременно загружаются (до 100), и временем тайм-аута (рис. 4.13).

Рис. 4.13. Загрузка сайта при помощи программы Offline Downloader

 

Если вы хотите оставить программу работать на ночь, все эти и многие другие параметры можно задать до начала загрузки. В окне настроек Offline Downloader перечислено огромное количество типов файлов, которые разбиты по категориям, например архивы, видео, текст и т. д. В каждую группу можно добавить дополнительный тип файла. Для каждого из них можно указать, должны ли загружаться файлы этого типа. Кроме того, для каждого типа файлов можно установить минимальный и максимальный размеры. Если файл не будет соответствовать этому размеру, он загружен не будет.

Фильтры предусмотрены не только для типов файлов – можно, например, определить домены первого уровня, с которых будет происходить загрузка. По умолчанию выделены все домены, но вы можете снять флажки, соответствующие тем, информацию с которых вы не хотите получать. Есть также возможность исключать из загрузки домены, файлы и папки, в названиях которых присутствуют определенные сочетания букв или цифр.

Очень интересной является возможность загрузки только тех ссылок, которые расположены не на родительском сервере. Кроме того, можно, конечно, оставаться в рамках исходного домена или папки, учитывать или не учитывать поддомены. Offline Downloader можно также использовать для резервного копирования сайтов – программа может автоматически проверять обновления и перезаписывать старые версии страниц новыми или же скачивать новую версию сайта, пропуская уже существующие файлы.

При загрузке программа изменяет адреса страниц так, чтобы они ссылались на файлы, расположенные на жестком диске. Благодаря этому в окне Offline Downloader можно без проблем просматривать файлы в режиме, отключенном от Интернета, переносить их на другой жесткий диск или записывать на CD.

Teleport Pro

Производитель: Tennyson Maxwell Information Systems (http://www.tenmax.com/teleport/pro/home.htm).

Статус: коммерческая.

Страница для скачивания: http://www.tenmax.com/company/downloads.htm.

Размер: 677 Кбайт.

 

На первый взгляд, эта программа выглядит довольно невзрачно, но стоит немного с ней поработать, и становится понятно, почему она вот уже в течение многих лет считается одним из лучших браузеров, работающих в режиме, отключенном от Интернета (рис. 4.14). Teleport Pro может пригодиться в нескольких случаях: когда нужно полностью скачать какой-нибудь сайт и создать его копию на жестком диске с возможностью переходить с одной страницы на другую; когда необходимо скопировать сайт, сохранив его структуру и ссылки; когда требуется произвести на сайте поиск файлов определенного типа или, скажем, ключевых слов. Кроме того, программа может помочь, если нужно исследовать все сайты, на которые ссылается исходный ресурс, а также загрузить файлы по заданным адресам.

Рис. 4.14. Загрузка сайта при помощи программы Teleport Pro

 

Показать приложению, какое именно задание нужно выполнить в данный момент, можно при помощи удобного мастера. Если выбрана задача, связанная с загрузкой сайта, можно определить глубину загрузки и выбрать типы файлов, которые должны быть загружены. Для более тонкой настройки проекта нужно будет открыть окно параметров, выполнив команду Project ? Project Properties (Проект ? Параметры проекта). В нем можно указать маски файлов, которые не будут загружаться, ввести ключевые слова для файлов-исключений, определить, нужно ли загружать фоновые изображения и Java-апплеты. Кроме того, можно настроить, чтобы программа закрывалась после завершения загрузки проекта или через указанное время (например, через три часа после запуска).

Часто бывает тяжело заранее определить, сколько места на жестком диске займет тот или иной сайт. Если, оставляя программу работать на ночь, вы переживаете, что загруженные ею файлы заполнят все свободное место, можно установить ограничение. Скачивая файлы, Teleport Pro будет проверять, сколько места осталось на диске, и если увидит, что оно уже стало равно минимально допустимому, то остановит загрузку.

Если вы хотите выкачать какой-нибудь форум, то пригодится возможность работы с сайтами, требующими авторизации. В этом случае при добавлении нового проекта необходимо указать логин и пароль для входа на сайт, а остальное программа сделает автоматически.

Одна из особенностей Teleport Pro – удобный планировщик, который дает возможность устанавливать очередность выполнения проектов. Он реализован в виде отдельного приложения. Здесь можно определить, в какое время должен быть запущен каждый проект, нужно ли открывать каждый из них в новом окне программы, должно ли приложение подключаться к Интернету для выполнения заданий. Кроме того, планировщиком удобно пользоваться, если вы хотите обновить проект, который уже был загружен ранее. С его помощью можно указать, стоит ли скачивать все файлы снова, или нужно только обновлять те, для которых появились новые версии. Утилита также поможет изменить внутренние ссылки на загруженном сайте.

Offline Commander

Производитель: Offline-Commander.com (http://www.offline-commander.com).

Статус: коммерческая.

Ссылка для скачивания: http://www.offline-commander.com/downloads.shtml.

Размер: 3,4 Мбайт.

 

Эта программа не только претендует на роль менеджера скачивания сайтов, но и стремится стать основным браузером для пользователей. Именно поэтому по внешнему виду она больше похожа на утилиту для серфинга. Просматривая страницы, можно заносить интересующие вас ссылки для загрузки в специальную «корзину» – Drop Box. Они будут загружаться в фоновом режиме, а когда вы захотите их открыть, страницы мгновенно отобразятся. Заносить в «корзину» можно не только ссылки, но и выделенные фрагменты страницы. В этом случае будут загружены все ссылки, которые есть в этом фрагменте.

Программа справляется с загрузкой не только простых сайтов, но и таких страниц, на которых присутствуют Java-сценарии, Flash-анимация и другие проблемные для сохранения элементы (рис. 4.15). После завершения загрузки проекта можно отключаться от Интернета, исследовать полученные результаты и, если вдруг программа не справилась автоматически с загрузкой какой-нибудь страницы, подключиться к Интернету и загрузить ее вручную во встроенном браузере. При этом она также будет сохранена в проекте, и впоследствии вы сможете просматривать ее в режиме, отключенном от Интернета.

Рис. 4.15. Загрузка сайта при помощи программы Offline Commander

 

Иногда перед загрузкой сайта бывает полезно получить представление о его структуре. Это легко можно сделать при помощи Offline Commander. Для этого в настройках проекта есть функция загрузки изображений только после окончания закачки всех страниц сайта (Retrieve images only after retrieving last web page of the task).

Кроме того, в программе имеется большое количество разнообразных фильтров для загрузки графических файлов, ссылок, внедренных объектов. Ограничивать загрузку можно по ключевым словам, по маске или по размеру. Интересно, что разные разделы сайта можно скачивать, устанавливая для них разные параметры загрузки. Другими словами, для каждого раздела может быть создано отдельное задание, но при этом структура ссылок на сайте нарушена не будет. Когда сайт уже загружен на жесткий диск, по нему можно производить поиск, используя ключевые слова. Это удобно, если вы ищете какую-нибудь статью или книгу. При этом искать можно не только по одному сайту, но и по всем ресурсам, которые скачаны при помощи программы.

В приложении имеется множество разных режимов просмотра сайтов. Так, можно увидеть список всех файлов проекта или всех HTML-файлов, древовидную структуру расположения папок и файлов на сайте и т. д. При этом программа ставит возле каждого файла значки, показывающие, скачана ли страница, или она пока стоит в очереди на загрузку (рис. 4.16).

Рис. 4.16. Просматривая сайт в виде дерева каталогов, можно увидеть, какие страницы уже загружены, а какие – еще нет

Offline Explorer

Производитель: MetaProducts (http://www.metaproducts.com).

Статус: коммерческая.

Страница для скачивания: http://www.metaproducts.com/mp/mpProducts_Downloads_Current.asp.

Размер: 3 Мбайт.

 

Программа Offline Explorer выпускается в трех вариантах: Offline Explorer, Offline Explorer Pro и Offline Explorer Enterprise. Первая версия является базовой и содержит только основные параметры. В ней отсутствуют такие возможности, как перетаскивание ссылок из браузера, организация проектов при помощи вложенных папок, сохранение страниц и файлов, загрузка по протоколу HTTPS и некоторые другие.

Две другие версии программы различаются между собой максимальным количеством загруженных ссылок (в Offline Explorer их может быть до 300 000 в одном проекте, в Offline Explorer Pro – до 3 млн, а в Offline Explorer Enterprise – до 100 млн) и поддержкой OLE-автоматизации, благодаря которой можно управлять программой из других приложений. Можно сказать, что Offline Explorer Enterprise предназначена для крупных компаний, поэтому большинству пользователей будет достаточно возможностей Offline Explorer Pro.

Offline Explorer имеет такое количество возможностей, связанных с загрузкой интернет-содержимого, что ее вовсе не обязательно использовать для создания базы данных сайтов на жестком диске (рис. 4.17). Программа также пригодится, если вы хотите сохранить на диск потоковое видео, скачать и сохранить Flash-анимацию, загрузить все картинки из интернет-галереи или приложения из файлового архива.

Рис. 4.17. Загрузка сайта при помощи Offline Explorer

 

Очень удобно, что выбранные настройки для проектов можно сохранять в виде шаблонов, а затем использовать их в дальнейшем. Эти шаблоны могут включать настроенные фильтры для загрузки разных типов файлов и их размеров, а также на содержимое сайтов, пароли, параметры повторной загрузки проекта. В Offline Explorer можно устанавливать свойства загрузки для каждого из типов файлов отдельно. Причем речь идет не только о размере, но и о том, можно ли загружать их из внешних источников. Например, можно указать, что загрузка архивов может производиться только с исходного сервера, загрузка изображений – только из исходной папки, а скачивание аудиофайлов – с любого сайта. Можно также отдельно настраивать эти параметры для папок, файлов и протоколов, например загружать содержимое только по протоколу HTTP, скачивать файлы, которые относятся к исходной и вложенным папкам и т. д.

Отдельно стоит сказать о фильтрах на содержимое – программа может искать ключевые слова не только в теле веб-страницы, но и в HTML-тегах, прерывать загрузку страниц после обнаружения указанных слов, скачивать только страницы, содержащие определенные слова, скачивать графические файлы только с тех страниц, которые не содержат ключевые слова, и т. д.

Многочисленные параметры предусмотрены и для защищенных ресурсов (рис. 4.18). Можно указать логин и пароль для входа на защищенные сайты и FTP-серверы, настроить автоматический ввод этих данных или запрос подтверждения пользователя на ввод. Кроме того, программа может остановить загрузку, если определит, что сайт защищен.

Рис. 4.18. Настройки программы Offline Explorer для защищенных ресурсов

 

Offline Explorer хорошо взаимодействует с разными браузерами, в том числе с популярными Firefox и Opera. Из этих браузеров, как и из Internet Explorer, можно импортировать закладки и выбирать среди них ссылки для загрузки. Кроме того, Offline Explorer встраивается в контекстное меню перечисленных браузеров. Благодаря этому, находясь на веб-странице, всегда можно вызвать программу и загрузить с ее помощью все ссылки с текущей страницы или ее содержимое.