Этап I
Прежде всего, Вам необходимо купить прокси http или socks. Для их составления можно воспользоваться данными ресурсами:
http://www.freeproxy.ru/ru/links.htm
http://www.freeproxy.ru/ru/free_proxy/get.htm
Найденные ссылки на страницы со списками прокси серверов достаточно скопировать с Блокнот, подготовив их тем самым для следующего этапа.
Как второй вариант поиска страниц со списками прокси серверов можно предложить воспользоваться поиском наhttp://www.google.com.
В данном случае можно сделать вот что: выбираем произвольный (желательно достаточно свежий, но НЕ самый свежий, а лучше где-то 2-3-дневной или даже недельной давности) прокси сервер и указываем его в строке поиска в кавычках и с номером порта через двоеточие, например:
“1.1.1.1:1080”
Результатом поиска будут страницы, содержащие не только данный прокси сервер, но и целую массу других, что собственно и нужно. Далее остается только скопировать ссылки на найденные страницы в Блокнот.
Почему прокси должен быть не самый свежий? Потому что поисковые системы переиндексируют сайты не каждый день, а где-то раз в неделю - раз в месяц.
Этап II
Если Вы не желаете использовать программы – менеджеры закачек, то Вам достаточно сохранить страницы с прокси серверами на диск, иначе сразу переходим к этапу III.
Вручную можно сохранять страницы так: открываете с помощью любого браузера поочередно каждую страницу (ссылка из Блокнота) и сохраняете на диск открывшуюся страницу в формате HTML.
Далее пропускаем этап III и переходим сразу на этап IV.
Этап III
Если Вы все же желаете скачать сразу все ссылки, ускорив процесс, Вы можете воспользоваться одним из менеджеров закачек (download managers). Достаточно выделить все ссылки в Блокноте и скопировать их в окно Менеджера закачек. Давайте рассмотрим, как это сделать на примере нескольких разных программ.
- Используем Flashget
Сохраняем в Блокноте ссылки в файл (Save As -> выбираем Type of files – All Files –> указываем имя файла, например proxies.lst Расширение файла должно быть обязательно «.lst»). Открываем окно Flashget и выбираем в меню «Файл -> Импортировать список…» («File -> Import list…»). Выбираем наш сохраненный ранее proxies.lst. Нажимаем Open. Появится новое окно со свойствами закачки первой ссылки. Укажите «Старт -> Немедленно» («Start -> Immediately») если хотите сразу начать закачку страницы. Обратите внимание на каталог, в который Вы будете загружать файлы. Нажмите кнопку OK. Появится дополнительный запрос «Использовать те же установки для других файлов?» («Use the same setting for other files?»). Выберите «Да» («Yes»). После этого начнется процесс загрузки страниц. В указанном для сохранения каталоге Вы найдете все скаченные страницы.
- Используем GetRight
Сохраняем в Блокноте ссылки в файл (Save As -> выбираем Type of files – All Files –> указываем имя файла, например proxies.lst Расширение файла должно быть обязательно «.lst»). Открываем окно GetRight и выбираем в меню «Файл -> Импорт списка запросов...» («File -> Import Download List…») -> Выбираем Files of type: URL Lists и выбираем наш сохраненный ранее proxies.lst. Нажимаем Open. Ссылки из сохраненного файла добавятся в окно закачки.
Для избежания появления лишних окон с различными опциями рекомендуется сразу отключить одну из них. Выбираем в меню «Инструменты -> Настройка GetRight -> Прочее -> Разное»(«Tools -> GetRight Configuration -> Advanced -> Miscellaneous»). Отключаем опцию «Включать GetRight броузер после загрузки веб-страниц» («Prompt for GetRight Browser or Login Page if downloaded a web page»). Там же в конфигурации «Инструменты -> Настройка GetRight -> Общие -> Сохранить в» («Tools -> GetRight Configuration -> General -> Save To») указываем опцию «Одна папка для всех загрузок» («One default directory for all downloads») и выбираем каталог для сохранения файлов. Нажимаем OK для сохранения данных настроек.
Выбираем в меню «Правка -> Выбрать все» («Edit -> Select All») для выбора всех файлов в окне закачки. Нажимаем Enter (Меню «Запросы -> Продолжить» («Downloads -> Resume»)) для старта загрузки. Если появится окно с вопросом «Автоматически будет приниматься N файлов одновременно и следующий запрос начнет обрабатываться, когда выполнится один из предыдущих запросов» («Do you wish to start Automatic Downloading instead?»), то укажите опцию «Не показывать потом» («Do not show this message again») и нажмите «Нет» («No»). Все файлы будут закачены одновременно в указанный в настройках GetRight каталог.
- Используем Mass Downloader
Сохраняем в Блокноте ссылки в файл (Save As -> указываем имя файла, например proxies.txt). Открываем окно Mass Downloader и выбираем в меню «Файл -> Импорт -> Ссылки из файла...» («File -> Import -> URLs from file…») -> Выбираем наш сохраненный ранее proxies.txt. Нажимаем Open. Если появляется окно с просьбой указать базовый адрес для файла («…type the Web URL for the file…»), то нажимаем кнопку OK. Появится окно со ссылками из нашего файла. Выделяем все ссылки (например, по CTRL+A или через кнопку в этом окне) и нажимаем кнопку «Загрузить» («Download»). Появится новое окно со свойствами закачки первой ссылки. Выберите каталог, в который Вы будете загружать файлы. Нажмите кнопку OK. Появится дополнительный запрос «Использовать такие же параметры для остальных проектов?» («Use the same properties for adding the rest of projects?»). Выберите «Да» («Yes»). Ссылки из сохраненного файла добавятся в окно закачки. После этого начнется процесс загрузки страниц. В указанном для сохранения каталоге Вы найдете все скаченные страницы.
- Используем ReGet Deluxe
Сохраняем в Блокноте ссылки в файл (Save As -> указываем имя файла, например proxies.txt).
Открываем окно Reget Deluxe. Для избежания появления лишних окон с различными опциями рекомендуется сразу отключить одну из них. Выбираем в меню «Настройки -> Настройки программы -> включить галочку «Показывать расширенные настройки» -> таб «Все настройки» -> Свойства закачки по умолчанию –> «Если файл уже существует» -> выбрать опцию «Переименовать»» («Options -> Program Options -> enable checkbox «Show advanced properties» -> tab «All Properties» -> Default Download Settings -> «If the file already exist» -> select option «Rename»»).
Открываем окно Reget Deluxe и выбираем в меню «Файл -> Импортировать очередь...» («File -> Import queue…») -> Выбираем Files of type: Plain URL Lists и выбираем наш сохраненный ранее proxies.txt. Нажимаем Open. Ссылки из сохраненного файла добавятся в окно закачки и начнется процесс загрузки страниц. В указанном при инсталляции каталоге для сохранения файлов Вы найдете все скаченные страницы.
Этап IV
После того как мы сохранили несколько HTML-файлов со списками прокси серверов, мы должны объединить их в один для того, чтобы все прокси сервера фильтровались и проверялись на работоспособность с помощью программы Proxy Checker. Дело в том, что данная программа может работать только с одним входным файлом (для программы SOCKS Proxy Checker версии 1.3 и выше этот этап можно пропустить)
Итак, давайте объединим несколько файлов в один большой. Для этого есть несколько вариантов. Для приведения примера будем считать, что файлы для объединения носят наименования соответствующие маске file?.html
Здесь возможны 2 варианта:
- Copy /b file1.html + file2.html + fileN.html proxylst.html
- For %a in (file?.html) do type %a >> proxylst.html
В случае (a) file1.html, file2.html, ... fileN.html - это имена файлов со списками прокси (они могут иметь расширение не только HTML)
В случае (b) Вам нужно иметь в текущем каталоге файлы file1.html, file2.html, ... fileN.html и из этого же каталога выполнить указанную команду.
Необходимо помнить, что данные варианты копирования файлов в один необходимо видоизменить перед использованием, ввиду того, что сохраненные файлы будут иметь другие наименования.
Этап V
Теперь Вам понадобится программа - Proxy Checker (в случае http proxy) или SOCKS proxy checker (в случае SOCKS proxy). Скачать эти программы Вы можете здесь.
На закладке Main выбираем в качестве Source file наш большой объединенный файл proxylst.html (либо нажав кнопку Add...добавляем все нужные нам файлы со списками прокси) и в Destination file указываем новый файл, в который будут сохраняться результаты проверки. Нажимаем кнопку Run и после завершения проверки просматриваем новый файл с только что успешно проверенными на работоспособность прокси серверами.