philosof
Март 16, 2007 17:53:31
Всем привет!
У меня такая задача, для творчества. Нужно сделать собиралку-проверялку прокси серверов. Застрял на этапе проверки прокси на работоспособность. Может кто че подскажет. Я если честно не могу врубится как вообще проверить работает прокси сервер или нет. Пробовал через urlopen
import urllib
import socket
timeout=15
socket.setdefaulttimeout(timeout)
i=0
while i<len(list_proxy
):
try:
proxies = {'http': 'http://'+list_proxy}
testProxy=urllib.urlopen("http://google.com", proxies=proxies)
print testProxy.read(5)
to_page=testProxy.read(5)
site_name_proxy=list_proxy+“.html”
save_to_page(“site proxy Denver”,site_name_proxy,to_page)
except IOError:
print “Error”, i
list_proxy.remove(list_proxy)
i+=1
Но сколько не проверяет все “Error”, i
list_proxy - список прокси, типа IP-адрес:порт
Это что касается проверки через питон. Но! Подскажите как проверить прокси сервер вообще, ping- не всчет.
Я информацию о проксеях читал здесь http://www.freeproxy.ru. Может че не дочитал или этого мало? Подскажите.
Итого:
Нужно проверить работает прокси или нет, и каким должен быть результат при его работоспособности?
OlDer
Март 17, 2007 10:12:59
lorien
ну раз ты засосал через проксю гуглю, то можно считать проксю рабочей.
Я бы, все-таки проверял на гарантированно статической странице - сначала получить страницу напрямую, потом через прокси, и сравнить результат.
philosof
Март 18, 2007 15:43:51
slav0nic
Это адрес немножко исправленый и там статью я нашол. Пасибо. Почитаю обьязательно.
http://forum.web-hack.ru/index.php?showtopic=17028
bio
Март 18, 2007 17:43:43
добавлю 5коп:
- часто периодически прокси на нестандартных портах режут контент, выдают по пару Кб и закрывают соединение, поэтому желательно регекспом проверять не начало страницы, а конец.
- насколько помнится в tcp таймаут 90сек, поэтому когда попадешь на дохлую прокси скрипт затормозится, лучше распаралеливать.
philosof
Март 21, 2007 01:04:41
bio
Напиши что ты имел ввиду под “регекспом”.
“желательно регекспом проверять не начало страницы, а конец”
только пожалуйста нормальным языком, без сленгов.;)
philosof
Март 27, 2007 04:19:33
Всем привет.
Как проверить уровень анонимности прокси и его скорость, средствами питон. Хотябы намекните, где искать?
slivlen
Март 27, 2007 08:11:11
philosof
Как проверить уровень анонимности прокси и его скорость, средствами питон. Хотябы намекните, где искать?
Для проверки анонимности можно написать простенький веб-сервер и запустить его на своей машине или использовать любой другой веб-сервер(н-р lighthttpd). Затем обращаться к нему(точнее к скрипту на этом сервере, который будет осуществлять проверку) через проверяемый прокси и искать HTTP_X_FORWARDED_FOR и HTTP_VIA в полученном http заголовке.
Viper
Март 27, 2007 11:18:20
philosof
Это адрес немножко исправленый и там статью я нашол. Пасибо. Почитаю обьязательно.
В этой статье, вроде, всё подробно описано.