Python-сообщество

philips2009 · Фев. 23, 2018 11:35:01

Доброго времени суток!
Создал скрипт для парсинга сайта, во избежание того что сайт может забанить, решил использовать прокси,
вот здесь появилась необходимость проверять прокси сервера на работоспособность и анонимность. Для пробы использую прокси судью: http://proxyjudge.us. Парсю данный текст с помощью BeautifulSoup (данный прокси прозрачный и выводит мой IP - 111.111.111.111):

 HTTP_HOST = proxyjudge.us
HTTP_CONNECTION = close
HTTP_X_REAL_IP = 111.111.111.111
HTTP_X_FORWARDED_FOR = 111.111.111.111
HTTP_PROXY_CONNECTION = keep-alive
HTTP_UPGRADE_INSECURE_REQUESTS = 1
HTTP_USER_AGENT = Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36
HTTP_ACCEPT = text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
HTTP_ACCEPT_LANGUAGE = ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
REMOTE_ADDR = 101.50.1.2
REQUEST_SCHEME = http
REMOTE_PORT = 35190
REQUEST_METHOD = GET
REQUEST_URI = /
REQUEST_TIME_FLOAT = 1519377640.159
REQUEST_TIME = 1519377640

потом с помощью регулярных выражений нахожу HTTP_X_FORWARDED_FOR или HTTP_X_REAL_IP и вставляю значение 111.111.111.111 в переменную, после чего проверяю свой IP со значением данной переменной, если прокси скрывает мой IP - записываю в текстовый файл, если нет пропускает.
Проблема в том что, когда прокси скрывает мой IP, параметр(ы) HTTP_X_FORWARDED_FOR или HTTP_X_REAL_IP отсутствует(ют).
Другая проблема что есть нерабочие прокси.

Подскажите пожалуйста в этих проблемах или может есть другие идеи для осуществления проверки прокси.

Отредактировано philips2009 (Фев. 23, 2018 12:42:47)

Python-сообщество

Уведомления

#1 Фев. 23, 2018 11:35:01

Проверка прокси на работоспособность и анонимность

Board footer