Создал скрипт для парсинга сайта, во избежание того что сайт может забанить, решил использовать прокси,
вот здесь появилась необходимость проверять прокси сервера на работоспособность и анонимность. Для пробы использую прокси судью: http://proxyjudge.us. Парсю данный текст с помощью BeautifulSoup (данный прокси прозрачный и выводит мой IP - 111.111.111.111):
HTTP_HOST = proxyjudge.us HTTP_CONNECTION = close HTTP_X_REAL_IP = 111.111.111.111 HTTP_X_FORWARDED_FOR = 111.111.111.111 HTTP_PROXY_CONNECTION = keep-alive HTTP_UPGRADE_INSECURE_REQUESTS = 1 HTTP_USER_AGENT = Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36 HTTP_ACCEPT = text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 HTTP_ACCEPT_LANGUAGE = ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7 REMOTE_ADDR = 101.50.1.2 REQUEST_SCHEME = http REMOTE_PORT = 35190 REQUEST_METHOD = GET REQUEST_URI = / REQUEST_TIME_FLOAT = 1519377640.159 REQUEST_TIME = 1519377640
потом с помощью регулярных выражений нахожу HTTP_X_FORWARDED_FOR или HTTP_X_REAL_IP и вставляю значение 111.111.111.111 в переменную, после чего проверяю свой IP со значением данной переменной, если прокси скрывает мой IP - записываю в текстовый файл, если нет пропускает.
Проблема в том что, когда прокси скрывает мой IP, параметр(ы) HTTP_X_FORWARDED_FOR или HTTP_X_REAL_IP отсутствует(ют).
Другая проблема что есть нерабочие прокси.
Подскажите пожалуйста в этих проблемах или может есть другие идеи для осуществления проверки прокси.