Уведомления

Группа в Telegram: @pythonsu
  • Начало
  • » Web
  • » Использование списка проксей в urllib2 [RSS Feed]

#1 Янв. 28, 2011 01:06:57

aliens
От:
Зарегистрирован: 2007-08-14
Сообщения: 135
Репутация: +  1  -
Профиль   Отправить e-mail  

Использование списка проксей в urllib2

Здравствуйте

Имеется задача, список проксей, которые надо переключать и делать запросы к серверу.
Читая доку по urllib2, нашел в нем ProxyHandler и HTTPPasswordMgr, по которым и возникло несоклько вопросов:
1. ProxyHandler принимает словарь серверов, но с указанием протокола и сервера, но не понимаю, зачем указывается протокол, он потом автоматически используется где-либо?
2. HTTPPasswordMgr имеет метод add_password, принимающий realm и URI, только я не понял на на что она должна указывать и для чего? Ссылку на сервер, чтобы можно было найти быстрее?
3. Как логичнее реализовать переключение проксей в urllib2? А то пока, помимо списка с проксями и каждый раз пересоздавать opener, идей не пришло

Спасибо!



Офлайн

#2 Янв. 28, 2011 02:30:25

Андрей Светлов
От:
Зарегистрирован: 2007-05-15
Сообщения: 3137
Репутация: +  14  -
Профиль   Адрес электронной почты  

Использование списка проксей в urllib2

1. urllib2 может обрабатывать и ftp
2. у разных сайтов бывают разные пользователи
3. если очень хочется - можно сделать свой, динамический proxy handler



Офлайн

#3 Янв. 28, 2011 17:41:46

aliens
От:
Зарегистрирован: 2007-08-14
Сообщения: 135
Репутация: +  1  -
Профиль   Отправить e-mail  

Использование списка проксей в urllib2

Андрей Светлов
1. Это где-то автоматически выбирается? Или это для пользователя?
2. Разные пользователи прокси или какие?



Офлайн

#4 Янв. 28, 2011 18:35:09

Андрей Светлов
От:
Зарегистрирован: 2007-05-15
Сообщения: 3137
Репутация: +  14  -
Профиль   Адрес электронной почты  

Использование списка проксей в urllib2

1. Это для используемого протокола. http proxy для http:// и так далее
2. При чем тут прокси? Это же http password manager!

Откройте файл urllib2.py и почитайте - он маленький и не страшный.



Офлайн

  • Начало
  • » Web
  • » Использование списка проксей в urllib2[RSS Feed]

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version