Уведомления

Группа в Telegram: @pythonsu

#1 Окт. 7, 2009 17:07:20

Evg
От:
Зарегистрирован: 2008-12-25
Сообщения: 346
Репутация: +  -1  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

Есть ли готовое решение для эмуляции браузера? вообще нужно чтобы между запросами умел цеплять посланные ему куки и при след запросах их использовать, еще было бы неплохо чтобы прокси умел менять. Кто что использует?
ps.
погуглил нашел вот такое - http://code.activestate.com/recipes/572202/
но что-то он даже не зацепил куки сайта при попытке им пользоваться.



Офлайн

#2 Окт. 7, 2009 17:15:54

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

Я использую самописное, на основе скрипта написанного Laszlo Nagy.
Если кому ещё интересно - могу выложить.

Офлайн

#3 Окт. 7, 2009 17:55:51

Evg
От:
Зарегистрирован: 2008-12-25
Сообщения: 346
Репутация: +  -1  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

да, было бы замечательно)



Офлайн

#4 Окт. 7, 2009 19:37:02

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

Правда там прокси не предусмотрен, но это не трудно поправить, я думаю.
Я там больше удалил, чем подправил, но работает замечательно.
Там же пример с прогрессом выложил.

http://code.google.com/p/pymozillaemulator/

Отредактировано (Окт. 7, 2009 19:38:30)

Офлайн

#5 Окт. 12, 2009 00:49:59

regall
От: Киев
Зарегистрирован: 2008-07-17
Сообщения: 1583
Репутация: +  3  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

Есть такая тема:
http://code.google.com/p/golf/



Офлайн

#6 Окт. 12, 2009 19:35:18

Evg
От:
Зарегистрирован: 2008-12-25
Сообщения: 346
Репутация: +  -1  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

regall
Есть такая тема:
http://code.google.com/p/golf/
Что-то тяжеловато как то свиду)

Ferroman
Я там больше удалил, чем подправил, но работает замечательно.
такой вопрос по скрипту, он ловит куку когда происходит редирект? есть такой момент когда сервер посылает куку и сразу делает редирект то нельзя поймать куку, точнее можно но для этого пишется специально обработчик - http_error_302 - и там ловится кука иначе она просто пропускается.

Вообщем я тут пробовал свое написать и сталкнулся еще с такой вот проблемой что нужно регать opener для отлова таких кук:
class MyHTTPRedirectHandler(urllib2.HTTPRedirectHandler):
def http_error_302(self, req, fp, code, msg, headers):
#print "Cookie Manip Right Here

opener = urllib2.build_opener(MyHTTPRedirectHandler())
urllib2.install_opener(opener)

и также нужно регать opener для proxy
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
Но повидимому он может быть только один, а нужны оба) так что я прям в замешательстве что делать)
может прилепить просто метод http_error_302 к opener proxy?



Офлайн

#7 Окт. 12, 2009 22:13:06

poltergeist
От:
Зарегистрирован: 2007-02-28
Сообщения: 522
Репутация: +  0  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

Читаем доку по urllib2:

build_opener(*handlers)
Create an opener object from a list of handlers.

The opener will use several default handlers, including support
for HTTP and FTP.

If any of the handlers passed as arguments are subclasses of the
default handlers, the default handlers will not be used.
… И создаём опенер из нескольких своих хэндлеров.



Офлайн

#8 Дек. 16, 2009 17:26:46

ritium
От:
Зарегистрирован: 2009-08-09
Сообщения: 5
Репутация: +  0  -
Профиль   Отправить e-mail  

Эмулятор браузера +смена прокси

pycurl - поддержка соксов и кукисов



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version