Форум сайта python.su
Есть ли готовое решение для эмуляции браузера? вообще нужно чтобы между запросами умел цеплять посланные ему куки и при след запросах их использовать, еще было бы неплохо чтобы прокси умел менять. Кто что использует?
ps.
погуглил нашел вот такое - http://code.activestate.com/recipes/572202/
но что-то он даже не зацепил куки сайта при попытке им пользоваться.
Офлайн
Я использую самописное, на основе скрипта написанного Laszlo Nagy.
Если кому ещё интересно - могу выложить.
Офлайн
да, было бы замечательно)
Офлайн
Правда там прокси не предусмотрен, но это не трудно поправить, я думаю.
Я там больше удалил, чем подправил, но работает замечательно.
Там же пример с прогрессом выложил.
http://code.google.com/p/pymozillaemulator/
Отредактировано (Окт. 7, 2009 19:38:30)
Офлайн
Есть такая тема:
http://code.google.com/p/golf/
Офлайн
regallЧто-то тяжеловато как то свиду)
Есть такая тема:
http://code.google.com/p/golf/
Ferromanтакой вопрос по скрипту, он ловит куку когда происходит редирект? есть такой момент когда сервер посылает куку и сразу делает редирект то нельзя поймать куку, точнее можно но для этого пишется специально обработчик - http_error_302 - и там ловится кука иначе она просто пропускается.
Я там больше удалил, чем подправил, но работает замечательно.
class MyHTTPRedirectHandler(urllib2.HTTPRedirectHandler):
def http_error_302(self, req, fp, code, msg, headers):
#print "Cookie Manip Right Here
opener = urllib2.build_opener(MyHTTPRedirectHandler())
urllib2.install_opener(opener)
и также нужно регать opener для proxy
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
Офлайн
Читаем доку по urllib2:
build_opener(*handlers)
Create an opener object from a list of handlers.
The opener will use several default handlers, including support
for HTTP and FTP.
If any of the handlers passed as arguments are subclasses of the
default handlers, the default handlers will not be used.
Офлайн
pycurl - поддержка соксов и кукисов
Офлайн