Уведомления

Группа в Telegram: @pythonsu
  • Начало
  • » Web
  • » Скачать страничку от имени браузера [RSS Feed]

#1 Март 6, 2010 01:20:27

PoshtarBoba
От:
Зарегистрирован: 2009-10-22
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

Скачать страничку от имени браузера

О, всё, проблема решена, случайно наткнулся в неожиданном месте на решение:

def dldfile(url,fn):
urllib.FancyURLopener.version="Mozilla/5.0"
try: urlretrieve(url,fn)
except: return 0
else: return 1
Но всё-же, как правильно называется эта строка - “Mozilla/5.0” ? Какие они у других браузеров?


================================================================


Не знаю, как это всё называется в терминах, посему гуглить и искать на форуме не получается.

Работаю с http://imgsrc.ru, использую след. функцию:

def dldfile(url,fn):
try: urlretrieve(url,fn)
except: return 0
else: return 1
Пару дней назад перестало работать, файлы стали нулевой длинны*. Подозреваю, что админы сайта заблокировали запросы от имени urllib. У Откидача читал, что у urllib есть “version - атрибут класса с именем программы клиента… по умолчанию исп. строка ”Python-urllib/urllib_version“, вы можете переопределить атрибут version в определении производного класса, чтобы изменить имя программы, посылаемое серверу”.

Так вот - как, куда или где этот version нужно менять? Или какие ещё есть способы замаскироваться под другой браузер?

PS. и подскажите, приблизительно какой вид имеют эти строки определений у браузеров. Простые ли они типа “IE/6.0” или сложные с кучей спецсимволов, версий и подверсий?

*) wget же их успешно выкачивает, но связка python + wget - довольно неуклюжа и негибка.

или хотя-бы подскажите, как это всё называется, чтоб гуглить.



Отредактировано (Март 6, 2010 01:40:15)

Офлайн

#2 Март 6, 2010 11:14:25

Ferroman
От:
Зарегистрирован: 2006-11-16
Сообщения: 2759
Репутация: +  1  -
Профиль   Отправить e-mail  

Скачать страничку от имени браузера

Офлайн

  • Начало
  • » Web
  • » Скачать страничку от имени браузера[RSS Feed]

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version