DjangoBB LoFi version

Полная версия: Requests HTTP for Humans обрезает запрос

Начало » Network » Requests HTTP for Humans обрезает запрос

Jeck290

Июль 12, 2013 19:14:12

def getabondisable_or_create (login):
    SITES2 = 'https://172.241.50.1:2433/admin/index.cgi'
    payloads2 = {'search':'1' , 'LOGIN':login}
    r = requests.get(SITES2, verify=False , auth=HTTPBasicAuth('login', 'pass') , params=payloads2)
    doc = lxml.html.document_fromstring(r.text)
    txt2 = doc.xpath(".//*[@id='info_message']/div[2]/text()[3]")
    print txt2

Пытаюсь с помощью библиотеки Requests парсить сайт , столкнулся с такой проблемой , после захода на сайт в переменную r.text выдается html страница равная 1/4 всей страницы такое чувство что Requests обрезает страницу , нужные мне данные находятся на много ниже по странице чем выдает Requests . Кто то сталкивался с таким поведением этой библиотеки ?

reclosedev

Июль 12, 2013 19:29:13

r.text - это страница в Юникоде. Кодировка берется из хедеров или определяется автоматически. Думаю, причиной может быть неправильно определенная кодировка.

Попробуйте передавать r.content (исходная страница - байты) в lxml.html.document_fromstring() или перекодировать явно.

Также, страница может быть сгенерированна динамически с помощью JavaScript.

Jeck290

Июль 12, 2013 19:50:10

r.content выдает точно такую же страницу как и r.text :(
А как можно перекодировать страницу ? где за это можно почитать ?