DjangoBB LoFi version

Полная версия: Помощь по response.xpath конкретному месту на странице

Начало » Python для новичков » Помощь по response.xpath конкретному месту на странице

fargo

Июнь 3, 2020 00:51:11

Всем доброго времени суток.

Есть страница https://www.decathlon.ru/dozhdevik-nh500-muzh-id_8505020.html

В коде страницы есть место:

 <div class="kam_header-info_article">Артикул : 8505020</div>

В scrapy shell выполняю:

 response.xpath("//div[@class='kam_header-info_article']//text()").extract()

Получаю пустой out, хотя ожидаю получить текст “Артикул : 8505020”

Почему получаю пустой ответ?

py.user.next

Июнь 3, 2020 06:51:34

Проверь, находит ли он вообще узел.

<div class="kam_header-info_article">

  
>>> import lxml.html
>>> 
>>> text = """
... <div class="kam_header-info_article">Артикул : 8505020</div>
... """
>>> 
>>> doc = lxml.html.fromstring(text)
>>> doc.xpath("//div[@class='kam_header-info_article']//text()")
['Артикул : 8505020']
>>>

  
>>> import lxml.html
>>> 
>>> text = """
... <div class="kam_header-info_article">Артикул : 8505020</div>
... """
>>> 
>>> doc = lxml.html.fromstring(text)
>>> doc.xpath('//div[@class="kam_header-info_article"]//text()')
['Артикул : 8505020']
>>>

Через lxml такой XPath-запрос работает.

Может так быть, что страница генерируется динамически и в исходном коде страницы нет этого тега.