Уведомления

Группа в Telegram: @pythonsu

#1 Авг. 9, 2015 04:40:21

bayah
Зарегистрирован: 2015-08-09
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

Привет.
Пытаюсь с помощью фреймворка Grab распарсить эту траничку:
http://technopoint.ru/catalog/defect

Делаю:
from grab import Grab
g = Grab()
g.go('http://technopoint.ru/catalog/defect')
g.response.body

И вот в ответе страничка загружена не полностью, например, тегов <feildset>, которые отвечают за категории товаров всего лишь две пары. Почему нет остальных - не понятно.
Думал Ajax ом подгружается остальное, но смотрел через Инструменты разработчика Chrome, нашел только собственно сам запрос к http://technopoint.ru/catalog/defect и в ответе уже полноценную страницу.

Подскажите в чем проблема?

Офлайн

#2 Авг. 9, 2015 04:57:24

terabayt
От: Киев
Зарегистрирован: 2011-11-26
Сообщения: 1099
Репутация: +  103  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

bayah
например, тегов <feildset>, которые отвечают за категории товаров всего лишь две пары
плохо ищите
>>> from grab import Grab
>>> g = Grab()
>>> g.go('http://technopoint.ru/catalog/defect')
<grab.document.Document object at 0xb66b138c>
>>> for i in g.doc.select('//fieldset/legend/a/text()').selector_list:
...     print i.text()
...     
... 
Видеорегистраторы
Микроволновые печи
Мультиварки
Утюги
Фены
Хлебопечки
Чайники электрические
Стиральные машины
Плиты электрические
Вытяжки
Массажеры
Водонагреватели электрические
Вентиляторы
Все 15 товаров
Кофемашины
Рубанки
Блендеры
Мясорубки
Термопоты
Плитки электрические
Пароочистители
Паровые станции
Шашлычницы электрические
Холодильники полноразмерные
Фондю и шоколадные фонтаны
Вакуумные упаковщики
Стиральные машины
Утюги
Пароочистители
Паровые станции



————————————————
-*- Simple is better than complex -*-

Офлайн

#3 Авг. 9, 2015 07:23:11

bayah
Зарегистрирован: 2015-08-09
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

terabayt
плохо ищите

А вот мой результат:
Python 3.4.2 (v3.4.2:ab2c023a9432, Oct  6 2014, 22:16:31) [MSC v.1600 64 bit (AMD64)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> from grab import Grab
>>> g = Grab()
>>> g.go('http://technopoint.ru/catalog/defect')
<grab.document.Document object at 0x00000000035D3048>
>>> for i in g.doc.select('//fieldset/legend/a/text()').selector_list:
	print(i.text())
	
Шашлычницы электрические
Холодильники полноразмерные
>>>

Офлайн

#4 Авг. 9, 2015 15:21:18

terabayt
От: Киев
Зарегистрирован: 2011-11-26
Сообщения: 1099
Репутация: +  103  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

bayah
on win32
ну значит пользователям виндовс можно покупать только шашлычницы и холодильники
Решение:
переходите на Линукс и станут и вам доступны иные товары :)
посмотрите код что возвр сервер с помощью urllib или чего-то подобного



————————————————
-*- Simple is better than complex -*-

Офлайн

#5 Авг. 9, 2015 15:37:25

WoMax
Зарегистрирован: 2014-05-26
Сообщения: 124
Репутация: +  9  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

Похоже это обладателям других ай пи можно покупать только шашлычницы и холодильники. У меня в браузере тоже видно только 2 категории, зашел под ТОРом - и появились все.

Офлайн

#6 Авг. 10, 2015 04:27:50

bayah
Зарегистрирован: 2015-08-09
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

WoMax
Не, ну бред же)
Через браузер-то грузится все нормально.
Я думал, что может из за версии Пайтона или библиотек, но раз вы говорите, что под ТОРом загружается, то я даже не знаю.
Хм…

Офлайн

#7 Авг. 10, 2015 07:00:05

bayah
Зарегистрирован: 2015-08-09
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

WoMax
Похоже это обладателям других ай пи можно покупать только шашлычницы и холодильники. У меня в браузере тоже видно только 2 категории, зашел под ТОРом - и появились все.
А каким браузером проверяли?

Офлайн

#8 Авг. 10, 2015 07:50:22

J.R.
Зарегистрирован: 2015-07-18
Сообщения: 147
Репутация: +  16  -
Профиль  

Grab не загружает полностью страницу

.

Отредактировано J.R. (Фев. 27, 2016 16:30:00)

Офлайн

#9 Авг. 10, 2015 09:09:34

WoMax
Зарегистрирован: 2014-05-26
Сообщения: 124
Репутация: +  9  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

bayah
А каким браузером проверяли?
Mozilla firefox for ubuntu 39.0.3
TOR

Отредактировано WoMax (Авг. 10, 2015 09:14:15)

Офлайн

#10 Авг. 11, 2015 00:44:11

giveback
Зарегистрирован: 2015-05-03
Сообщения: 36
Репутация: +  6  -
Профиль   Отправить e-mail  

Grab не загружает полностью страницу

Python 2.7.6 (default, Nov 10 2013, 19:24:18) [MSC v.1500 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> from grab import Grab
>>> g = Grab()
>>> g.go('http://technopoint.ru/catalog/defect')
<grab.response.Response object at 0x032EB2A0>
>>> for i in g.doc.select('//fieldset/legend/a/text()').selector_list:
	print i.text()
	
Видеорегистраторы
Смартфоны
Микроволновые печи
Мультиварки
Утюги
Фены
Хлебопечки
Чайники электрические
Стиральные машины
Плиты электрические
Вытяжки
Водонагреватели электрические
Вентиляторы
Все 10 товаров
Кофемашины
Рубанки
Блендеры
Мясорубки
Компактные электропечи
Фен-щетки
Осушители воздуха
Плитки электрические
Пароочистители
Паровые станции
Морозильные шкафы
Холодильники полноразмерные
Фондю и шоколадные фонтаны
Вакуумные упаковщики
Стиральные машины
Утюги
Пароочистители
Паровые станции
>>>

винда

Отредактировано giveback (Авг. 11, 2015 00:46:13)

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version