Уведомления

Группа в Telegram: @pythonsu

#1 Апрель 13, 2015 00:37:46

deniska
Зарегистрирован: 2015-04-13
Сообщения: 57
Репутация: +  0  -
Профиль   Отправить e-mail  

Grab - Переход по Категориям и под Кадегориям

В общем такая проблема есть сайт с которого я хочу спарсить все Категории и под категории Категорий
но я не понимаю как мне это сделать, чтобы парсер сам заходил в категорию парсил все под категории потом сам заходил в под категории и смотрел есть ли там еще под категории а потом возвращался и брал новую Категорию с под категориями и делал то же. Вот так примерно выглядит Древо сайта

Категория:
под Категория
под Категория
под Категория
под под Категория

Категория1:
под Категория
под Категория
под Категория
под под Категория

Категория2:
под Категория
под Категория
под Категория
под под Категория

Категория3:
под Категория
под под Категория
под под Категория
Категория
под Категория
под под Категория

вот пример кода который я пытался написать

 g.go(cat_url)

for elem in g.doc.select("//a[@class='mainHitsSection catalogLvl2ItemHd']"):
f.writelines(elem.attr("title") + "\n")
counter+=1
использую библиотеку Grab, но как видно из кода он переходит по ссылке Категорий и все, не заходит в под категории, под под категории ….

Кто понимает что я имею ввиду помогите пожалуйста.

Офлайн

#2 Апрель 13, 2015 06:48:54

ajib6ept
От: От: От: От: От: От: От: От:
Зарегистрирован: 2013-08-04
Сообщения: 297
Репутация: +  26  -
Профиль   Отправить e-mail  

Grab - Переход по Категориям и под Кадегориям

Без ссылки на сайт помочь не получится



_________________________
Python golden rule: Do not PEP 8 unto others; only PEP 8 thy self.
Don't let PEP 8 make you insanely intolerant of other people's code.

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version