Уведомления

Группа в Telegram: @pythonsu

#1 Апрель 14, 2015 21:38:18

deniska
Зарегистрирован: 2015-04-13
Сообщения: 57
Репутация: +  0  -
Профиль   Отправить e-mail  

Бесконечный цикл Grab

Пытаюсь сделать Цикл перехода по всем ссылкам в Одноклассниках но не выходит, как исправить ?

def get_Groups(keyword):
page_nr = 1
g.go("http://m.ok.ru/dk?st.cmd=altGroupSearch&st.search="+urllib.quote_plus(keyword)+"&st.frwd=on&st.page="+ str(page_nr))

for elem in g.doc.select("//span[@class='grp']"):

print elem.text()
page_nr +=1

if g.doc.select("//a[@class='navlnk ldm ldmb']").exists():
g.go("http://m.ok.ru/dk?st.cmd=altGroupSearch&st.search="+urllib.quote_plus(keyword)+"&st.frwd=on&st.page="+ str(page_nr))

Офлайн

#2 Апрель 14, 2015 21:43:56

terabayt
От: Киев
Зарегистрирован: 2011-11-26
Сообщения: 1099
Репутация: +  103  -
Профиль   Отправить e-mail  

Бесконечный цикл Grab

а может лучше api?!

или же напишите что вы хотите чтобы делало и что не так



————————————————
-*- Simple is better than complex -*-

Офлайн

#3 Апрель 14, 2015 21:47:50

deniska
Зарегистрирован: 2015-04-13
Сообщения: 57
Репутация: +  0  -
Профиль   Отправить e-mail  

Бесконечный цикл Grab

Ну мне нужно чтобы просто был цикл который добавляет page_nr к ссылке , петон переходит по ссылке и парсит название всех групп . до момента пока группы не кончатся, просто подскажите как сделать например


While blaba blal:
переходим по ссылке
парсим все

потом опять переходим по ссылке и так далее

Офлайн

#4 Апрель 14, 2015 21:58:24

deniska
Зарегистрирован: 2015-04-13
Сообщения: 57
Репутация: +  0  -
Профиль   Отправить e-mail  

Бесконечный цикл Grab

сейчас он просто одну ссылку парсит которую я задаю в начале самом, а мне нужно чтобы он поэтапно по ссылке переходи например page=1 далее page=2 и т.п

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version