Ctrl →

merkator · Авг. 5, 2011 12:35:53

В общем стоит задача распарсить весь список друзей во всем известной соц. сети vkontakte.
Подключение и парсинг проходят успешно, но, вот незадача, друзья (на странице vk.com/friends) отдаются через связку Js+Ajax и программа видит только 15 первых из них.
Есть ли какие-нибудь способы вызвать метод Friends.showMore на этой странице из питоновского скрипта или каким-нибудь другим образом получить список друзей?

Нужно брать друзей именно оттуда и именно в том порядке, что исключает использование официального контактовского api.
Кому интересен код: http://pastebin.com/CBUbUz6H
Python 2.7.1 Xubuntu 11.04
Для запуска нужна библиотека lxml

Enchantner · Авг. 5, 2011 13:45:46

merkator
а как насчет прологировать аяксовые запросы к серверу и сэмулировать их в питоне?

merkator · Авг. 5, 2011 13:58:35

Enchantner
merkator
а как насчет прологировать аяксовые запросы к серверу и сэмулировать их в питоне?

Блиц-поиск по гуглу не дал ничего хорошего про логгер аякс запросов. Может Вы знаете какой-нибудь способ?

Enchantner · Авг. 5, 2011 14:10:37

merkator
Товарищ, у вас под рукой Firebug и Chrome Dev Tools.

merkator · Авг. 5, 2011 14:16:40

Прошу прощения за “затуп” :)

d1ffuz0r · Авг. 6, 2011 08:24:30

как на счёт того чтобы использовать api? http://vkontakte.ru/developers.php?o=-1&p=friends.get

merkator · Авг. 6, 2011 09:45:51

d1ffuz0r
как на счёт того чтобы использовать api? http://vkontakte.ru/developers.php?o=-1&p=friends.get

Я в первом сообщении написал, почему это не возможно

merkator · Авг. 8, 2011 20:06:34

К сожалению я не сумел раздобыть аякс запросы. Видимо сказалось отсутствие опыта работы с web.
Может есть какой-нибудь иной способ?
Или можете объяснить как достать ajax запросы?

bw · Авг. 9, 2011 11:12:24

Силой мысли. Читать исходники, подсматривать реальные запросы/ответы. Создавать первые на Python.

..bw

ZAN · Авг. 10, 2011 13:54:22

merkator
Или можете объяснить как достать ajax запросы?

вариант 1. Ставишь плагин firebug на firefox, открываешь страницу на vkontaktе, открываешь в firebug консоль, смотришь запросы/ответы.
вариант 2. Ставишь wireshark, запускаешь вконтакте (в любом браузере),делаешь дамп всего трафика, фильтруешь HTTP запросы, смотришь какие именно тебе нужны.

Python-сообщество

Уведомления

#1 Авг. 5, 2011 12:35:53

JS из Python

#2 Авг. 5, 2011 13:45:46

JS из Python

#3 Авг. 5, 2011 13:58:35

JS из Python

#4 Авг. 5, 2011 14:10:37

JS из Python

#5 Авг. 5, 2011 14:16:40

JS из Python

#6 Авг. 6, 2011 08:24:30

JS из Python

#7 Авг. 6, 2011 09:45:51

JS из Python

#8 Авг. 8, 2011 20:06:34

JS из Python

#9 Авг. 9, 2011 11:12:24

JS из Python

#10 Авг. 10, 2011 13:54:22

JS из Python

Board footer