В общем стоит задача распарсить весь список друзей во всем известной соц. сети vkontakte.
Подключение и парсинг проходят успешно, но, вот незадача, друзья (на странице vk.com/friends) отдаются через связку Js+Ajax и программа видит только 15 первых из них.
Есть ли какие-нибудь способы вызвать метод Friends.showMore на этой странице из питоновского скрипта или каким-нибудь другим образом получить список друзей?

Нужно брать друзей именно оттуда и именно в том порядке, что исключает использование официального контактовского api.
Кому интересен код: http://pastebin.com/CBUbUz6H
Python 2.7.1 Xubuntu 11.04
Для запуска нужна библиотека lxml

merkator
а как насчет прологировать аяксовые запросы к серверу и сэмулировать их в питоне?

Enchantner
merkator
а как насчет прологировать аяксовые запросы к серверу и сэмулировать их в питоне?

Блиц-поиск по гуглу не дал ничего хорошего про логгер аякс запросов. Может Вы знаете какой-нибудь способ?

merkator
Товарищ, у вас под рукой Firebug и Chrome Dev Tools.

Прошу прощения за “затуп” :)

как на счёт того чтобы использовать api? http://vkontakte.ru/developers.php?o=-1&p=friends.get

d1ffuz0r
как на счёт того чтобы использовать api? http://vkontakte.ru/developers.php?o=-1&p=friends.get

Я в первом сообщении написал, почему это не возможно

К сожалению я не сумел раздобыть аякс запросы. Видимо сказалось отсутствие опыта работы с web.
Может есть какой-нибудь иной способ?
Или можете объяснить как достать ajax запросы?

Силой мысли. Читать исходники, подсматривать реальные запросы/ответы. Создавать первые на Python.

..bw

merkator
Или можете объяснить как достать ajax запросы?

вариант 1. Ставишь плагин firebug на firefox, открываешь страницу на vkontaktе, открываешь в firebug консоль, смотришь запросы/ответы.
вариант 2. Ставишь wireshark, запускаешь вконтакте (в любом браузере),делаешь дамп всего трафика, фильтруешь HTTP запросы, смотришь какие именно тебе нужны.