# -*- coding: UTF-8 -*- import logging from grab.spider import Spider, Task from grab import Grab class SimpleSpider(Spider): initial_urls = ['http://www.liveinternet.ru/rating/banks/month.html?page=' + str(i+1) for i in xrange(1)] results = [] def task_initial(self, grab, task): for g in grab.doc.select('//table/tr[@class="high"]'): print g.html().encode('utf8') #print g.select('//tr').html().encode('utf8') if __name__ == '__main__': logging.basicConfig(level=logging.DEBUG) bot = SimpleSpider() bot.run() #print bot.render_stats()
вопрос, как мне применить select к g ? Я пробую делать g.select('//tr') но получается, что идет select со всей страницы, а не из выборки grab.doc.select('//table/tr')
задача получить вложенный список из пар значений url и количество поситетелей