Уведомления

Группа в Telegram: @pythonsu

#1 Авг. 4, 2016 13:35:32

alexsemen94
Зарегистрирован: 2016-08-04
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

паук scrapy не проходит по сайту, где что не так? спасибо заранее

 import scrapy
from nettuts.items import NettutsItem
class MySpider(scrapy.Spider):
    name = 'nettuts'
    allowed_domains = ["w3.org"]
    start_url = ["https://www.w3.org/"]
    def parse(self, response):
        for sel in response.xpath('//*[@id="w3c_home_upcoming_events"]/ul/li'):
            item = NettutsItem()
            item['title'] = sel.xpath('/a/text()').extract()
            yield item

Отредактировано alexsemen94 (Авг. 4, 2016 13:36:33)

Офлайн

#2 Авг. 5, 2016 10:17:58

scidam
Зарегистрирован: 2016-06-15
Сообщения: 288
Репутация: +  35  -
Профиль   Отправить e-mail  

паук scrapy не проходит по сайту, где что не так? спасибо заранее

Домены www.w3.org и w3.org разные, попробуйте:

 allowed_domains = ["www.w3.org"]

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version