大地郡主 发表于 2020-8-3 10:31:35

初学scrapy的问题,求助!!

本帖最后由 大地郡主 于 2020-8-3 10:34 编辑

请求帮助!底下是我spiders里面的代码,别的文件里面我只修改了item.py里的一个name(就是把注释去了)。可是在我爬取后只返回了工作进程,却没有打印结果,请问这是为什么?
import scrapy


class PadouSpider(scrapy.Spider):
    name = 'padou'
    allowed_domains = ["https://movie.douban.com/top250"]
    start_urls = ["https://movie.douban.com/top250/"]

    def parse(self, response):
      name_list = response.xpath('//*[@id="content"]/div/div/ol/li/div/div/div/a/span/text()')
      for each in name_list:
            name = each.extract()
            print(name)




xpath的值是我在谷歌浏览器里检查元素里直接复制的

jjxx2005 发表于 2020-8-3 16:24:48

settings.py设置文件中:
USER_AGENG = UA字典中value部分

ROBOTSTXT_OBEY = False   这里改成False
LOG_LEVEL = 'ERROR'   增加这句

然后再试试

页: [1]
查看完整版本: 初学scrapy的问题,求助!!