[已解决]初学scrapy的问题，求助！！

大地郡主

请求帮助！底下是我spiders里面的代码，别的文件里面我只修改了item.py里的一个name(就是把注释去了)。可是在我爬取后只返回了工作进程，却没有打印结果，请问这是为什么？

1. import scrapy
   
2. 
   
3. 
   
4. class PadouSpider(scrapy.Spider):
   
5.     name = 'padou'
   
6.     allowed_domains = ["https://movie.douban.com/top250"]
   
7.     start_urls = ["https://movie.douban.com/top250/"]
   
8. 
   
9.     def parse(self, response):
   
10.         name_list = response.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()')
    
11.         for each in name_list:
    
12.             name = each.extract()
    
13.             print(name[0])
    

复制代码

xpath的值是我在谷歌浏览器里检查元素里直接复制的

最佳答案

月排行榜 / 总排行榜

jjxx2005

2020-8-3 16:24:48

settings.py设置文件中：
USER_AGENG = UA字典中value部分

ROBOTSTXT_OBEY = False   这里改成False
LOG_LEVEL = 'ERROR'   增加这句

然后再试试

跳转到最佳答案楼层

jjxx2005

settings.py设置文件中：
USER_AGENG = UA字典中value部分

ROBOTSTXT_OBEY = False   这里改成False
LOG_LEVEL = 'ERROR'   增加这句

然后再试试