初学scrapy的问题,求助!!
本帖最后由 大地郡主 于 2020-8-3 10:34 编辑请求帮助!底下是我spiders里面的代码,别的文件里面我只修改了item.py里的一个name(就是把注释去了)。可是在我爬取后只返回了工作进程,却没有打印结果,请问这是为什么?
import scrapy
class PadouSpider(scrapy.Spider):
name = 'padou'
allowed_domains = ["https://movie.douban.com/top250"]
start_urls = ["https://movie.douban.com/top250/"]
def parse(self, response):
name_list = response.xpath('//*[@id="content"]/div/div/ol/li/div/div/div/a/span/text()')
for each in name_list:
name = each.extract()
print(name)
xpath的值是我在谷歌浏览器里检查元素里直接复制的 settings.py设置文件中:
USER_AGENG = UA字典中value部分
ROBOTSTXT_OBEY = False 这里改成False
LOG_LEVEL = 'ERROR' 增加这句
然后再试试
页:
[1]