关于scrapy的很简单的疑惑

123Marchapril

我就爬取豆瓣电影top250的第一个电影的名字
网址：https://movie.douban.com/top250?
我的爬虫（即spider）代码如下：

1. import scrapy
   
2. class MovieSpider(scrapy.Spider):
   
3.     name = 'movie'
   
4.     allowed_domains = ['douban.com']
   
5.     start_urls = ['https://movie.douban.com/top250?']
   
6. 
   
7.     def parse(self, response):
   
8.         only_one = response.xpath("//div[@id='wrapper']/div/div/div/ol/li/div/div[2]/div/a/span[1]/text()").extract()
   
9.         print(only_one)
   

复制代码

我的xpath表达式定位到了<span class="title">肖申克的救赎</span>，也就是xpath表达式没问题，但是我在终端发现，打印不出任何东西
我的settings中已经替换了User Agent,然后ROBOTSTXT_OBEY=True和False也都试了，但是终端就是出不来第一个电影的名字，是我的scrapy本身就有问题吗？
不胜感激！

suchocolate

看起来是scrapy问题，xpath确实可以用。
把代码贴全吧

123Marchapril

suchocolate 发表于 2021-6-29 22:57
看起来是scrapy问题，xpath确实可以用。
把代码贴全吧

其他代码也没啥了，我只写了爬虫的部分，然后settings小小设置了一下，我就想试试scrapy能不能用，谢谢您

123Marchapril

suchocolate 发表于 2021-6-29 22:57
看起来是scrapy问题，xpath确实可以用。
把代码贴全吧

我又重新生成了一个startproject,还是这样试了试，这就是所有代码了，其他的我都没动，依然不出来结果，估计是scrapy有问题