关于scrapy的很简单的疑惑
本帖最后由 123Marchapril 于 2021-6-29 20:42 编辑我就爬取豆瓣电影top250的第一个电影的名字
网址：https://movie.douban.com/top250?
我的爬虫（即spider）代码如下：
import scrapy
class MovieSpider(scrapy.Spider):
name = 'movie'
allowed_domains = ['douban.com']
start_urls = ['https://movie.douban.com/top250?']
def parse(self, response):
only_one = response.xpath("//div[@id='wrapper']/div/div/div/ol/li/div/div/div/a/span/text()").extract()
print(only_one)
我的xpath表达式定位到了<span class="title">肖申克的救赎</span>，也就是xpath表达式没问题，但是我在终端发现，打印不出任何东西
我的settings中已经替换了User Agent,然后ROBOTSTXT_OBEY=True和False也都试了，但是终端就是出不来第一个电影的名字，是我的scrapy本身就有问题吗？
不胜感激！ 看起来是scrapy问题，xpath确实可以用。
把代码贴全吧 suchocolate 发表于 2021-6-29 22:57
看起来是scrapy问题，xpath确实可以用。
把代码贴全吧
其他代码也没啥了，我只写了爬虫的部分，然后settings小小设置了一下，我就想试试scrapy能不能用，谢谢您 suchocolate 发表于 2021-6-29 22:57
看起来是scrapy问题，xpath确实可以用。
把代码贴全吧
我又重新生成了一个startproject,还是这样试了试，这就是所有代码了，其他的我都没动，依然不出来结果，估计是scrapy有问题
页:
[1]