青松100 发表于 2020-10-30 19:47:30

scrapy: 我的xpath写错了吗?运行时啥也没有

我的XPATH路径写错吗?运行啥也没有。
我想爬取糗事百科的段子当练习。
麻烦各位大神帮帮我。


青松100 发表于 2020-10-30 19:50:33

本帖最后由 青松100 于 2020-10-30 20:35 编辑

author 拼写错了,我改好了。但再运行,还是啥结果也没有,也没有报错!

我又发现第二个问题: 10行的引号写错了

能不能麻烦大神看看第10行啊? 我打印10行,什么结果也没有。

import scrapy


class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    #allowed_domains = ['www.xxx.com']
    start_urls = ['https://www.qiushibaike.com/text/']

    def parse(self, response):
      div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')
      for div in div_list:
            #authtor = div.xpath('./div[@class="author clearfix"]/a/h2/text()').extract()
            author = div.xpath('./div/a/h2/text()').extract()
            content = div.xpath('./a/div/span//text()').extract()
            print(author, content)
            break
            

青松100 发表于 2020-10-30 22:22:42

@suchocolate
能不能再帮我看看啊? 谢谢。

Stubborn 发表于 2020-10-31 11:25:26

div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpath('//div[@class="col1 old-style-col1"]/div')

青松100 发表于 2020-10-31 11:52:07

Stubborn 发表于 2020-10-31 11:25
div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpat ...

非常感谢大佬的帮助。

之前我在发帖之前,引号是写错了,后来发帖后,我又观察到这个引号是错的。直接在帖子里修改了,然后我去VS CODE把代码改好,代码里写的双引号是英语的,也就说明是对的。

我又运行了一下,还是啥结果都没有。

我再等看看,有没有人帮我,如果实在没人帮上,我就采纳您为最佳。

青松100 发表于 2020-10-31 23:01:21

Stubborn 发表于 2020-10-31 11:25
div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpat ...

万分感谢您的帮助,在您的指导下,我的代码终于跑起来了。

由于我的记性太差 + 小白,忘了老师教的运行的命令是scrapy crawl + 爬虫名字 ,我在编译器里,按运行,难怪没有结果。我也真是太蠢了。

后来又出错了,不过我百度了方法,没有解决。后来我总算知道了问题所在。

开心!{:5_95:}


页: [1]
查看完整版本: scrapy: 我的xpath写错了吗?运行时啥也没有