[已解决]scrapy: 我的xpath写错了吗？运行时啥也没有

青松100

我的XPATH路径写错吗？运行啥也没有。
我想爬取糗事百科的段子当练习。
麻烦各位大神帮帮我。

最佳答案

月排行榜 / 总排行榜

Stubborn

2020-10-31 11:25:26

div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpath('//div[@class="col1 old-style-col1"]/div')

跳转到最佳答案楼层

青松100

author　拼写错了，我改好了。但再运行，还是啥结果也没有，也没有报错！

我又发现第二个问题： 10行的引号写错了

能不能麻烦大神看看第10行啊？　我打印10行，什么结果也没有。

import scrapy


class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    #allowed_domains = ['www.xxx.com']
    start_urls = ['https://www.qiushibaike.com/text/']

    def parse(self, response):
        div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')
        for div in div_list:
            #authtor = div.xpath('./div[@class="author clearfix"]/a[2]/h2/text()')[0].extract()
            author = div.xpath('./div[1]/a[2]/h2/text()')[0].extract()
            content = div.xpath('./a[1]/div/span//text()').extract()
            print(author, content)
            break
            

青松100

@suchocolate
能不能再帮我看看啊？　谢谢。

Stubborn

div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpath('//div[@class="col1 old-style-col1"]/div')

青松100

Stubborn 发表于 2020-10-31 11:25
div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpat ...

非常感谢大佬的帮助。

之前我在发帖之前，引号是写错了，后来发帖后，我又观察到这个引号是错的。直接在帖子里修改了，然后我去VS　CODE把代码改好，代码里写的双引号是英语的，也就说明是对的。

我又运行了一下，还是啥结果都没有。

我再等看看，有没有人帮我，如果实在没人帮上，我就采纳您为最佳。

青松100

Stubborn 发表于 2020-10-31 11:25
div_list = response.xpath('//div[@class="col1 old-style-col1“]/div')   --->div_list = response.xpat ...

万分感谢您的帮助，在您的指导下，我的代码终于跑起来了。

由于我的记性太差　+　小白，忘了老师教的运行的命令是scrapy crawl + 爬虫名字　，我在编译器里，按运行，难怪没有结果。我也真是太蠢了。

后来又出错了，不过我百度了方法，没有解决。后来我总算知道了问题所在。

开心！