[已解决]crawl spider 问题求助

唯爱丶雪

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class TbSpider(CrawlSpider):
    name = 'tb'
    allowed_domains = ['wenzhou.gov.cn']
    start_urls = ['https://wlwz.wenzhou.gov.cn/wzlist_1_1.html']

    rules = (
        Rule(LinkExtractor(allow=r'/wzshow_\d+\.html'), callback='parse_item'),
        Rule(LinkExtractor(allow=r'/wzlist_1_\d+\.html'), follow=True)
    )

    def parse_item(self, response):
        print(response.body)
        item = {}
        item['title'] = response.xpath('//td[@class="a1"]//a/text()').get()
        print(item['title'])
        return item
        #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
        #item['name'] = response.xpath('//div[@id="name"]').get()
        #item['description'] = response.xpath('//div[@id="description"]').get()

为啥我的输出为空呢，我连response.body都输出不出来

最佳答案

月排行榜 / 总排行榜

阿奇_o

2022-1-9 11:32:36

没用过Scrapy，但你的callback应该写错了吧。。

跳转到最佳答案楼层

阿奇_o

没用过Scrapy，但你的callback应该写错了吧。。

唯爱丶雪

阿奇_o 发表于 2022-1-9 14:02
没用过Scrapy，但你的callback应该写错了吧。。

没有，照葫芦画瓢写的

唯爱丶雪

偌大的论坛，竟无一人能回答这个问题！

唯爱丶雪

分送你了，太难了

阿奇_o

唯爱丶雪 发表于 2022-1-9 22:56
分送你了，太难了

我昨晚搞了一下，你可以先用Scrapy shell 试试，我一开始用css找没找到，用这个xpath可以

# scrapy shell https://wlwz.wenzhou.gov.cn/wzlist_1_1.html  
# 进入scrapy shell 后，可以进行一些试验

In [32]: response.xpath('//*[@class="wzlist"]//*[@class="a1"]//a//@href').extract()
Out[32]: 
['/wzshow_170611.html',
 '/wzshow_170605.html',
 '/wzshow_170607.html',
 '/wzshow_170592.html',
 '/wzshow_170586.html',
 '/wzshow_170588.html',
 '/wzshow_170589.html',
 '/wzshow_170590.html',
 '/wzshow_170594.html',
 '/wzshow_170596.html',
 '/wzshow_170598.html',
 '/wzshow_170600.html',
 '/wzshow_170601.html',
 '/wzshow_170603.html',
 '/wzshow_170582.html',
 '/wzshow_170584.html']
In [41]: response.xpath('//*[@class="wzlist"]//*[@class="a1"]//a//text()').extract()
Out[41]:
['EJ785405229JP海关留验10天',
 '鳌江镇银泰花园小区防疫管控问题',
 '温州海关驻邮局办事处的电话一直打不通',
 '城发集团，影响形象的错别字',
 '浙南科技城龙湖揽镜到底有没有保障性租赁...',
 '南环线',
 '群租房举报第三次',
 '高教博园房产证',
 '无证非法经营餐饮请求有关部门查处',
 '夫妻双方公积金贷款额度是否可以比照温州...',
 '在当前反诈形势下，若被诈骗，受害人信息...',
 '柏林公馆 店铺招牌',
 '关于金域传奇小区门口道路管理',
 '关于高校毕业生就业补贴的发放咨询',
 '哲学教育无办学许可资质，双减政策依然可...',
 '水头镇疫情防控条例']

唯爱丶雪

阿奇_o 发表于 2022-1-10 16:23
我昨晚搞了一下，你可以先用Scrapy shell 试试，我一开始用css找没找到，用这个xpath可以

谢谢你，不过我会scrapy ，只是突然学到craw spider故有此疑问

阿奇_o

唯爱丶雪 发表于 2022-1-10 21:47
谢谢你，不过我会scrapy ，只是突然学到craw spider故有此疑问

哈哈，我本来没用过Scrapy的，昨晚自己看了下书，然后自己练了练，
现在已经可以把这个网站爬取出来了，并且数据保存到MongoDB里。。还蛮有成就感的，哈哈。

谢谢你的问题   ^_^  

唯爱丶雪

阿奇_o 发表于 2022-1-11 00:01
哈哈，我本来没用过Scrapy的，昨晚自己看了下书，然后自己练了练，
现在已经可以把这个网站爬取出来了， ...

不客气