[已解决]crawl spider 问题求助

唯爱丶雪

1. import scrapy
   
2. from scrapy.linkextractors import LinkExtractor
   
3. from scrapy.spiders import CrawlSpider, Rule
   
4. 
   
5. class TbSpider(CrawlSpider):
   
6.     name = 'tb'
   
7.     allowed_domains = ['wenzhou.gov.cn']
   
8.     start_urls = ['https://wlwz.wenzhou.gov.cn/wzlist_1_1.html']
   
9. 
   
10.     rules = (
    
11.         Rule(LinkExtractor(allow=r'/wzshow_\d+\.html'), callback='parse_item'),
    
12.         Rule(LinkExtractor(allow=r'/wzlist_1_\d+\.html'), follow=True)
    
13.     )
    
14. 
    
15.     def parse_item(self, response):
    
16.         print(response.body)
    
17.         item = {}
    
18.         item['title'] = response.xpath('//td[@class="a1"]//a/text()').get()
    
19.         print(item['title'])
    
20.         return item
    
21.         #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
    
22.         #item['name'] = response.xpath('//div[@id="name"]').get()
    
23.         #item['description'] = response.xpath('//div[@id="description"]').get()
    
24. 
    
25. 
    

复制代码

为啥我的输出为空呢，我连response.body都输出不出来

最佳答案

月排行榜 / 总排行榜

阿奇_o

2022-1-9 11:32:36

没用过Scrapy，但你的callback应该写错了吧。。

跳转到最佳答案楼层

阿奇_o

没用过Scrapy，但你的callback应该写错了吧。。

唯爱丶雪

阿奇_o 发表于 2022-1-9 14:02
没用过Scrapy，但你的callback应该写错了吧。。

没有，照葫芦画瓢写的

唯爱丶雪

偌大的论坛，竟无一人能回答这个问题！

唯爱丶雪

分送你了，太难了

阿奇_o

唯爱丶雪 发表于 2022-1-9 22:56
分送你了，太难了

我昨晚搞了一下，你可以先用Scrapy shell 试试，我一开始用css找没找到，用这个xpath可以

1. 
   
2. # scrapy shell https://wlwz.wenzhou.gov.cn/wzlist_1_1.html  
   
3. # 进入scrapy shell 后，可以进行一些试验
   
4. 
   
5. In [32]: response.xpath('//*[@class="wzlist"]//*[@class="a1"]//a//@href').extract()
   
6. Out[32]:
   
7. ['/wzshow_170611.html',
   
8. '/wzshow_170605.html',
   
9. '/wzshow_170607.html',
   
10. '/wzshow_170592.html',
    
11. '/wzshow_170586.html',
    
12. '/wzshow_170588.html',
    
13. '/wzshow_170589.html',
    
14. '/wzshow_170590.html',
    
15. '/wzshow_170594.html',
    
16. '/wzshow_170596.html',
    
17. '/wzshow_170598.html',
    
18. '/wzshow_170600.html',
    
19. '/wzshow_170601.html',
    
20. '/wzshow_170603.html',
    
21. '/wzshow_170582.html',
    
22. '/wzshow_170584.html']
    
23. In [41]: response.xpath('//*[@class="wzlist"]//*[@class="a1"]//a//text()').extract()
    
24. Out[41]:
    
25. ['EJ785405229JP海关留验10天',
    
26. '鳌江镇银泰花园小区防疫管控问题',
    
27. '温州海关驻邮局办事处的电话一直打不通',
    
28. '城发集团，影响形象的错别字',
    
29. '浙南科技城龙湖揽镜到底有没有保障性租赁...',
    
30. '南环线',
    
31. '群租房举报第三次',
    
32. '高教博园房产证',
    
33. '无证非法经营餐饮请求有关部门查处',
    
34. '夫妻双方公积金贷款额度是否可以比照温州...',
    
35. '在当前反诈形势下，若被诈骗，受害人信息...',
    
36. '柏林公馆 店铺招牌',
    
37. '关于金域传奇小区门口道路管理',
    
38. '关于高校毕业生就业补贴的发放咨询',
    
39. '哲学教育无办学许可资质，双减政策依然可...',
    
40. '水头镇疫情防控条例']
    
41. 
    

复制代码

唯爱丶雪

阿奇_o 发表于 2022-1-10 16:23
我昨晚搞了一下，你可以先用Scrapy shell 试试，我一开始用css找没找到，用这个xpath可以

谢谢你，不过我会scrapy ，只是突然学到craw spider故有此疑问

阿奇_o

唯爱丶雪 发表于 2022-1-10 21:47
谢谢你，不过我会scrapy ，只是突然学到craw spider故有此疑问

哈哈，我本来没用过Scrapy的，昨晚自己看了下书，然后自己练了练，
现在已经可以把这个网站爬取出来了，并且数据保存到MongoDB里。。还蛮有成就感的，哈哈。

谢谢你的问题   ^_^  

唯爱丶雪

阿奇_o 发表于 2022-1-11 00:01
哈哈，我本来没用过Scrapy的，昨晚自己看了下书，然后自己练了练，
现在已经可以把这个网站爬取出来了， ...

不客气