[已解决]第一页趴下来了，为什么不爬第二页

923204485

怎么不爬第二页啊是不是我yield缩进问题，求大佬看看

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from Tengxun.items import TengxunItem
   
4. 
   
5. class TengxunSpider(scrapy.Spider):
   
6.     name = 'tengxun'
   
7.     allowed_domains = ['https://hr.tencent.com']
   
8.     baseURL = 'https://hr.tencent.com/position.php?&start='
   
9.     offset = 0
   
10.     start_urls = [baseURL + str(offset)]
    
11.     def parse(self, response):
    
12.         node_list = response.xpath('//tr[@class="even"] | //tr[@class="odd"]')
    
13.         for node in node_list:
    
14. 
    
15.             item = TengxunItem()
    
16. 
    
17.             item['positionName'] = node.xpath('.//a/text()').extract()[0]#职称
    
18.             item['positionLink'] = node.xpath('.//a/@href').extract()[0]#详情
    
19.             if len(node.xpath('./td[2]/text()')):
    
20.                 item['positionType'] = node.xpath('./td[2]/text()').extract()[0]#类别
    
21.             else:
    
22.                 item['positionType'] = ' '
    
23.             item['peopleNumber'] = node.xpath('./td[3]/text()').extract()[0]#人数
    
24.             item['workLocation'] = node.xpath('./td[4]/text()').extract()[0]#地点
    
25.             item['publishTime'] = node.xpath('./td[5]/text()').extract()[0]#.encode('utf-8')
    
26.             yield item   #for循环取每一个值并返回，取完六个值再执行下面if
    
27. 
    
28.         if self.offset < 2950:
    
29.             self.offset += 10
    
30.             #offset值为整型，字符串相加要转换成str类型
    
31.             url = self.baseURL + str(self.offset)
    
32.             #callback = self.parse 指定函数
    
33.             yield scrapy.Request(url,callback = self.parse)    #访问第二页并将参数带入进入for循环

复制代码

cmd 执行到翻页代码返回信息，也没报错就是不知道为什么没爬第二页
2018-10-28 21:01:45 [scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'hr.tencent.com': <GET https://hr.tencent.com/position.php&start=10>
2018-10-28 21:01:45 [scrapy.core.engine] INFO: Closing spider (finished)
2018-10-28 21:01:45 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-10-28 22:10:09

你这个代码是看网上的scrapy的教材对吧？
我没记错的话后面是一个for，没有if吧。  
还有个可能性是每次不是加10吧。  
你去看下页面每次加多少。  

还有个可能性，由于某个岗位缺少某个参数导致报错，使爬虫中断

跳转到最佳答案楼层

923204485

cmd返回信息翻译了下，

2018 - 10 - 28 21 : 12 : 17 [剪贴簿.蜘蛛中间件.场外]调试:过滤掉对“HR . tencen”的场外请求《获得https://hr.tencent.com/position.php?》& start = 10 >
2018 - 10 - 28 21 : 12 : 17 [剪贴簿。核心。引擎]信息:关闭蜘蛛(完成)信息:倾倒垃圾统计数据:

wongyusing

你这个代码是看网上的scrapy的教材对吧？
我没记错的话后面是一个for，没有if吧。  
还有个可能性是每次不是加10吧。  
你去看下页面每次加多少。  

还有个可能性，由于某个岗位缺少某个参数导致报错，使爬虫中断

923204485

wongyusing 发表于 2018-10-28 22:10
你这个代码是看网上的scrapy的教材对吧？
我没记错的话后面是一个for，没有if吧。  
还有个可能性是每次 ...

好了已经，是我的主域名问题，限制了爬虫跳转网页了

923204485

wongyusing 发表于 2018-10-28 22:10
你这个代码是看网上的scrapy的教材对吧？
我没记错的话后面是一个for，没有if吧。  
还有个可能性是每次 ...

还是很谢谢你了回复