[已解决]scrapy翻页问题：实现不了翻页，第一页 爬完就停止了，检查不出有啥问题，求助大佬

Python小百

1. import scrapy
   
2. import urllib.parse
   
3. import requests
   
4. 
   
5. class TbSpider(scrapy.Spider):
   
6.     name = 'tb'
   
7.     allowed_domains = ['baidu.com']
   
8.     start_urls = [
   
9.         'https://tieba.baidu.com/mo/q---3237548E300DB3D76551F88E33D2ABB1%3AFG%3D1--1-3-0--2--wapp_1548077552162_707/m?kw=%E9%92%A6%E5%B7%9E%E5%AD%A6%E9%99%A2&lp=5011&lm=&pn=0'
   
10.     ]
    
11. 
    
12.     def parse(self, response):
    
13.         i_list = response.xpath('//div[contains(@class,"i")]')
    
14.         for i in i_list:
    
15.             item = {}
    
16.             item['title'] = i.xpath('./a/text()').extract_first()
    
17.             item['href'] = i.xpath('./a/@href').extract_first()
    
18.             item['href'] = urllib.parse.urljoin(response.url, item['href'])
    
19.             item['img_list'] = []
    
20.             # item['content_list'] = []
    
21.             yield scrapy.Request(
    
22.                 url=item['href'],
    
23.                 callback=self.parse_detail,
    
24.                 meta = {'item':item}
    
25.             )
    
26.         # 列表页下一页
    
27.         next_url = response.xpath('//a[text()="下一页"]/@href').extract_first()
    
28.         if next_url is not None:
    
29.             next_url = urllib.parse.urljoin(response.url, next_url)
    
30.             scrapy.Request(
    
31.                 url=next_url,
    
32.                 callback=self.parse
    
33.             )
    
34. 
    
35.     def parse_detail(self, response):
    
36.         item = response.meta['item']
    
37.         # item['content_list'].extend(response.xpath('//div[@class="i"]//text()').extract())
    
38.         # item['img_list'] = [urllib.parse.urljoin(response.url,i) for i in item['img_list']]
    
39.         # item['img_list'] = [requests.utils.unquote(i).split('src=')[-1] for i in item['img_list']]
    
40.         # item['img_list'].extend(response.xpath('//div[@class="i"]/a/@href').extract())
    
41.         
    
42.         # 详情页下一页
    
43.         next_url = response.xpath('//a[text()="下一页"]/@href').extract_first()
    
44.         if next_url is not None:
    
45.             next_url = urllib.parse.urljoin(response.url, next_url)
    
46.             yield scrapy.Request(
    
47.                 url=next_url,
    
48.                 callback=self.parse_detail,
    
49.                 meta={'item':item}
    
50.             )
    
51.         else:
    
52.             print(item)
    
53.             # yield item
    

复制代码

最佳答案

月排行榜 / 总排行榜

在东边

2019-1-22 02:19:18

跳转到最佳答案楼层

在东边

Python小百

在东边 发表于 2019-1-22 02:19

谢谢这位大哥，我真眼拙