[已解决]scrapy爬取亚马逊的问题

shentianbusi

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from amazoncar import items
   
4. from amazoncar.items import AmazoncarItem
   
5. import re
   
6. 
   
7. 
   
8. 
   
9. 
   
10. class AmazonSpider(scrapy.Spider):
    
11.     name = 'amazon'
    
12.     allowed_domains = ['amazon.com']
    
13.     # start_urls = ['https://www.amazon.com/b/ref=sr_aj?node=10677469011&bbn=10677469011&ajr=0']    首先用这个爬取各类汽车分类界面地址
    
14. 
    
15.     def start_requests(self):
    
16.         urls=['https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_0?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710192011&ie=UTF8',
    
17.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_1?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710193011&ie=UTF8',
    
18.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_2?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710199011&ie=UTF8',
    
19.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_3?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710198011&ie=UTF8',
    
20.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_4?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710200011&ie=UTF8',
    
21.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_5?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710195011&ie=UTF8',
    
22.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_6?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710201011&ie=UTF8',
    
23.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_7?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710197011&ie=UTF8',
    
24.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_8?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710194011&ie=UTF8',
    
25.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_9?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710196011&ie=UTF8',
    
26.               'https://www.amazon.com/s/ref=lp_10677469011_nr_p_n_feature_four_bro_10?fst=as%3Aoff&rh=n%3A10677469011%2Cp_n_feature_four_browse-bin%3A11710202011&&ie=UTF8']
    
27. 
    
28.         pages=[26,71,20,20,16,9,14,21,140,85,19]
    
29.         #pages=[3,3,3,3,3,3,3,3,3,3,3]
    
30. 
    
31. 
    
32.         for i in range(0,11):#测试10
    
33.             url=urls[i]
    
34.             for i in range(1,pages[i]+1):#11
    
35.                 print(url)
    
36.                 starturl=url+'&page={}'.format(i)
    
37.                 yield scrapy.Request(url=starturl, callback=self.parse)
    
38. 
    
39. 
    
40. 
    
41. 
    
42.     def parse(self, response):  #爬虫逻辑
    
43.         # print(response.text[0:100])
    
44.         # addlist = []
    
45.         # str1='https://www.amazon.com'
    
46.         # for i in range(1,12):
    
47.         #     addpath=response.xpath('//*[@id="leftNav"]/ul[1]/div/li[{}]/span/span'.format(i)).re("/s.*rnid=11710191011")
    
48.         #     addlist.append(str1+addpath[0])
    
49.         # print(addlist)   #验证是否成功取得地址
    
50.         amzitem = AmazoncarItem()
    
51.         maxpage=response.xpath('//*[@id="pagn"]/span[6]').re('>.*<') #.re("data='.*'"))
    
52. 
    
53.         if   maxpage:
    
54.             maxpage=maxpage[0][1:-1]
    
55.         else:
    
56.             print(response.url)
    
57.             return 0
    
58. 
    
59.         #页面产品代号
    
60.         m=response.xpath('//*[@id="s-result-count"]/text()').re('\d{1,3}')
    
61.         # print(type(m))
    
62.         # print(m)
    
63.         startnum=int(m[0])-1
    
64.         endnum=int(m[1])
    
65.         # print(startnum,endnum)
    
66. 
    
67.         for n in range(startnum,endnum):#24
    
68.             amzitem['body_Style']=response.xpath('//*[@id="s-result-count"]/span/span/text()').extract_first('无显示')
    
69.             amzitem['link']=response.xpath('//*[@id="result_{}"]/div/div[3]/div[1]/a/@href'.format(n)).extract_first('无显示')
    
70.             maker=response.xpath('//*[@id="result_{}"]/div/div[3]/div[2]/span[2]/text()'.format(n)).extract_first('无显示')
    
71.             amzitem['maker']=maker
    
72.             print(maker)
    
73.             #cats是读取的目标，首先用正则取得year
    
74.             cats=response.xpath('//*[@id="result_{}"]/div/div[3]/div[1]/a'.format(n)).re('title=".*" h')[0][7:-3]
    
75.             listmodel=cats.split(' ',1)
    
76.             amzitem['year']=listmodel[0]
    
77.             models=listmodel[1].split(maker+' ')[1]
    
78.             amzitem['model']=models
    
79.             amzitem['reviews']=response.xpath('//*[@id="result_{}"]/div/div[6]/a/text()'.format(n)).extract_first('无显示')
    
80.             if response.xpath('//*[@id="result_{}"]/div/div[6]/span/span/a/i[1]/span/text()'.format(n)).extract_first():
    
81.                 rating=response.xpath('//*[@id="result_{}"]/div/div[6]/span/span/a/i[1]/span/text()'.format(n)).extract_first()
    
82.                 rating=rating.split(' ')
    
83.                 amzitem['rating']=rating[0]
    
84.             else:
    
85.                 amzitem['rating'] = response.xpath('//*[@id="result_{}"]/div/div[6]/span/span/a/i[1]/span/text()'.format(n)).extract_first('无显示')
    
86. 
    
87.             yield amzitem
    

复制代码

amazon.py

1. from openpyxl import Workbook
   
2. 
   
3. class AmazoncarPipeline(object):
   
4.     def open_spider(self, spider):
   
5.     # 创建工作簿,同时页建一个sheet
   
6.         self.wb = Workbook()
   
7.         # 调用得到的sheet
   
8.         self.ws = self.wb.active
   
9.         # (注:active返回的是一个列表)
   
10.         self.ws.append(['bodyStyle', 'Link', 'Maker','Year', 'Model', 'Reviews', 'Rating'])  # 设置表头
    
11. 
    
12.     def process_item(self, item, spider):  # 工序具体内容
    
13.         line = [item['body_Style'], item['link'], item['maker'], item['year'],item['model'], item['reviews'], item['rating']]  # 把数据中每一项整理出来
    
14.         self.ws.append(line)  # 将数据以行的形式添加到xlsx中
    
15.         return item
    
16. 
    
17.     def close_spider(self, spider):
    
18.         self.wb.save('amazoncar.xlsx')  # 保存xlsx文件

复制代码

pipelines.py




用这个爬虫爬取亚马逊界面时，开始没问题，差不多一个网址超过41页就开始报错，目测估计是返回是亚马逊给的其他导航网址，而不是我要爬的网址导致索引超过

有办法能得到导航网址时重新爬取当前页，不进入下一界面么？
还有用了useragent头，爬虫设置是3秒一次，得到界面错误的原因是什么，怎么检测，麻烦大神指教一下？

最佳答案

月排行榜 / 总排行榜

wongyusing

2019-2-20 22:15:05

你先确认亚马逊商品的页面大概有多少页。  
或者你直接获取41页，看一下status_code是多少。   

又或者说亚马逊会在41页的时候会突然改变页面或url逻辑来反爬虫。  

跳转到最佳答案楼层

wongyusing

你先确认亚马逊商品的页面大概有多少页。  
或者你直接获取41页，看一下status_code是多少。   

又或者说亚马逊会在41页的时候会突然改变页面或url逻辑来反爬虫。  

shentianbusi

wongyusing 发表于 2019-2-20 22:15
你先确认亚马逊商品的页面大概有多少页。  
或者你直接获取41页，看一下status_code是多少。   

昨天自己调试解决了，商品数量超过一千后，数字加上了逗号，正则爬出来的就不对了