这个爬虫在本地运行正常，在服务就运行失败

gopythoner

首先说一下情况，这是一个唯品会的爬虫，就是一个 API 接口
然后我在本地运行爬虫是能够得到 json 信息的，也就是跟网页显示的一样，但是我把爬虫放到服务器上面运行就发现请求得到的是一个403网页，
同样是爬虫，为什么会这样？这难道是被反爬虫了么？
（本地系统是win10，服务器是Ubuntu）
爬虫代码贴出来

1. class VIP_WordSearch(object):
   
2.     '''唯品会搜索'''
   
3.     def __init__(self,word):
   
4.         self.word = word
   
5.         self.baseurl = 'https://category.vip.com/ajax/getSuggest.php'
   
6.         self.headers = {
   
7.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
   
8.             'Host':'category.vip.com',
   
9.             'Referer':'https://category.vip.com/',
   
10.         }
    
11. 
    
12.     def get_results(self):
    
13.         t = time.time()
    
14.         info = {
    
15.             'callback':'searchSuggestions',
    
16.             'warehouse':'VIP_NH',
    
17.             'keyword':self.word,
    
18.             '_':str(int(t*1000)),
    
19.         }
    
20.         html = requests.get(self.baseurl, params=info, headers=self.headers).text
    
21.         data = re.findall('search.*?\(({.*})\)',html)
    
22.         if data:
    
23.             data = data[0]
    
24.         else:
    
25.             data = None
    
26.         try:
    
27.             data = json.loads(data)
    
28.             results = data.get('data')
    
29.             last_results = []
    
30.             for each in results:
    
31.                 product = {}
    
32.                 product['word'] = each.get('word')
    
33.                 product['goodscount'] = each.get('goodsCount')
    
34.                 wordlist = each.get('props')
    
35.                 if wordlist:
    
36.                     words = '，'.join([w.get('name') for w in wordlist])
    
37.                     product['words'] = words
    
38.                 else:
    
39.                     product['words'] = ''
    
40.                 last_results.append(product)
    
41.         except:
    
42.             last_results = None
    
43.         return last_results

复制代码

不同的地方在这里html = requests.get(self.baseurl, params=info, headers=self.headers).text
就是这个html，本地得到的是这样的网页https://category.vip.com/ajax/ge ... amp;_=1512382930556请求得到的，是一个类似的json格式
但是服务器上面就是是返回一个403

gopythoner

补充一点，我在虚拟机上面是可以运行成功的，虚拟机也是Ubuntu
这种情况还是第一次见

SixPy

(Windows NT 10.0; Win64; x64; rv:57.0)

gopythoner

SixPy 发表于 2017-12-4 19:41
(Windows NT 10.0; Win64; x64; rv:57.0)

跟请求头应该没问题，因为我用虚拟机也是可以请求到的，虚拟机就是Ubuntu系统，系统跟我服务器一样，服务器和虚拟机唯一不同的应该就是IP地址

SixPy

gopythoner 发表于 2017-12-4 20:06
跟请求头应该没问题，因为我用虚拟机也是可以请求到的，虚拟机就是Ubuntu系统，系统跟我服务器一样，服务 ...

换个代理