关于淘宝的反爬虫机制问题以及怎么确定一个网站的反爬虫机制

光秃强

如题，我的代码抓不到淘宝的商品，不知道用什么办法确定以及绕过反爬机制。求大神解惑

1. import requests
   
2. import re
   
3. 
   
4. def gethtmltext(url):
   
5.     try:
   
6.         kv = {'cookie':'sca=cdd952b0; cna=cm8hFgVY6isCAW+0ai8EgOrj; aimx=1n4lF98C5mwCAWx3t6cZd55B_1587450070; cnaui=2200738114438; aui=2200738114438; cdpid=UUphyu7orn4%252Ft8bQFQ%253D%253D; cad=172c034b847802205482156047270001; cap=c761; atpsidas=962aed7a82779641e0740610_1592369935_2; tbsa=43581b04af757d1725743750_1592369935_1; atpsida=03dc10c30f9fb1ace4f9c56e_1592369935_1',
   
7.               'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45',
   
8.               ':authority':'www.taobao.com',':method':'GET',':path':'/markets/search/search-suggest-history-iframe',':scheme':'https','accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
   
9.               'accept-encoding':'gzip, deflate, br','accept-language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6'}
   
10.         
    
11.         r = requests.get(url,headers = kv,timeout = 20)
    
12.         r.raise_for_status()
    
13.         r.encoding = r.apparent_encoding
    
14.         print(r.text)
    
15.         return r.text
    
16.     except:
    
17.         print('访问链接失败，请检查链接正确性或网络是否通畅...')
    
18. 
    
19. def parsepage(ilt,html):
    
20.     try:
    
21.         plt = re.findall(r'"view_price"\:"[\d\.]*"',html)
    
22.         tlt = re.findall(r'"raw_title"\:".*?"',html)
    
23.         for i in range(len(plt)):
    
24.             price = eval(plt[i].split(':')[1])
    
25.             title = eval(tlt[i].split(':')[1])
    
26.             ilt.append([price,title])
    
27.             return ilt
    
28.     except:
    
29.         print('！')
    
30.         
    
31. def printgoodslist(ilt):
    
32.     tplt = '{0:^4}\t{0:^8}\t{2:^16}'
    
33.     print(tplt.format('序号','价格','商品名称'))
    
34.     count = 0
    
35.     for g in ilt:
    
36.         count += 1
    
37.         print(tplt.format(count,g[0],g[1]))
    
38. 
    
39. if __name__ == '__main__':
    
40.     goods = '键盘'
    
41.     depth = 2
    
42.     start_url = 'https://s.taobao.com/search?q=' + goods
    
43.     infolist = []
    
44.     for i in range(depth):
    
45.         try:
    
46.             url = start_url + '&s=' + str(44*i)
    
47.             html = gethtmltext(url)
    
48.             parsepage(infolist,html)
    
49.             
    
50.         except:
    
51.             continue
    
52.     printgoodslist(infolist)

复制代码

wp231957

想随心所欲的爬某宝  是灰常灰常灰常困难的  难道无法实现

Twilight6

试着看看，能不能参考参考这个帖子的：


淘宝商品信息爬虫
https://fishc.com.cn/thread-154294-1-1.html
(出处: 鱼C论坛)


爬评论的话不知道会不会类似，你也可以看看这个：
Python 爬取淘宝商品评论教程

光秃强

wp231957 发表于 2020-6-17 16:16
想随心所欲的爬某宝  是灰常灰常灰常困难的  难道无法实现

好吧，原谅我作为一个小白，不知天高地厚
那大佬有办法确定一个网站的反爬机制么？

wp231957

光秃强 发表于 2020-6-17 16:18
好吧，原谅我作为一个小白，不知天高地厚
那大佬有办法确定一个网站的反爬机制么？

几乎所有的商业网站都有反扒   初学者 可以先挑选一些简单的网站爬一爬  不要挑选难度系数是骨灰级的取爬

那会另你绝望的

Twilight6

光秃强 发表于 2020-6-17 16:18
好吧，原谅我作为一个小白，不知天高地厚
那大佬有办法确定一个网站的反爬机制么？

为什么不看看我发的链接呢？人家也是爬淘宝商品，多学习学习

不意味着你不行嘛.....

suchocolate

5楼说的对，小白从爬简单的网站开始。