淘宝防爬已经升级了，我找不到数据藏在哪

幽梦三影

这是之前写的代码，以前正常，现在反馈给我不想要的东西

1. import requests
   
2. import random
   
3. import re
   
4. import os
   
5. import urllib.request as u
   
6. 
   
7. def get_html(url):
   
8.     user = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"
   
9.     ips = [
   
10. '222.161.56.166',
    
11. '122.238.12.191',
    
12. '61.191.41.130'
    
13.         ]
    
14.     ip = random.choice(ips)
    
15.     p = u.ProxyHandler({'http':ip})
    
16.     opener = u.build_opener(p)
    
17.     u.install_opener(opener)
    
18. 
    
19.     rep = requests.get(url,headers={'User-Agent':user})
    
20.     return rep
    
21. 
    
22. name = input('请输入要查找的商品：')
    
23. num = int(input('请输入页数：'))
    
24. 
    
25. key = u.quote(name)
    
26. 
    
27. os.mkdir(name)
    
28. os.chdir(name)
    
29.    
    
30. def main():
    
31.     for j in range(num):
    
32.         url = 'https://s.taobao.com/search?q=' + key + '&s='+ str(j*44)
    
33.         html = get_html(url).text
    
34.         s = re.findall(r'"pic_url":"([^"]+?)".+?"view_price":"([^"]+?)".+?"view_sales":"([^"]+?)"',html)
    
35.         
    
36.         os.mkdir('%s%d'%(name,j+1))
    
37.         os.chdir('%s%d'%(name,j+1))
    
38.         
    
39.         for i in s:
    
40.             img = get_html(url=('http:' + i[0]))
    
41.             
    
42.             with open('%s元_%s.jpg'%(i[1],i[2]),'wb') as f:
    
43.                 f.write(img.content)
    
44.    
    
45.         os.chdir(os.pardir)
    
46.         
    
47. if __name__ == '__main__':
    
48.     main()
    
49. 
    
50. 
    
51.   
    
52. 
    

复制代码

小甲鱼的二师兄

数据应该是以json文件传输的

wongyusing

在网页源代码的第四个script语句的第一段json中，

幽梦三影

那个大字典已经被改了，不信输入python看看，本来全是书籍，结果还给T恤什么的

wongyusing

你在后面加个书籍就行啦

1. import requests
   
2. import re
   
3. import json
   
4. import pandas
   
5. # 打开网页函数
   
6. def get_response(url):
   
7.     headers = {
   
8.         'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
   
9.     response = requests.get(url, headers) # 加上浏览器头，以防被禁
   
10.     response.encoding = 'utf-8'      # 指定编码格式
    
11.     #response.encoding = 'gbk'      # 指定编码格式
    
12.     return response
    
13. 
    
14. def main():
    
15.     base_url = 'https://s.taobao.com/search?q=python书籍'
    
16.     response = get_response(base_url)
    
17.     req = 'g_page_config = (.*?)g_srp_loadCss'
    
18.     items_list = re.findall(req,response.text,re.S)[0].strip()
    
19. 
    
20.     js = json.loads(items_list[:-1])
    
21.     jd = js['mods']['itemlist']['data']['auctions'] #.keys())
    
22.     df = pandas.DataFrame(jd)
    
23.     # 在下面逐一输入键名进行观察需要的数据。用浏览器打开当前文件,进行筛选
    
24.     df[['category','raw_title','view_price','item_loc','view_sales']].to_html('test_data.html')
    
25. 
    
26. if __name__ == "__main__":
    
27.     main()

复制代码

幽梦三影

wongyusing 发表于 2018-9-2 17:00
你在后面加个书籍就行啦

好吧，但是和实际搜到的不一样，输入电脑能把鞋子给拿出来

wongyusing

幽梦三影 发表于 2018-9-2 18:32
好吧，但是和实际搜到的不一样，输入电脑能把鞋子给拿出来

这是淘宝的反爬机制，让你爬，但爬不到干净的数据。
数据不干净是因为你的请求头太少参数了。  
你使用浏览器正常打开淘宝并搜索商品可以发现url很长。这里面有很多个参数。  
填写正确就行了。  
如果不填写上面的参数，可以利用json数据中的一个商品id进行筛选。  
给个最佳吧

wongyusing

商品id就是我的代码中第一个json数据的键名category