爬虫问题求助

三一王

想要实现一个根据搜索内容爬取对应分类的代码，如下图：



网页地址： www.vandream.com
代码如下：

1. import urllib.parse
   
2. import requests
   
3. import json
   
4. 
   
5. 
   
6. def url_open(url):
   
7. 
   
8.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}
   
9. 
   
10. 
    
11.     # response = requests.post(url,headers = headers,data = data)
    
12.     response = requests.get(url, headers=headers)
    
13. 
    
14. 
    
15.     html = response.text
    
16.     print(html)
    
17.     return html
    
18. 
    
19. # url = 'https://www.vandream.com/api/search/product/searchByCategory'
    
20. # 下面这个url地址是将关键字转换之后的结果，可以直接访问搜索结果对应的页面
    
21. url = 'https://www.vandream.com/search/tNORMAL-c-b1?keyword=%E7%8E%BB%E7%92%83'
    
22. url_open(url)

复制代码

结果与鼠标右键 - 查看网页源代码内容一致，但与右键 - 审查元素结果不一致。
求问，这种情况应该怎么处理

suchocolate

不看浏览器的，看实际get后得到的内容。

°蓝鲤歌蓝

源代码才是网页的内容，你想获得的数据是由后端返回 json 格式的数据渲染而来的，并不属于该 url 地址指向的资源。

YunGuo

并不是所有网站数据都是在网页源代码中，现在很多网站都是ajax异步请求的数据，浏览器执行js把数据渲染到网页中，网页源代码是看不到数据，你要爬数据得抓包分析json数据接口。
爬虫要会抓包分析，找到正确数据接口，很基础的东西，如果不会，建议再学学这方面的知识。