[已解决]关于爬虫用f12查看网页源码和爬虫爬取出来的源码不一样的问题

18508410033

这个是我再网页查看的源码

这个是我用爬虫爬下来的源码

我开始用的爬虫用的标签是网页源码显示的标签soup.find_all('div',class_="concent ke-cost")这个标签结果找不到任何数据
然后我直接把整个网页爬取下来找到的标签是soup.find_all('div',class_="mui-wpimagetext-item unloaded")。为啥我再网页查看的源码和python读取的源码是完全不同的。那么我平常去爬取网页的时候要怎么来提取标签呢。谢谢大佬解惑

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-10-24 19:39:35

1.详情图片分支绑定了事件，所以一次get拿不到。

2.图片的链接在另外的一次get中得到的js中，不过这个get请求的参数不知道是如何构建的，省事建议还是用selenium吧。


# 有的参数能从第一个html中得到，有的我也没查到。



3.你可以直接用requests拿到这个js：

1. import requests
   
2. 
   
3. url = 'https://aldcdn.tmall.com/recommend.htm?itemId=556772183225&categoryId=50008612&sellerId=3249953402&shopId=255372786&brandId=3229901&refer=&brandSiteId=0&rn=&appId=03054&isVitual3C=false&isMiao=false&count=12&callback=jsonpAld03054'
   
4. headers = {'user-agent': 'firefox'}
   
5. r = requests.get(url, headers=headers)
   
6. print(r.text)

复制代码

跳转到最佳答案楼层

suchocolate

审查看到的元素是经过浏览器加载的，有的分支是event触发才加载的，单单发request可能无法加载，你要找到真正拿到数据的那条request，直接去拿数据，不一定要看html。
另外把你的代码发上来，不要图片。

18508410033

suchocolate 发表于 2020-10-24 18:50
审查看到的元素是经过浏览器加载的，有的分支是event触发才加载的，单单发request可能无法加载，你要找到真 ...

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. findImg = re.compile(r'data-ks-lazyload="(.*?)"')
   
6. 
   
7. def askurl():
   
8.     head = {
   
9.         'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Mobile Safari/537.36'
   
10. }
    
11.     url = 'https://detail.tmall.com/item.htm?id=556772183225&ali_refid=a3_430583_1006:1151055037:N:DY8nPNoQXxCaUzcW5xAY4EwR15x8pB0i:ad0101273a205b498baa557cde64cb9b&ali_trackid=1_ad0101273a205b498baa557cde64cb9b&spm=a230r.1.14.1'
    
12.     request = requests.get(url=url,headers=head)
    
13.     html = request.text
    
14. 
    
15.     return html
    
16. 
    
17. def getData():
    
18.     html = askurl()
    
19.     soup = BeautifulSoup(html,'html.parser')
    
20.     i = 1
    
21.     for item in soup.find_all('div',class_="mui-wpimagetext-item unloaded"):
    
22.         item = str(item)
    
23.         img = re.findall(findImg,item)[0]
    
24.         print(img)
    
25. getData()

复制代码

大佬这是我的代码，我没有太看懂您的意思。我想找的是详情图片的链接，

你要找到真正拿到数据的那条request，直接去拿数据，不一定要看html

这个要咋看呢，我无法通过审查元素找到我需要的标签，那么我的BeautifulSoup要怎么写呢

2269099035

不要看element，以network的respone为准。

cdzjf

我之前也和你一样，有些是异步加载的，你就需要去搜你的那个字段，去找到真正的html再去发请求，这个有的时候却是很麻烦

suchocolate

1.详情图片分支绑定了事件，所以一次get拿不到。

2.图片的链接在另外的一次get中得到的js中，不过这个get请求的参数不知道是如何构建的，省事建议还是用selenium吧。


# 有的参数能从第一个html中得到，有的我也没查到。



3.你可以直接用requests拿到这个js：

1. import requests
   
2. 
   
3. url = 'https://aldcdn.tmall.com/recommend.htm?itemId=556772183225&categoryId=50008612&sellerId=3249953402&shopId=255372786&brandId=3229901&refer=&brandSiteId=0&rn=&appId=03054&isVitual3C=false&isMiao=false&count=12&callback=jsonpAld03054'
   
4. headers = {'user-agent': 'firefox'}
   
5. r = requests.get(url, headers=headers)
   
6. print(r.text)

复制代码

18508410033

2269099035 发表于 2020-10-24 19:26
不要看element，以network的respone为准。

请问下在network里面我要怎么才能确定我需要的东西在哪个链接里面呢。感觉有超级多的链接

18508410033

suchocolate 发表于 2020-10-24 19:39
1.详情图片分支绑定了事件，所以一次get拿不到。

2.图片的链接在另外的一次get中得到的js中，不过这个ge ...

我的审查元素怎没有看到有事件的标志呢


还有那个您在network去找的链接，在那么多的东西里面您是怎么知道自己需要的是哪个链接呢

suchocolate

18508410033 发表于 2020-10-25 20:57
我的审查元素怎没有看到有事件的标志呢

我的是比较新的firefox，google好像没有event的提示。
主要找html，xhr，最后是js。

18508410033

suchocolate 发表于 2020-10-25 21:43
我的是比较新的firefox，google好像没有event的提示。
主要找html，xhr，最后是js。

好的 谢谢大佬