[已解决]检查元素和源代码不一样怎么办？

Chysial

想爬取头条的图片，但是爬下网站内容是源代码类型的（下图），与检查元素不一样怎么办？

1. import requests
   
2. from urllib.parse import urlencode
   
3. headers = {'Accept': 'text/html, application/xhtml+xml, image/jxr, */*',
   
4.                'Accept - Encoding':'gzip, deflate',
   
5.                'Accept-Language':'zh-Hans-CN, zh-Hans; q=0.5',
   
6.                'Connection':'Keep-Alive',
   
7.                'Host':'zhannei.baidu.com',
   
8.                'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}
   
9. data = {
   
10. 'first': 'false',
    
11. 'pn': 4,
    
12. 'sortField': 0,
    
13. 'havemark': 0,
    
14. 'showId': '0d385fa235654d4d9f15d23e322e65ef'
    
15.     }
    
16. url = "https://www.lagou.com/gongsi/3-0-0-1.json" + urlencode(data)
    
17. response = requests.get(url,headers = headers,allow_redirects = False)
    
18. print(response.text)

复制代码

这是为什么，有什么解决办法吗？

最佳答案

月排行榜 / 总排行榜

wp231957

2020-3-25 09:49:19

Chysial 发表于 2020-3-25 08:46
你要告诉我为啥不一样因为js还是啥的原因 你这只有一句话 我非计算机专业的很难理解啊

js动态加载，换句话说，网页内容是被js模块直接写上去的(通常所说的js渲染)，是没办法静态爬取的

跳转到最佳答案楼层

Chysial

用selenium可以，我感觉beautifulsoup应该也可以，为啥requests和urllib不行

°蓝鲤歌蓝

因为检查元素和源代码不一样。

Chysial

°蓝鲤歌蓝 发表于 2020-3-24 21:54
因为检查元素和源代码不一样。

你要告诉我为啥不一样因为js还是啥的原因 你这只有一句话 我非计算机专业的很难理解啊

wp231957

Chysial 发表于 2020-3-25 08:46
你要告诉我为啥不一样因为js还是啥的原因 你这只有一句话 我非计算机专业的很难理解啊

js动态加载，换句话说，网页内容是被js模块直接写上去的(通常所说的js渲染)，是没办法静态爬取的

Chysial

wp231957 发表于 2020-3-25 09:49
js动态加载，换句话说，网页内容是被js模块直接写上去的(通常所说的js渲染)，是没办法静态爬取的

是不是只能用selenium抓取，无法用别的了？我用过beautifulsoup requests pyquery urllib都不行

wp231957

Chysial 发表于 2020-3-25 15:23
是不是只能用selenium抓取，无法用别的了？我用过beautifulsoup requests pyquery urllib都不行

差不多吧，你后面说的那些工具都是静态爬取用的

Chysial

wp231957 发表于 2020-3-25 17:10
差不多吧，你后面说的那些工具都是静态爬取用的

所有的动态爬取都是需要模拟操作吗，有没有更好的，不需要在自己电脑上显示出来的，在后台自动运行的模块

wp231957

Chysial 发表于 2020-3-25 17:23
所有的动态爬取都是需要模拟操作吗，有没有更好的，不需要在自己电脑上显示出来的，在后台自动运行的模块

python目前没有，以后也够呛
就是NODE.JS本身就是解析js的，它都无法实现，它也需要借助无头浏览器

Chysial

wp231957 发表于 2020-3-25 17:29
python目前没有，以后也够呛
就是NODE.JS本身就是解析js的，它都无法实现，它也需要借助无头浏览器

thanks