关于爬虫的问题

Siren0327 · 发表于 2020-4-26 13:03:10

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

从知乎爬取问题和答案，为什么出来的代码突然成这样了，昨天还不是了 1587877160(1).png

Siren0327 · 发表于 2020-4-26 13:03:53

我的代码

import requests
from lxml import etree
headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
                 ' Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363) '
}
text = requests.get('https://www.zhihu.com/hot',headers = headers).text
print(text)

zltzlt · 发表于 2020-4-26 13:04:42

正常，网页源代码就是这样

Siren0327 · 发表于 2020-4-26 13:12:59

zltzlt 发表于 2020-4-26 13:04
正常，网页源代码就是这样

可是从网页上看是这样的啊 1587877895(1).png

老八秘制 · 发表于 2020-4-26 13:26:10

Siren0327 发表于 2020-4-26 13:12
可是从网页上看是这样的啊

审查元素看到的不一定是爬取下来的

可乐西瓜 · 发表于 2020-4-26 20:49:38

所以，问题是什么？

账号		自动登录	找回密码
密码			立即注册