新人求指点，爬取的页面反馈回来少了很多东西，怎么才能正确看到内容

胖夫 · 发表于 2018-12-28 19:55:23

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

今天用python去爬一个网站，然后request得到的内容很少，和源代码里看到的不一样。。。
我用
req=requests.get(url,headers=headers,verify=False)
sp = BeautifulSoup(req.content, 'lxml')
print(sp)之后
显示如下

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html>
<head>
<meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
<meta content="" id="JLyKZlWgYjpTkAsEt9LnA"/>
</head>
<body>
<script r="m" src="/W4HvE3vLV8f4/w0MxZ82/a6a1a7" type="text/javascript"></script>
</body>
</html>

百度得到的感觉像是说要解析script里的内容，不是很明白要具体怎么操作才能看到隐藏起来的内容？
请求指点

幽梦三影 · 发表于 2018-12-28 23:25:15

应该是前后端分离的网站，取json

wongyusing · 发表于 2018-12-29 10:12:36

你敢不敢放个网址出来？？？

内容少的原因一般是网站前后端分离设计，或者你被重定向到验证页面。

账号		自动登录	找回密码
密码			立即注册