[已解决]为什么python3抓取网页不完整呢？

nelson_yin · 发表于 2016-5-4 17:52:09

您需要登录才可以下载或查看，没有账号？立即注册

x

今天，用抓取了一下https://www.sogou.com/web?query=%E9%B2%81%E5%A4%A7%E5%B8%88，但是返回的数据只有一小部分，跟浏览器的“查看源代码”上面的差很多，不知道什么原因，求帮忙，谢谢各位。
我使用的是urllib.request

最佳答案

hldh214

2016-5-4 19:56:08

nelson_yin 发表于 2016-5-4 19:54
JS动态网页，有什么抓取技巧呢？

两个思路:
1. 分析js并用对应方法模拟
2. 用js引擎

hldh214 · 发表于 2016-5-4 19:49:57

因为Python抓取的是静态html, 和你把浏览器的JavaScript禁用之后得到的相应是一样的

nelson_yin · 发表于 2016-5-4 19:54:59

hldh214 发表于 2016-5-4 19:49
因为Python抓取的是静态html, 和你把浏览器的JavaScript禁用之后得到的相应是一样的

JS动态网页，有什么抓取技巧呢？

hldh214 · 发表于 2016-5-4 19:56:08

nelson_yin 发表于 2016-5-4 19:54
JS动态网页，有什么抓取技巧呢？

两个思路:
1. 分析js并用对应方法模拟
2. 用js引擎

nelson_yin · 发表于 2016-5-4 20:04:47

hldh214 发表于 2016-5-4 19:56
两个思路:
1. 分析js并用对应方法模拟
2. 用js引擎

谢谢给我的思路，我尝试一下

账号		自动登录	找回密码
密码			立即注册