python爬虫遇到js动态页面

fiberstudio · 发表于 2020-4-26 23:09:45

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

准备写个小爬虫一键填报公司报表，但是很不幸发现公司oa页面是js动态渲染的。
现在遇到这么一个问题，点击某个图标后，会打开一个新页面，F12分析了一下，发现后台JS生成了一个新的COOKIE，只有携带这个COOKIE值才能访问那个新页面，我在js文件中的document.cookie下断点，再点击跳转图标，结果发现压根没断下来，就无法知晓生成cookie的那段代码传入了什么参数。

Twilight6 · 发表于 2020-4-26 23:17:59

...有点巧哈，我今天也是因为js碰壁了，想爬迅雷下载链接想练习下，结果就因为链接被js动态渲染了，还不会提取放弃了...
我百度了下好像蛮麻烦的，还要判断JS的具体是什么情况，记得好像用个 Selenium库可以看动态渲染的内容

fiberstudio · 发表于 2020-4-26 23:26:06

Twilight6 发表于 2020-4-26 23:17
...有点巧哈，我今天也是因为js碰壁了，想爬迅雷下载链接想练习下，结果就因为链接被js动态渲染了，还不会 ...

selenium倒是会，曾经写了个爬虫项目，对他效率真的无力吐槽。还是得找出js中的关键代码用execjs模块执行效率最高、可惜我这个的js混淆的太厉害，行数也多，2w+,反复套娃，我真的是看不出来了

Twilight6 · 发表于 2020-4-26 23:38:40

fiberstudio 发表于 2020-4-26 23:26
selenium倒是会，曾经写了个爬虫项目，对他效率真的无力吐槽。还是得找出js中的关键代码用execjs模块执行 ...

观摩大佬了...

wp231957 · 发表于 2020-4-27 07:47:09

你不放网址，不说想提取的内容，咋帮忙？

账号		自动登录	找回密码
密码			立即注册