数据采集之，自动化测试（反爬终极解决方法）

Stubborn · 发表于 2019-7-25 03:53:30

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 Stubborn 于 2019-7-25 03:55 编辑

前言，任何的网页都不会拒绝一个正常浏览器发送的请求，前提你是伪装的足够好
- selenium自动化测试，优点忽视绝大部分反爬。缺点就是速度不是那么的完美
- selenium自动化测试，可以模拟我们几乎全部的网页浏览动作。

- 这段代码演示了selenium一些基本方法，如何利用selenium进行xapth提取节点（定位），利用selenium进行正则数据查找，以及在浏览器的窗口进行句柄的切换。

- 这段代码是从Flask项目中抽取出来的（只采集三个数据），希望是看懂思路吧。在用selenium进行数据采集时，网络额外重要，需要等待网页加载完成之后，在进行定位及数据查询

游客，如果您要查看本帖隐藏内容请回复

彩虹七号 · 发表于 2019-7-25 10:26:34

zhancenlu007 · 发表于 2019-7-25 10:52:14

学习学习

jermey1994 · 发表于 2019-7-25 11:18:41

学习了

vanliuteng · 发表于 2019-7-30 12:59:18

学习下

Davidhappy99 · 发表于 2019-8-2 15:02:18

加油

小恒恒 · 发表于 2019-8-2 17:52:46

如此优秀

非鱼~~ · 发表于 2019-8-5 10:42:43

优秀

qtldbk · 发表于 2019-8-5 18:32:33

看看

擎海潮2019 · 发表于 2019-8-5 21:55:19

谢谢分享

庚午 · 发表于 2019-8-7 21:51:15

谢谢分享

zest_czl07 · 发表于 2019-8-9 15:04:24

看看

木木头 · 发表于 2019-8-9 15:07:59

来了

恶龙咆哮ououou · 发表于 2019-8-12 16:18:53

学习学习

15602962351 · 发表于 2019-8-16 16:48:55

喜喜

quanzhankaifa · 发表于 2019-8-28 21:11:30

腻害

lucky邪神 · 发表于 2019-8-29 09:06:52

这图象

83519489 · 发表于 2019-8-29 09:31:20

selenium的确不错，可惜就是慢，只有特殊情况才会使用

lychee007007 · 发表于 2019-9-1 16:14:33

0011001

ghoob321 · 发表于 2019-9-2 23:44:43

演示了selenium一些基本方法

账号		自动登录	找回密码
密码			立即注册

[作品展示] 数据采集之，自动化测试（反爬终极解决方法）

马上注册，结交更多好友，享用更多功能^_^

评分

本帖被以下淘专辑推荐: