Stubborn
发表于 2019-7-25 03:53:30
数据采集之，自动化测试（反爬终极解决方法）
本帖最后由 Stubborn 于 2019-7-25 03:55 编辑
前言，任何的网页都不会拒绝一个正常浏览器发送的请求，前提你是伪装的足够好
- selenium自动化测试，优点忽视绝大部分反爬。缺点就是速度不是那么的完美
- selenium自动化测试，可以模拟我们几乎全部的网页浏览动作。
- 这段代码演示了selenium一些基本方法，如何利用selenium进行xapth提取节点（定位），利用selenium进行正则数据查找，以及在浏览器的窗口进行句柄的切换。
- 这段代码是从Flask项目中抽取出来的（只采集三个数据），希望是看懂思路吧。在用selenium进行数据采集时，网络额外重要，需要等待网页加载完成之后，在进行定位及数据查询
**** Hidden Message *****
彩虹七号
发表于 2019-7-25 10:26:34
{:10_254:}
zhancenlu007
发表于 2019-7-25 10:52:14
学习学习
jermey1994
发表于 2019-7-25 11:18:41
学习了
vanliuteng
发表于 2019-7-30 12:59:18
学习下
Davidhappy99
发表于 2019-8-2 15:02:18
加油
小恒恒
发表于 2019-8-2 17:52:46
如此优秀
非鱼~~
发表于 2019-8-5 10:42:43
优秀
qtldbk
发表于 2019-8-5 18:32:33
看看
擎海潮2019
发表于 2019-8-5 21:55:19
谢谢分享
庚午
发表于 2019-8-7 21:51:15
谢谢分享
zest_czl07
发表于 2019-8-9 15:04:24
看看
木木头
发表于 2019-8-9 15:07:59
来了
恶龙咆哮ououou
发表于 2019-8-12 16:18:53
学习学习
15602962351
发表于 2019-8-16 16:48:55
喜喜
quanzhankaifa
发表于 2019-8-28 21:11:30
腻害
lucky邪神
发表于 2019-8-29 09:06:52
{:10_256:} 这图象
83519489
发表于 2019-8-29 09:31:20
selenium的确不错，可惜就是慢，只有特殊情况才会使用
lychee007007
发表于 2019-9-1 16:14:33
0011001
ghoob321
发表于 2019-9-2 23:44:43
演示了selenium一些基本方法