【2020-3-13更新】使用pyspider框架爬取小姐姐图片

admintest166 · 发表于 2020-3-9 22:28:23

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 admintest166 于 2020-3-15 13:00 编辑

在贴吧混了那么久搜索了一下贴吧关于pyspider框架爬取东西的帖子很少

但是呢我想说这个框架应付一些比较常规的网站还是绰绰有余的而且注意是写的代码很少实现的功能非常强大但是可扩展性不行

这个是学了2天的练手项目写的不是很好

这一版做的不是太好

第二版：https://fishc.com.cn/thread-160363-1-2.html =。=

第三版 https://fishc.com.cn/thread-160394-1-1.html

每一版都不是不同的网站但是套路都是一样的只不过第三版的妹子图有一点反爬机制爬取太多容易被封IP

补充：如果放在linux服务器下爬取的速度比windows要快实测

游客，如果您要查看本帖隐藏内容请回复

admintest166 · 发表于 2020-3-9 22:29:43

本帖最后由 admintest166 于 2020-3-13 18:58 编辑

pzleo · 发表于 2020-3-10 01:09:31

看看学习下

xiangishi5 · 发表于 2020-3-11 22:10:12

Acenen · 发表于 2020-3-11 22:20:46

228298253 · 发表于 2020-3-11 22:54:16

进来瞧一瞧

wedda · 发表于 2020-3-11 23:35:45

小白白QQ · 发表于 2020-3-11 23:41:03

小泉app · 发表于 2020-3-12 00:02:04

瞅一瞅

六小鸭 · 发表于 2020-3-12 08:05:57

我看看

donaldl8 · 发表于 2020-3-12 15:05:11

学习学习学习学习学习学习学习学习学习学习学习学习

只是一个昵称 · 发表于 2020-3-12 15:37:38

ozlogan · 发表于 2020-3-12 15:44:41

看看学习以下

wdyyzx · 发表于 2020-3-12 20:49:38

phil2015 · 发表于 2020-3-12 21:06:38

Warning (from warnings module):
File "C:\Python\lib\site-packages\pyspider\libs\utils.py", line 196
warnings.warn("timeout is not supported on your platform.", FutureWarning)
FutureWarning: timeout is not supported on your platform.
这是什么情况？

admintest166 · 发表于 2020-3-13 00:35:24

phil2015 发表于 2020-3-12 21:06
Warning (from warnings module):
File "C:\Python\lib\site-packages\pyspider\libs%utils.py", line 1 ...

可能不支持这个是放到pyspider的 web中的

大风包子 · 发表于 2020-3-13 07:14:02

kankan

iltifa · 发表于 2020-3-13 07:57:25

学习一下

knight丶 · 发表于 2020-3-13 08:42:31

看看

kkk999de · 发表于 2020-3-13 11:00:28

学习学习

账号		自动登录	找回密码
密码			立即注册

[作品展示] 【2020-3-13更新】使用pyspider框架爬取小姐姐图片

马上注册，结交更多好友，享用更多功能^_^