admintest166 发表于 2020-3-9 22:28:23

【2020-3-13更新】使用pyspider框架爬取小姐姐图片

本帖最后由 admintest166 于 2020-3-15 13:00 编辑

在贴吧混了那么久 搜索了一下 贴吧关于pyspider框架爬取东西的帖子很少

但是呢 我想说这个框架 应付一些比较常规的网站还是绰绰有余的 而且注意是写的代码很少 实现的功能非常强大 但是可扩展性不行

这个是学了2天的练手项目写的不是很好

这一版做的不是太好

第二版：https://fishc.com.cn/thread-160363-1-2.html    =。=

第三版 https://fishc.com.cn/thread-160394-1-1.html

每一版都不是不同的网站 但是套路都是一样的 只不过第三版的妹子图有一点反爬机制爬取太多容易被封IP


补充：如果放在linux服务器下 爬取的速度比windows要快 实测
      
**** Hidden Message *****

admintest166 发表于 2020-3-9 22:29:43

本帖最后由 admintest166 于 2020-3-13 18:58 编辑



{:5_109:}

pzleo 发表于 2020-3-10 01:09:31

看看学习下

xiangishi5 发表于 2020-3-11 22:10:12

66

Acenen 发表于 2020-3-11 22:20:46

666

228298253 发表于 2020-3-11 22:54:16

进来瞧一瞧

wedda 发表于 2020-3-11 23:35:45

{:10_249:}

小白白QQ 发表于 2020-3-11 23:41:03

66

小泉app 发表于 2020-3-12 00:02:04

瞅一瞅

六小鸭 发表于 2020-3-12 08:05:57

我看看

donaldl8 发表于 2020-3-12 15:05:11

学习学习学习学习学习学习学习学习学习学习学习学习

只是一个昵称 发表于 2020-3-12 15:37:38

{:5_110:}

ozlogan 发表于 2020-3-12 15:44:41

看看 学习以下

wdyyzx 发表于 2020-3-12 20:49:38

66

phil2015 发表于 2020-3-12 21:06:38

Warning (from warnings module):
File "C:\Python\lib\site-packages\pyspider\libs\utils.py", line 196
    warnings.warn("timeout is not supported on your platform.", FutureWarning)
FutureWarning: timeout is not supported on your platform.
这是什么情况？

admintest166 发表于 2020-3-13 00:35:24

phil2015 发表于 2020-3-12 21:06
Warning (from warnings module):
File "C:\Python\lib\site-packages\pyspider\libs%utils.py", line 1 ...

可能不支持 这个是放到pyspider的 web中的

大风包子 发表于 2020-3-13 07:14:02

kankan

iltifa 发表于 2020-3-13 07:57:25

学习一下

knight丶 发表于 2020-3-13 08:42:31

看看

kkk999de 发表于 2020-3-13 11:00:28

学习学习
页: [1] 2 3
查看完整版本: 【2020-3-13更新】使用pyspider框架爬取小姐姐图片