第二帖：新手写了一个妹子图爬虫！(多进程）

97766819 · 发表于 2020-5-3 17:39:24

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

友情提示：

每次最好爬取2页或者3页或者4页不要超过4页最好可以为4页

因为我写的都是基于多进程爬取的速度要看你的CPU的

CPU很好的话可以当我说屁话！ = =

可以4页4页的爬取我一次性爬取了12页到后面来的时候会出现很慢我打开图片url时候发现有些url访问出来的速度确实会有点慢

可能比较吃网速我家网不太好所以你们电脑配置好的可以爬取网页多点

使用需知：
不要过分爬取网站的图片
出现法律责任与我无关！
一切责任由使用者承担！
每页能爬取240张

爬取的网站：https://www.meitulu.com/t/bololi/

图片如下：

源码如下：

游客，如果您要查看本帖隐藏内容请回复

97766819 · 发表于 2020-5-3 17:41:18

老八秘制 · 发表于 2020-5-3 17:54:23

前排
P.S.:下次代码用代码格式发

乘号 · 发表于 2020-5-3 17:55:48

支持！

97766819 · 发表于 2020-5-3 18:23:39

老八秘制发表于 2020-5-3 17:54
前排
P.S.:下次代码用代码格式发

了解

之前没找到现在知道了

九千 · 发表于 2020-5-3 19:00:49

怎么我完全复制过去尝试，提醒我没有 requests模块

乘号 · 发表于 2020-5-3 19:12:28

九千发表于 2020-5-3 19:00
怎么我完全复制过去尝试，提醒我没有 requests模块

没下载

老八秘制 · 发表于 2020-5-3 19:14:42

九千发表于 2020-5-3 19:00
怎么我完全复制过去尝试，提醒我没有 requests模块

先安装一下，cmd输入pip install requests

九千 · 发表于 2020-5-3 19:26:31

老八秘制发表于 2020-5-3 19:14
先安装一下，cmd输入pip install requests

安装成功了，谢谢，请问在哪里可以学习requests模块怎么使用呀

97766819 · 发表于 2020-5-3 19:45:13

九千发表于 2020-5-3 19:26
安装成功了，谢谢，请问在哪里可以学习requests模块怎么使用呀

百度上面一堆搜索一下就好了

九千 · 发表于 2020-5-3 19:57:57

97766819 发表于 2020-5-3 19:45
百度上面一堆搜索一下就好了

ok 我还以为甲鱼这里有专门的文档谢谢

老八秘制 · 发表于 2020-5-3 19:58:10

九千发表于 2020-5-3 19:26
安装成功了，谢谢，请问在哪里可以学习requests模块怎么使用呀

B站或者百度
P.S:那些所谓“XX月速成”都是营销手段，不用相信

wenwen001 · 发表于 2020-5-3 21:12:13

xchenq · 发表于 2020-5-20 16:47:21

SystemUp · 发表于 2020-5-20 18:45:03

妹子选的不错

chemy · 发表于 2020-5-20 23:11:58

2230086274 · 发表于 2020-6-8 15:29:30

优秀

极行空间 · 发表于 2020-7-9 21:10:39

maoccccccc · 发表于 2020-7-9 23:10:44

学习一下

aleaf · 发表于 2020-7-12 09:58:01

学习一下

账号		自动登录	找回密码
密码			立即注册

[作品展示] 第二帖：新手写了一个妹子图爬虫！(多进程）

马上注册，结交更多好友，享用更多功能^_^