97766819 发表于 2020-5-3 17:39:24

第二帖：新手写了一个妹子图爬虫！(多进程）

友情提示：

每次最好爬取2页或者3页或者4页 不要超过4页最好 可以为4页

因为我写的都是基于多进程 爬取的速度要看你的CPU的

CPU很好的话可以当我说屁话！ ==

可以4页4页的爬取 我一次性爬取了12页 到后面来的时候会出现很慢 我打开图片url时候发现有些url访问出来的速度确实会有点慢

可能比较吃网速 我家网不太好 所以你们电脑配置好的 可以爬取网页多点

使用需知：
不要过分爬取网站的图片
出现法律责任与我无关！
一切责任由使用者承担！
每页能爬取240张

爬取的网站：https://www.meitulu.com/t/bololi/

图片如下：






源码如下：
**** Hidden Message *****

97766819 发表于 2020-5-3 17:41:18

{:10_256:}

老八秘制 发表于 2020-5-3 17:54:23

前排
P.S.:下次代码用代码格式发

乘号 发表于 2020-5-3 17:55:48

支持！

97766819 发表于 2020-5-3 18:23:39

老八秘制 发表于 2020-5-3 17:54
前排
P.S.:下次代码用代码格式发

了解{:10_277:}之前没找到现在知道了

九千 发表于 2020-5-3 19:00:49

怎么我完全复制过去尝试，提醒我没有 requests模块

乘号 发表于 2020-5-3 19:12:28

九千 发表于 2020-5-3 19:00
怎么我完全复制过去尝试，提醒我没有 requests模块

没下载

老八秘制 发表于 2020-5-3 19:14:42

九千 发表于 2020-5-3 19:00
怎么我完全复制过去尝试，提醒我没有 requests模块

先安装一下，cmd输入pip install requests

九千 发表于 2020-5-3 19:26:31

老八秘制 发表于 2020-5-3 19:14
先安装一下，cmd输入pip install requests

安装成功了，谢谢，请问在哪里 可以学习requests模块怎么使用呀

97766819 发表于 2020-5-3 19:45:13

九千 发表于 2020-5-3 19:26
安装成功了，谢谢，请问在哪里 可以学习requests模块怎么使用呀

百度上面一堆 搜索一下就好了

九千 发表于 2020-5-3 19:57:57

97766819 发表于 2020-5-3 19:45
百度上面一堆 搜索一下就好了

ok我还以为甲鱼这里有专门的文档 谢谢

老八秘制 发表于 2020-5-3 19:58:10

九千 发表于 2020-5-3 19:26
安装成功了，谢谢，请问在哪里 可以学习requests模块怎么使用呀

B站或者百度
P.S:那些所谓“XX月速成”都是营销手段，不用相信

wenwen001 发表于 2020-5-3 21:12:13

123

xchenq 发表于 2020-5-20 16:47:21

1

SystemUp 发表于 2020-5-20 18:45:03

妹子选的不错

chemy 发表于 2020-5-20 23:11:58

kk

2230086274 发表于 2020-6-8 15:29:30

优秀

极行空间 发表于 2020-7-9 21:10:39

{:10_316:}

maoccccccc 发表于 2020-7-9 23:10:44

学习一下

aleaf 发表于 2020-7-12 09:58:01

学习一下{:10_275:}
页: [1] 2 3 4 5 6 7
查看完整版本: 第二帖：新手写了一个妹子图爬虫！(多进程）