97766819
发表于 2020-5-3 00:21:51
新手写了一个妹子图爬虫!(多进程)
本帖最后由 97766819 于 2020-5-3 17:33 编辑
友情提示:
每次最好爬取2页或者3页或者4页 不要超过4页最好 可以为4页
因为我写的都是基于多进程 爬取的速度要看你的CPU的
CPU很好的话可以当我说屁话! ==
可以4页4页的爬取 我一次性爬取了12页 到后面来的时候会出现很慢 我打开图片url时候发现有些url访问出来的速度确实会有点慢
可能比较吃网速 我家网不太好 所以你们电脑配置好的 可以爬取网页多点
使用需知:
不要过分爬取网站的图片
出现法律责任与我无关!
一切责任由使用者承担!
爬取的网站:https://www.nvshens.net/gallery/
图片如下:
源码如下:
**** Hidden Message *****
乘号
发表于 2020-5-3 08:27:49
{:10_275:}
97766819
发表于 2020-5-3 09:31:36
乘号 发表于 2020-5-3 08:27
我还以为没人会回复= = 测试的咋样啊!
97766819
发表于 2020-5-3 17:40:47
{:10_256:}
村长苏幕遮
发表于 2020-5-3 19:40:44
{:10_256:}
wenwen001
发表于 2020-5-3 20:50:40
6666
a1006241230
发表于 2020-5-3 21:21:24
66666666666
Python_tkinter
发表于 2020-5-4 09:08:03
绅士白
发表于 2020-5-4 10:01:14
{:10_277:}
nessow
发表于 2020-5-4 10:23:14
666
majian890324
发表于 2020-5-4 10:45:40
本着学习的态度,来学习一下,没有别的目的,我是一个正直的人,恩恩,别的啥也不说了,我去弄了,哈哈
幻夜s
发表于 2020-5-4 12:27:31
666
易烊千玺女友
发表于 2020-5-4 12:35:41
。。。
gzoo
发表于 2020-5-4 15:50:31
试试效果咋样
小泉app
发表于 2020-5-4 19:11:02
啧啧
jiyao
发表于 2020-5-4 21:23:52
哈哈哈
不打工的秘密
发表于 2020-5-5 23:37:54
学习一下
笑叹,
发表于 2020-5-6 00:00:09
{:10_256:}
Pythonnewers
发表于 2020-5-6 08:55:10
只是学习a,早上起来看有点恶心
Veblent_Azz
发表于 2020-5-6 09:45:09
感谢分享
页:
[1]
2
3
4
5
6
7
8
9
10