我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

Stubborn · 发表于 2019-1-27 05:01:51

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 Stubborn 于 2019-1-27 16:12 编辑

如果本贴可以给鱼油学习帮助，或者觉得不错请动动指头，帮忙评分，顶帖，非常感谢！默默为这个网址默哀三分钟
大致的多线程内容，等明天我会再修改下
先贴上一段踩坑代码（修正在83-101行代码，有注释，不懂或有有疑惑，可以在评论区留言会一回复）：

    def save_img(self,img_number,img_url,title):
        "图集下载"
        headers = {
            'User-Agent': ua.random,
            'Referer': 'http://i.meizitu.net'
        }
        for i in range(1,int(img_number)+1):
            img_subset_url = img_url + "/%s" % i
            img_url = etree.HTML(requests.get(img_subset_url,headers=headers).text)
            img_save_url = img_url.xpath('//div[@class="main-image"]/p/a/img/@src')[0]  #图片下载地址
            img_name = '%s\\' % title + img_url.split('/')[-1]
            #开始下载图片
            response = requests.get(img_save_url, headers=headers)
            with open(img_name,"wb") as f:
                f.write(response.content)

为什么说这段代码坑呢，所有的图片下载地址都解析OK，在保存本地前，所有的参数都正常传递，但是但是，一开始保存就出bug,for不会进行循环，导致数据不能支持下载保存。有兴趣的鱼油可以思考下，为什么会这样，修正之后为什么可以了？本贴过些天会详细讲解下，这个爬虫案例。重新修改帖子。经过反复测试，最终OK了，可以正常运行下载保存图片。本人也是看了一个是学习视频，做了这个爬虫。参考了@四点好这个鱼友爬虫代码，最终OK了，首先说明下代码需要用到的库：有安装lxml库的朋友，确定自己的库带etree模块

import requests,threading,os
from fake_useragent import UserAgent
from queue import Queue
from lxml import etree

代码如下：（把PY文件放在需要下载保存的目录）

游客，如果您要查看本帖隐藏内容请回复

Stubborn · 发表于 2019-1-27 05:12:07

本帖最后由 Stubborn 于 2019-1-27 05:19 编辑

@iwanna @四点好给我评分点赞

顺便占楼备用 @冬雪雪冬可以申精吗，过些天准备把此贴改成多线程爬虫案例教学。可以吗？

新手·ing · 发表于 2019-1-27 08:05:20

@冬雪雪冬

Stubborn · 发表于 2019-1-27 16:09:54

本帖最后由 Stubborn 于 2019-1-27 16:14 编辑

iwanna 发表于 2019-1-27 12:40
程序运行不了,看不懂你的连接路径的操作,我把94行改了一下

跟新你的吧~

还像问一句，想加一个下载进度条，怎么加好~！

卫123 · 发表于 2019-1-27 16:30:03

先保存一下，以后学

cenlen · 发表于 2019-1-28 09:48:38

Mark 一下

kvilter · 发表于 2019-1-28 17:24:12

Stubborn · 发表于 2019-1-29 01:03:51

iwanna 发表于 2019-1-27 12:40
程序运行不了,看不懂你的连接路径的操作,我把94行改了一下

我咋觉得多线程要沉帖了，都去看妹子了，标题没有打妹子图嘛

~~

Stubborn · 发表于 2019-1-29 03:42:48

iwanna 发表于 2019-1-29 01:17
我的帖子不一样没人看
如果你是以学习为目的写的,何必在意有没有人看.何况也不是什么牛逼项目
你去gi ...

什么网站，我去学习学习下~

xxdd123 · 发表于 2019-1-29 06:41:17

看看可口可乐了

Y0uWill_1Will · 发表于 2019-1-29 14:45:21

hello

想抓兔子的云 · 发表于 2019-1-29 15:44:25

感谢分享

泡芙小王子 · 发表于 2019-1-31 16:25:04

比个小心心给你

a641743376 · 发表于 2019-2-1 15:47:13

占个楼，以后用到再回来学习，楼主加油

彩虹七号 · 发表于 2019-2-2 08:33:28

，逗号， · 发表于 2019-2-2 13:36:37

膜拜

yanc123 · 发表于 2019-2-13 18:38:31

李小控 · 发表于 2019-2-13 19:58:31

可以的

新雨花石 · 发表于 2019-2-14 09:00:37

好用~

anticheung · 发表于 2019-2-14 10:51:20

学习一下~

账号		自动登录	找回密码
密码			立即注册

[作品展示] 我胡汉三又回来了，这次给鱼油带来多线程爬虫案例，以及踩过的深坑

马上注册，结交更多好友，享用更多功能^_^

评分

本帖被以下淘专辑推荐: