设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 关于代理不断失效的问题
返回列表 发新帖
查看: 6543|回复: 2

关于代理不断失效的问题

[复制链接]
麦克雷
发表于 2017-4-26 20:20:50 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
我的爬虫运行以后   每爬几张就要会换代理   效率很低。爬了大约100多张  弹出了  ERROR: execution aborted 的错误
请问该怎么解决？？
输出如下：

茄子僵果 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_1.jpg
获取网页出错，10S后将获取倒数第： 6 次
正在更换代理，10S后将重新获取倒数第 6 次
当前代理是： {'http': '119.29.246.212:8888'}
正在更换代理，10S后将重新获取倒数第 5 次
当前代理是： {'http': '124.47.7.38:80'}
茄子灰霉病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_2.jpg
茄子黄萎病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_3.jpg
茄子黑枯病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_4.jpg
茄子褐纹病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_5.jpg
茄子褐色圆星病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_6.jpg
茄子褐斑病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_7.jpg
茄子根腐病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_8.jpg
茄子猝倒病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_9.jpg
茄子病毒病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_10.jpg
茄子白粉病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_11.jpg
茄苗立枯病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_12.jpg
获取网页出错，10S后将获取倒数第： 6 次
正在更换代理，10S后将重新获取倒数第 6 次
当前代理是： {'http': '124.47.7.38:80'}
正在更换代理，10S后将重新获取倒数第 5 次
当前代理是： {'http': '218.67.126.15:3128'}
菟丝子为害辣椒 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_13.jpg
甜椒早疫病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_14.jpg
获取网页出错，10S后将获取倒数第： 6 次
正在更换代理，10S后将重新获取倒数第 6 次
当前代理是： {'http': '101.200.82.141:8888'}
甜椒叶枯病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_15.jpg
甜椒细菌性叶斑病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_16.jpg
甜椒日灼病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_17.jpg
获取网页出错，10S后将获取倒数第： 6 次
正在更换代理，10S后将重新获取倒数第 6 次
当前代理是： {'http': '122.228.179.178:80'}
正在更换代理，10S后将重新获取倒数第 5 次
当前代理是： {'http': '124.47.7.45:80'}
正在更换代理，10S后将重新获取倒数第 4 次
当前代理是： {'http': '124.47.7.38:80'}
正在更换代理，10S后将重新获取倒数第 3 次
当前代理是： {'http': '124.207.132.242:3128'}
正在更换代理，10S后将重新获取倒数第 2 次
当前代理是： {'http': '222.76.217.25:80'}
甜椒脐腐病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_18.jpg
甜椒枯萎病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_19.jpg
甜椒黑霉病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_20.jpg
甜椒黑斑病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_21.jpg
甜椒根腐病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_22.jpg
甜椒、辣椒病毒病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_23.jpg
甜椒、辣椒白星病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_24.jpg
获取网页出错，10S后将获取倒数第： 6 次
正在更换代理，10S后将重新获取倒数第 6 次
当前代理是： {'http': '111.1.3.36:8000'}
正在更换代理，10S后将重新获取倒数第 5 次
当前代理是： {'http': '122.72.18.160:80'}
甜椒、辣椒白粉病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_25.jpg
甜椒、辣椒疫病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_26.jpg
获取网页出错，10S后将获取倒数第： 6 次
甜椒、辣椒炭疽病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_27.jpg
甜椒、辣椒绵腐病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_28.jpg
获取网页出错，10S后将获取倒数第： 6 次
。
。
。
（此处省略不断出错然后更换代理的代码  和代码和上面的那一段差不多）
。
。
。
南瓜角斑病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_150.jpg
南瓜灰斑病 http://image68.360doc.com/DownloadImg/2014/02/2114/39298919_151.jpg
获取网页出错，10S后将获取倒数第： 6 次
ERROR: execution aborted
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

麦克雷
 楼主| 发表于 2017-4-26 20:26:12 | 显示全部楼层
一共有4个文件 ：plants.py      Download.py     __init__.py   proxy.py

plants.py  文件的代码是：
from bs4 import BeautifulSoup
import os
from Download import request

class plants():


    all_url = 'http://www.360doc.com/content/14/0221/14/13773668_354483683.shtml'  
    start_html = request.get(all_url,3)
   
    Soup = BeautifulSoup(start_html.text, 'lxml')

    all_a = Soup.find('ul', class_='tklist').find_all('a')
    all_img = Soup.find('ul', class_='tklist').find_all('img')
    for a in all_a:
        title = a.get_text()
        href = a['href']
        
    for img in all_img:
        img_alt = img['alt']
        img_url = img['src']
        print(img_alt,img_url)
        
        path = str(img_alt).strip()
        os.makedirs(os.path.join("D:\plants", path))
        os.chdir("D:\plants\\"+path)
        
        name = img_url[-9:-4]
        imgs = request.get(img_url,3)
        f = open(name+'.jpg', 'ab')
        f.write(imgs.content)
        f.close()
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

麦克雷
 楼主| 发表于 2017-4-26 20:27:53 | 显示全部楼层
Download.py  文件的代码是：


import requests
import re
import random
import time


class download():

    def __init__(self):

        self.iplist = []     ##初始化一个list用来存放获取到的IP
        html = requests.get("http://haoip.cc/tiqu.htm")  
        iplistn = re.findall(r'r/>(.*?)<b', html.text, re.S)  
        for ip in iplistn:
            i = re.sub('\n', '', ip)  
            self.iplist.append(i.strip())

        self.user_agent_list = [
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
            "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
            "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
            "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
        ]

    def get(self, url, timeout, proxy=None, num_retries=6):
        UA = random.choice(self.user_agent_list)
        headers = {'User-Agent': UA}  
        
        if proxy == None:
            try:
                return requests.get(url, headers=headers, timeout=timeout)
            except:

                if num_retries > 0:
                    time.sleep(10)
                    print(u'获取网页出错，10S后将获取倒数第：', num_retries, u'次')
                    return self.get(url, timeout, num_retries-1)  
                else:
                    print(u'开始使用代理')
                    time.sleep(10)
                    IP = ''.join(str(random.choice(self.iplist)).strip())
                    proxy = {'http': IP}
                    return self.get(url, timeout, proxy,)

        else:
            try:
                IP = ''.join(str(random.choice(self.iplist)).strip())
                proxy = {'http': IP}
                return requests.get(url, headers=headers, proxies=proxy, timeout=timeout)
            except:

                if num_retries > 0:
                    time.sleep(10)
                    IP = ''.join(str(random.choice(self.iplist)).strip())
                    proxy = {'http': IP}
                    print(u'正在更换代理，10S后将重新获取倒数第', num_retries, u'次')
                    print(u'当前代理是：', proxy)
                    return self.get(url, timeout, proxy, num_retries - 1)
                else:
                    print(u'取消代理')
                    return self.get(url, 3)

request = download()  
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-10-7 18:20

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表