爬图片由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败
今天跟着小甲鱼爬ooxx 下面是我的代码 urllib.error.URLError: <urlopen error 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。> 我要哭了我在网上看说 加个 requests.get 超时可以解决 我不会写。。我也不知道我的代码有没问题 求大神帮帮忙 困扰了我好几个小时了
import urllib.request
import os
import random
IP_list=[
'113.204.164.194:8080',
'183.64.239.19:8060',
'117.131.235.198:8060',
'112.64.233.130:9991',
'183.195.106.118:8118',
'111.164.20.86:8111',
'123.139.56.238:9999'
]
def url_open(url):
IP = random.choice(IP_list)
proxy_support = urllib.request.ProxyHandler({'http':IP})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders =[('User-Agent',"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0")]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read()
return html
def get_page(url):
html = url_open(url).decode("utf-8")
a = html.find("current-comment-page") + 23
b = html.find("]",a)
return html
def find_imgs(url):
html = url_open(url).decode("utf-8")
img_addrs = []
a = html.find("img src=")
while a != -1:
b = html.find(".jpg",a,a+255)
if b != -1:
img_addrs.append(html)
else:
b = a + 9
a = html.find("img src=",b)
return img_addrs
def save_imgs(folder,img_addrs):
for each in img_addrs:
filename = each.split('/')[-1]
with open(filename,'wb') as f:
img = url_open(each)
f.write(img)
def meimeitu(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)
url = "http://jandan.net/ooxx/"
page_num = int(get_page(url))
for i in range(pages):
page_num -= i
page_url = url + 'MjAyMDA3MjEtMTM' + str(page_num) + '#comments'
img_addrs = find_imgs(page_url)
save_imgs(folder,img_addrs)
if __name__ == '__main__':
meimeitu()
可能是你的IP不能用了
这个不是换模块就能解决的问题，是因为你的 IP 已经失效了，网络找的 IP 一般没见个可用的
直接不用 ip 代理就是了，用自己的网络
或者去买一个 IP ，用买来的 IP 测试
Twilight6 发表于 2020-7-22 18:11
这个不是换模块就能解决的问题，是因为你的 IP 已经失效了，网络找的 IP 一般没见个可用的
直接不用 ...
我之前没用IP 但是那个网页出现403 我看网上说是反扒 我到处找办法处理没找到好办法
def url_open(url):
req = urllib.request.Request(url)
req.add_header('User-Agent',"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0")
response = urllib.request.urlopen(url)
html = response.read()
return html
之前用的
页:
[1]