[已解决]urllib报错，看不明白错误说明。。。

jfmlj

>>> jpg='http://www.youwu.cc/uploads/allimg/160723/1-160H30TP2.jpg'
>>> pic=urllib.request.urlopen(jpg)

Traceback (most recent call last):
  File "<pyshell#20>", line 1, in <module>
    pic=urllib.request.urlopen(jpg)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found

最佳答案

月排行榜 / 总排行榜

Charles未晞

2018-3-7 09:02:47

1. urllib.urlretrieve(imgurl, savepath)

复制代码

保存图片用的是这个函数啊，大兄弟。

跳转到最佳答案楼层

°蓝鲤歌蓝

别人知道你是爬虫，拒绝了你的请求。

ouyunfu

请查看小甲鱼的HTTP错误大全：http://bbs.fishc.com/thread-103840-1-1.html

希望对你有帮助！

jfmlj

°蓝鲤歌蓝 发表于 2018-3-6 17:26
别人知道你是爬虫，拒绝了你的请求。

这个网站好几层的，上一级的框架都可以读取的，到了图片这里就报错了，确定是被发现了？

大概明白了，这个图片地址会变。。。昨天还是图片，今天打开就变网页了，估计是伪装过的？

Charles未晞

1. urllib.urlretrieve(imgurl, savepath)

复制代码

保存图片用的是这个函数啊，大兄弟。

jfmlj

Charles未晞 发表于 2018-3-7 09:02
保存图片用的是这个函数啊，大兄弟。

你这个是哪个版本？我运行了提示
AttributeError: module 'urllib' has no attribute 'urlretrieve'


我一直保存图片是用

request = urllib2.Request(imgurl, None, header)  
response = urllib2.urlopen(request)

with open("%s.jpg" %name, "wb") as f:
        f.write(response.read())

这样批量改名的

jfmlj

Charles未晞 发表于 2018-3-7 09:02
保存图片用的是这个函数啊，大兄弟。

>>> urllib.request.urlretrieve(pic,savepath)
Traceback (most recent call last):
  File "<pyshell#15>", line 1, in <module>
    urllib.request.urlretrieve(pic,savepath)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 248, in urlretrieve
    with contextlib.closing(urlopen(url, data)) as fp:
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 404: Not Found


同样的错误，估计图片地址有问题

Charles未晞

jfmlj 发表于 2018-3-7 09:24
>>> urllib.request.urlretrieve(pic,savepath)
Traceback (most recent call last):
  File "", line  ...

python2.............
你那种图片的地址是这个吧http://www.youwu.cc/uploads/allimg/160511/1-160511195R0320.jpg

jfmlj

Charles未晞 发表于 2018-3-7 11:56
python2.............
你那种图片的地址是这个吧http://www.youwu.cc/uploads/allimg/160511/1-160511 ...

是的，早上还是图片可以下载，现在就变网址了，所以应该是网站的问题，之前写的爬虫在其他网站运行正常