urllib.request.urlretrieve报错

cc9200

1. import urllib.request
   
2. import urllib
   
3. from bs4 import BeautifulSoup
   
4. import os
   
5. 
   
6. 
   
7. def url_open(url):
   
8.    
   
9.     req = urllib.request.Request(url)
   
10.    
    
11.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 5.1; rv:43.0) Gecko/20100101 Firefox/43.0')
    
12.    
    
13.    
    
14.     response = urllib.request.urlopen(req)
    
15.     html = response.read().decode('utf-8')    #有可能是 其他编码方式，如果乱码请修改这里
    
16.     soup=BeautifulSoup(html,'lxml')
    
17.     return soup
    
18.    
    
19. 
    
20. url=input('请输入地址：')
    
21. dir1=input('请输入存储路径:')
    
22. soup=url_open(url)
    
23. 
    
24. print(soup.title.string)
    
25. os.mkdir(dir1+'/'+soup.title.string)
    
26. dir1=dir1+'/'+soup.title.string
    
27. imglist=soup.find_all('img')
    
28. lenth = len(imglist)  #计算集合的个数  
    
29. for i in range(lenth):   ##抓取同一页面下的多张图片
    
30.     jpgurl=imglist[i].attrs['src']
    
31.     print(jpgurl)
    
32.     urllib.request.urlretrieve(jpgurl, dir1+'/'+jpgurl)
    
33.                  #抓取img中属性为src的信息,例如<img src="123456" xxxxxxxxxxxxxxxx,则输出为123456
    
34.     print(jpgurl) ##    为了检查是否执

复制代码

运行如下

>>>
RESTART: C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\jpgload.py
请输入地址：http://www.wmpic.me/82057
请输入存储路径:E:
花卉植物小清新图片手机壁纸_唯美图片
http://p2.wmpic.me/article/2017/01/12/1484209927_PwARbvmU.jpg
Traceback (most recent call last):
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\jpgload.py", line 32, in <module>
    urllib.request.urlretrieve(jpgurl, dir1+'/'+jpgurl)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\lib\urllib\request.py", line 258, in urlretrieve
    tfp = open(filename, 'wb')
OSError: [Errno 22] Invalid argument: 'E:/花卉植物小清新图片手机壁纸_唯美图片/http://p2.wmpic.me/article/2017/01/12/1484209927_PwARbvmU.jpg'
>>>


这个错误到底什么意思？

=======================================================================

后来把关键代码改了下

1. url=input('请输入地址：')
   
2. dir1=input('请输入存储路径:')
   
3. soup=url_open(url)
   
4. 
   
5. print(soup.title.string)
   
6. os.mkdir(dir1+'/'+soup.title.string)
   
7. dir1=dir1+'/'+soup.title.string
   
8. imglist=soup.find_all('img')
   
9. lenth = len(imglist)  #计算集合的个数  
   
10. for i in range(lenth):   ##抓取同一页面下的多张图片
    
11.     jpgurl=imglist[i].attrs['src']   #抓取img中属性为src的信息,例如<img src="123456" xxxxxxxxxxxxxxxx,则输出为123456
    
12.     list1=jpgurl.split('/')
    
13.     jpgname=list1[-1]
    
14.     print(jpgurl)
    
15.     try:
    
16.         urllib.request.urlretrieve(jpgurl, dir1+'/'+jpgname)  ##图片地址里面不能有汉字
    
17.                
    
18.     except Exception as e:  
    
19.         print (Exception,":",e)
    
20.     print(jpgurl) ##    为了检查是否执行

复制代码

结果出现的问题是，凡是地址里面有中文字符的，就不行
凡是英文字符的就能成功抓取

这个地址里面有汉字的问题怎么解决？

cc9200

大晚上还在调试，几十行代码都这么难搞

cc9200

最新发现，图片的地址里面如果有中文就会报错，没有中文能下载
怎么解决地址里面中文的问题？

cc9200

求助

SixPy

cc9200 发表于 2017-1-13 10:46
最新发现，图片的地址里面如果有中文就会报错，没有中文能下载
怎么解决地址里面中文的问题？

1. >>> urllib.parse.urlencode({'jpg':r'花卉植物小清新图片手机壁纸_唯美图'})
   
2. 'jpg=%E8%8A%B1%E5%8D%89%E6%A4%8D%E7%89%A9%E5%B0%8F%E6%B8%85%E6%96%B0%E5%9B%BE%E7%89%87%E6%89%8B%E6%9C%BA%E5%A3%81%E7%BA%B8_%E5%94%AF%E7%BE%8E%E5%9B%BE'
   
3. >>>

复制代码

cc9200

SixPy 发表于 2017-1-13 15:00

这样就能下载了？

lassiter

命名不能出现“/ \ ?”等字符，Windows的命名规则