[已解决]爬取煎蛋网妹子图保存图片的问题

梦想一事无成

1. import urllib.request
   
2. import re
   
3. import random
   
4. import os
   
5. 
   
6. def up():
   
7.     ippup = ['Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3637.220 Safari/537.36',
   
8.              "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0",
   
9.              "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; Maxthon/3.0)",
   
10.              "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ;  QIHU 360EE"]
    
11.     thisup = random.choice(ippup)
    
12.     print(thisup)
    
13.     headers = ("User-Agent",thisup)
    
14.     opener = urllib.request.build_opener()
    
15.     opener.addheaders = [headers]
    
16.     urllib.request.install_opener(opener)
    
17.    
    
18. 
    
19. 
    
20. 
    
21. def open_url(page):
    
22.     up()
    
23.     for i in range(200,page):
    
24.         url = 'https://jandan.net/ooxx/page-'+str(i)
    
25.         html = urllib.request.urlopen(url).read().decode('utf-8')
    
26.         p = '<img src="(\//[w].*?\.jpg)'
    
27.         imglist = re.compile(p).findall(html)
    
28.         '''
    
29.         for each in imglist:
    
30.             print(each)
    
31.         '''
    
32.         try:
    
33.             os.mkdir('图片保存')
    
34.         except FileExistsError:
    
35.             pass
    
36.         os.chdir('图片保存')
    
37.         for each in imglist:
    
38.             imgname = each.split('/')[-1]
    
39.             urllib.request.urlretrieve(imglist,imgname,None)
    
40. 
    
41.         
    
42.             
    
43. 
    
44. 
    
45. if __name__ == '__main__':
    
46.     open_url(220))

复制代码

运行后就报错：

1. Traceback (most recent call last):
   
2.   File "C:\Users\hp\Desktop\煎蛋妹子图.py", line 46, in <module>
   
3.     open_url(int(220))
   
4.   File "C:\Users\hp\Desktop\煎蛋妹子图.py", line 39, in open_url
   
5.     urllib.request.urlretrieve(imglist,imgname,None)
   
6.   File "C:\Python34\lib\urllib\request.py", line 176, in urlretrieve
   
7.     url_type, path = splittype(url)
   
8.   File "C:\Python34\lib\urllib\parse.py", line 851, in splittype
   
9.     match = _typeprog.match(url)
   
10. TypeError: expected string or buffer

复制代码

这是什么原因 ，求各位大神帮助

最佳答案

月排行榜 / 总排行榜

$DIM

2017-10-23 17:27:49

梦想一事无成 发表于 2017-10-23 17:21
有是这样的报错 我也不知道怎么回事print可以打印出来可是就是保存不了

ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/bfa8123ely1fkhmdg6fzcj21kw11zq9m.j

url //前面少了https:

完整的：https://wx3.....

跳转到最佳答案楼层

$DIM

官方说明：
def urlretrieve(url, filename=None, reporthook=None, data=None):

urllib.request.urlretrieve(imglist,imgname,None)　imglist为list

用urllib.request.urlretrieve(each, imgname, None)试试

梦想一事无成

$DIM 发表于 2017-10-23 17:10
官方说明：
def urlretrieve(url, filename=None, reporthook=None, data=None):

1. Traceback (most recent call last):
   
2.   File "C:\Users\hp\Desktop\煎蛋妹子图.py", line 46, in <module>
   
3.     open_url(220)
   
4.   File "C:\Users\hp\Desktop\煎蛋妹子图.py", line 39, in open_url
   
5.     urllib.request.urlretrieve(each,imgname,None)
   
6.   File "C:\Python34\lib\urllib\request.py", line 178, in urlretrieve
   
7.     with contextlib.closing(urlopen(url, data)) as fp:
   
8.   File "C:\Python34\lib\urllib\request.py", line 153, in urlopen
   
9.     return opener.open(url, data, timeout)
   
10.   File "C:\Python34\lib\urllib\request.py", line 440, in open
    
11.     req = Request(fullurl, data)
    
12.   File "C:\Python34\lib\urllib\request.py", line 258, in __init__
    
13.     self.full_url = url
    
14.   File "C:\Python34\lib\urllib\request.py", line 284, in full_url
    
15.     self._parse()
    
16.   File "C:\Python34\lib\urllib\request.py", line 313, in _parse
    
17.     raise ValueError("unknown url type: %r" % self.full_url)
    
18. ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/bfa8123ely1fkhmdg6fzcj21kw11zq9m.jpg'

复制代码

有是这样的报错 我也不知道怎么回事print可以打印出来可是就是保存不了

$DIM

梦想一事无成 发表于 2017-10-23 17:21
有是这样的报错 我也不知道怎么回事print可以打印出来可是就是保存不了

ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/bfa8123ely1fkhmdg6fzcj21kw11zq9m.j

url //前面少了https:

完整的：https://wx3.....

梦想一事无成

$DIM 发表于 2017-10-23 17:27
ValueError: unknown url type: '//wx3.sinaimg.cn/mw600/bfa8123ely1fkhmdg6fzcj21kw11zq9m.j

url  ...

好了 可以保存了 但是保存后每个文件夹中就有一个相同名字的文件夹，这是不是翻页的结果，

$DIM

梦想一事无成 发表于 2017-10-23 17:39
好了 可以保存了 但是保存后每个文件夹中就有一个相同名字的文件夹，这是不是翻页的结果，

目测是循环创建了文件夹

梦想一事无成

$DIM 发表于 2017-10-23 17:55
目测是循环创建了文件夹

感谢你对我的帮助