[已解决]爬取网站图片问题求助T^T

haski1991

额- -是这样的，找了个妹子图片网站练手。写好后是能成功下载图片的。但发现只能下载到封面的小图下来，而不是下载封面内页的大图。自己也换过几次方法都失败告终，请大神们看看是哪里出了问题额谢谢~

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. 
   
6. def url_open(url):
   
7. 
   
8.     req = urllib.request.Request(url)
   
9.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
10.     dakai = urllib.request.urlopen(req)
    
11.     html = dakai.read().decode('utf-8')
    
12. 
    
13.     return html
    
14. 
    
15. 
    
16. def get_page(html):
    
17. 
    
18.     tu = r'<a href="(.+.html)"'
    
19.     find = re.findall(tu,html)
    
20.     find_list = []
    
21. 
    
22.     for each in find:
    
23.         find_list.append('https://www.uumnt.com/' + each)
    
24.         
    
25.         
    
26.     return find_list
    
27.    
    
28. 
    
29. 
    
30. def get_img(html):
    
31. 
    
32.     img = r'<img src="(.+\.jpg)"'
    
33.     find_img = re.findall(img,html)
    
34. 
    
35.     for i in find_img:
    
36.         ming = i.split('/')[-1]
    
37.         urllib.request.urlretrieve(i,ming,None)
    
38.         
    
39. 
    
40. def you(wen='you'):
    
41.     os.mkdir(wen)
    
42.     os.chdir(wen)
    
43. 
    
44. if __name__ == '__main__':
    
45. 
    
46.     you()
    
47. 
    
48.     url = 'https://www.uumnt.com/meinv/'
    
49.     urllist = get_page(url_open(url))
    
50.     for each in urllist:
    
51.             get_img(url_open(each))

复制代码

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-4-24 10:07:51

你确定你爬到的全部是小图么，不对吧，应该有几张大图，大部分是小图，一小部分是大图猜对
这个地方，你打开了一个页面之后去提取整个页面的图片是不行的

1. for i in find_img:
   
2.         ming = i.split('/')[-1]
   
3.         urllib.request.urlretrieve(i,ming,None)

复制代码

其实大图的链接格式和小图是不一样 的，这个需要你改一下正则提取图片链接的格式
加一句判断就可以

1. if "Pics" in i:

复制代码

因为每个页面只有1张是大图，其他都是小图，你只能提取第一张，那张才是大图，如果你要提取更多，就需要翻页
比如你打开了这个页面https://www.uumnt.com/zipai/16941.html，你只能提取这个<img src="https://newimg.uumnt.com:446/Pics/2017/0424/05/02.jpg"图片链接，这个才是大图，其他都是小图没用的
如果你想提取这个妹子更多的图，就需要翻页
看看第二页链接，是这样 的https://www.uumnt.com/zipai/16941_2.html，然后提取第二页 的图片，以此类推

跳转到最佳答案楼层

gopythoner

你确定你爬到的全部是小图么，不对吧，应该有几张大图，大部分是小图，一小部分是大图猜对
这个地方，你打开了一个页面之后去提取整个页面的图片是不行的

1. for i in find_img:
   
2.         ming = i.split('/')[-1]
   
3.         urllib.request.urlretrieve(i,ming,None)

复制代码

其实大图的链接格式和小图是不一样 的，这个需要你改一下正则提取图片链接的格式
加一句判断就可以

1. if "Pics" in i:

复制代码

因为每个页面只有1张是大图，其他都是小图，你只能提取第一张，那张才是大图，如果你要提取更多，就需要翻页
比如你打开了这个页面https://www.uumnt.com/zipai/16941.html，你只能提取这个<img src="https://newimg.uumnt.com:446/Pics/2017/0424/05/02.jpg"图片链接，这个才是大图，其他都是小图没用的
如果你想提取这个妹子更多的图，就需要翻页
看看第二页链接，是这样 的https://www.uumnt.com/zipai/16941_2.html，然后提取第二页 的图片，以此类推

hldh214

因为大图在每个单独的详细页面里

haski1991

gopythoner 发表于 2017-4-24 10:07
你确定你爬到的全部是小图么，不对吧，应该有几张大图，大部分是小图，一小部分是大图猜对
这个地方，你打 ...

谢谢指导~

YHao

又收获一个爬美女图的网站