为什么图片没下载下来，也没报错

923204485

1. import urllib.request
   
2. import os
   
3. 
   
4. def get_url(url):
   
5. 
   
6.     headers = {
   
7.         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
   
8.     }
   
9.     req = urllib.request.Request(url,headers=headers)
   
10.     response = urllib.request.urlopen(req)
    
11.     html = response.read()
    
12.     return html
    
13. 
    
14. 
    
15. def url_img(url):
    
16.     img_addrs = []
    
17.     html = get_url(url).decode('utf-8')
    
18.     a = html.find('img src=')
    
19.     while a != -1:
    
20.         b = html.find('.jpg', a, a + 255)
    
21.         if b != -1:
    
22.             img_addrs.append(html[a:b] + '.jpg')
    
23.         else:
    
24.             print('找不到图片地址')
    
25.         a = html.find('img src',b)
    
26.     return img_addrs
    
27.     #print(url_img(url))                              #获取列表内页面第一页所有图片地址
    
28. #print(len(url_img(url)))                         #列表内有多少图片
    
29. 
    
30. def save_imgs(folder,url_img):
    
31. 
    
32.     for each in url_img:
    
33.         img_url = each.split('"')[1]
    
34.         with open(img_url,'wb') as f:
    
35.             img = get_url(each)
    
36.             f.write(img)
    
37. 
    
38. def download_mm(folder='katong',pages=10):
    
39.     os.mkdir(folder)
    
40.     os.chdir(folder)
    
41. 
    
42.     url = 'http://sc.chinaz.com/tupian/katongtupian_2.html'
    
43. 
    
44.     for i in range(1,pages):
    
45.         i += 1
    
46.         get_img = 'http://sc.chinaz.com/tupian/katongtupian' + '_' + str(i) + '.html'
    
47.         img_addrs = url_img(get_img)
    
48.         save_imgs(folder,img_addrs)
    
49. 
    
50. 
    
51. if __name__ == '__main__':
    
52.     download_mm()
    

复制代码

923204485

第一次写爬虫，不知道为啥没爬到文件里，求大佬只招

塔利班

你审查元素了么，里面不是img src=这种模式，不能直接用小甲鱼爬妹子图的代码

923204485

塔利班 发表于 2018-10-19 10:12
你审查元素了么，里面不是img src=这种模式，不能直接用小甲鱼爬妹子图的代码

是那种模式

923204485

http://sc.chinaz.com/tupian/katongtupian_2.html
我趴的是这个网页

塔利班

就是你这个网页

923204485

塔利班 发表于 2018-10-19 10:18
就是你这个网页

怎么你的跟我的不一样啊 ，我的是正常网址

923204485

塔利班 发表于 2018-10-19 10:18
就是你这个网页

<img alt="励志的戒烟图片" src="http://pic.sc.chinaz.com/Files/pic/pic9/201806/zzpic12352_s.jpg">

923204485

塔利班 发表于 2018-10-19 10:18
就是你这个网页

呀，看错了，不好意思

923204485

塔利班 发表于 2018-10-19 10:18
就是你这个网页

都是一样的撒，什么问题大佬。是不是我没解析网页？

塔利班

实际上用requests打印，代码和网页还不一样，是src2=
建议你换个网站，或者往后学学

923204485

塔利班 发表于 2018-10-19 10:27
实际上用requests打印，代码和网页还不一样，是src2=
建议你换个网站，或者往后学学

我用decode('utf-8')解码了，在pacharm上没搜不到img src=
不解码就能搜到了

塔利班

1. import requests
   
2. import os
   
3. from bs4 import BeautifulSoup as bs
   
4. 
   
5. def get_url(url):
   
6. 
   
7.     headers = {
   
8.         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
   
9.     }
   
10.     res=requests.get(url,headers=headers)
    
11. 
    
12.     return res
    
13. 
    
14. 
    
15. def url_img(url):
    
16.     img_addrs = []
    
17.     soup=bs(get_url(url).text,'html.parser')
    
18.     for each in soup.find_all(name='img'):
    
19.         img_addrs.append(each['src2'])
    
20.     return img_addrs
    
21. 
    
22. def save_imgs(folder,url_img):
    
23. 
    
24.     for each in url_img:
    
25.         img=each.split('/')[-1]
    
26.         try:
    
27.             with open(img,'wb') as f:
    
28.                 im = get_url(each).content
    
29.                 f.write(im)
    
30.         except:
    
31.             print('一张假图')
    
32. 
    
33. def download_mm(folder='katong',pages=5):
    
34.     os.mkdir(folder)
    
35.     os.chdir(folder)
    
36.     for i in range(1,pages):
    
37.         i += 1
    
38.         get_img = 'http://sc.chinaz.com/tupian/katongtupian' + '_' + str(i) + '.html'
    
39.         img_addrs = url_img(get_img)
    
40.         save_imgs(folder,img_addrs)
    
41. 
    
42. 
    
43. if __name__ == '__main__':
    
44.     download_mm()
    

复制代码

923204485

塔利班 发表于 2018-10-19 10:51

可以的兄弟，但是看不懂这个from bs4 import BeautifulSoup as bs模块咋用的

塔利班

你学到极客系列就知道了，
刚学request建议爬点百度贴吧什么的练练手

923204485

塔利班 发表于 2018-10-19 10:58
你学到极客系列就知道了，
刚学request建议爬点百度贴吧什么的练练手

百度贴吧？爬文字？

塔利班

923204485 发表于 2018-10-19 11:02
百度贴吧？爬文字？

你爬图片文字都行，不过也不一定都是可以爬的，先试几个，能爬了，建议就可以直接跳过tkinter和pygame先去把小甲鱼极客的爬虫看了，回头再看tkinter和pygame