[已解决]关于使用正则表达式爬取猫扑图片的问题求助！！

haski1991

额- -事情是这样，想用正则表达式爬取猫扑当前页面的图片，用小甲鱼老师的方法可以顺利下载下来，但用正则表达式的方法就不行了，还不是很懂，请大神们指点下！谢谢额~

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. 
   
6. def url_open(url):
   
7. 
   
8.     req = urllib.request.Request(url)
   
9.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
10.     dakai = urllib.request.urlopen(url)
    
11.     html = dakai.read()
    
12. 
    
13.       
    
14.     return html
    
15. 
    
16. 
    
17. def find_imgs(url):
    
18. 
    
19.     html = url_open(url).decode('utf-8')
    
20.     img_addrs = []
    
21.     img = r'<img src="(.+\.jpg)">'
    
22.     find = re.findall(html,img)
    
23. 
    
24.         
    
25. 
    
26.     return img_addrs
    
27. 
    
28. 
    
29. 
    
30. 
    
31. def save_img(jia,img_addrs):
    
32.     for each in img_addrs:
    
33.         filename = each.split('/')[-1]
    
34.         with open(filename,'wb') as f:
    
35.             img = url_open(each)
    
36.             f.write(img)
    
37. 
    
38. 
    
39.    
    
40.        
    
41. 
    
42. def cat_mm(jia='mao'):
    
43.     os.mkdir(jia)
    
44.     os.chdir(jia)
    
45. 
    
46.     url = 'http://tt.mop.com/c35.html'
    
47.     img_addrs = find_imgs(url)
    
48.     save_img(jia,img_addrs)
    
49.    
    
50.       
    
51. 
    
52. if __name__ == '__main__':
    
53.     cat_mm()

复制代码

最佳答案

月排行榜 / 总排行榜

hldh214

2017-4-22 17:31:22

1. find_imgs 函数, return 的是一个空列表, 应该是 find
2. re.findall 参数顺序不对
3. img 正则表达式不对

附上修改后的代码, 推荐你先不要看我的代码, 自己一个一个改错, 有问题欢迎追问我

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent',
   
9.                    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
10.     dakai = urllib.request.urlopen(url)
    
11.     html = dakai.read()
    
12. 
    
13.     return html
    
14. 
    
15. 
    
16. def find_imgs(url):
    
17.     html = url_open(url).decode('utf-8')
    
18.     img = r'<img src="(.+?\.jpg)'
    
19.     find = re.findall(img, html)
    
20. 
    
21.     return find
    
22. 
    
23. 
    
24. def save_img(jia, img_addrs):
    
25.     for each in img_addrs:
    
26.         filename = each.split('/')[-1]
    
27.         with open(filename, 'wb') as f:
    
28.             img = url_open(each)
    
29.             f.write(img)
    
30. 
    
31. 
    
32. def cat_mm(jia='mao'):
    
33.     os.mkdir(jia)
    
34.     os.chdir(jia)
    
35. 
    
36.     url = 'http://tt.mop.com/c35.html'
    
37.     img_addrs = find_imgs(url)
    
38.     save_img(jia, img_addrs)
    
39. 
    
40. 
    
41. if __name__ == '__main__':
    
42.     cat_mm()
    

复制代码

跳转到最佳答案楼层

hldh214

1. find_imgs 函数, return 的是一个空列表, 应该是 find
2. re.findall 参数顺序不对
3. img 正则表达式不对

附上修改后的代码, 推荐你先不要看我的代码, 自己一个一个改错, 有问题欢迎追问我

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent',
   
9.                    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
10.     dakai = urllib.request.urlopen(url)
    
11.     html = dakai.read()
    
12. 
    
13.     return html
    
14. 
    
15. 
    
16. def find_imgs(url):
    
17.     html = url_open(url).decode('utf-8')
    
18.     img = r'<img src="(.+?\.jpg)'
    
19.     find = re.findall(img, html)
    
20. 
    
21.     return find
    
22. 
    
23. 
    
24. def save_img(jia, img_addrs):
    
25.     for each in img_addrs:
    
26.         filename = each.split('/')[-1]
    
27.         with open(filename, 'wb') as f:
    
28.             img = url_open(each)
    
29.             f.write(img)
    
30. 
    
31. 
    
32. def cat_mm(jia='mao'):
    
33.     os.mkdir(jia)
    
34.     os.chdir(jia)
    
35. 
    
36.     url = 'http://tt.mop.com/c35.html'
    
37.     img_addrs = find_imgs(url)
    
38.     save_img(jia, img_addrs)
    
39. 
    
40. 
    
41. if __name__ == '__main__':
    
42.     cat_mm()
    

复制代码

haski1991

感谢版主大大的帮助

haski1991

hldh214 发表于 2017-4-22 17:31
1. find_imgs 函数, return 的是一个空列表, 应该是 find
2. re.findall 参数顺序不对
3. img 正则表达式 ...

感谢版主大大的帮助