056次课堂中的问题

林斌

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9. 
   
10. 
    
11.    # print(url)
    
12.     return html
    
13. 
    
14. def get_page(url):
    
15.     html = url_open(url).decode('utf-8')
    
16. 
    
17.     a = html.find('current-comment-page') + 23
    
18.     b = html.find(']', a)
    
19. 
    
20.     return html[a:b]
    
21. 
    
22. 
    
23. def find_imgs(url):
    
24.     html = url_open(url).decode('utf-8')
    
25.     img_addrs = []
    
26. 
    
27.     a = html.find('img src=')
    
28. 
    
29.     while a!= -1:
    
30.         b = html.find('jpg', a, a+255)
    
31. 
    
32.         if b != -1:
    
33.             img_addrs.append(html[a+9:b+4])
    
34.         else:
    
35.             b = a + 9
    
36. 
    
37.         a = html.find('img src=', b)
    
38. 
    
39.     return  img_addrs
    
40.         
    
41. 
    
42. def save_imgs(folder, img_addrs):
    
43.     for each in img_addrs:
    
44.         filename = each.split('/')[-1]
    
45.         with open(filename, 'wb') as f:
    
46.             img = url_open(each)
    
47.             f.write(img)
    
48.         
    
49.             
    
50. 
    
51. 
    
52. def download_mm(folder='OOXX', pages=10):
    
53.     os.mkdir(folder)
    
54.     os.chdir(folder)
    
55. 
    
56.     url = 'http://jandan.net/ooxx'
    
57.     page_num = int(get_page(url))
    
58. 
    
59. 
    
60. 
    
61.     for i in range(pages):
    
62.         page_num -= i
    
63.         page_url = url + '/' + 'page-' + str(page_num) + '#comments'
    
64.         img_addrs = find_imgs(page_url)
    
65.         save_imgs(folder, img_addrs)
    
66. 
    
67. 
    
68. if __name__ == '__main__':
    
69.     download_mm()
    

复制代码

代码大体和小甲鱼相同的呀，求各位鱼油看看，哪里错了。怎么改正

hldh214

仔细看你的报错, 这个文件名非法, jpg后面加了一个双引号, 修改一下即可
另外创建文件夹的时候应该先检测是否存在该文件夹以防报错

林斌

hldh214 发表于 2016-4-20 15:19
仔细看你的报错, 这个文件名非法, jpg后面加了一个双引号, 修改一下即可
另外创建文件夹的时候应该先检测 ...

谢谢