python教学视频里，56讲爬取妹子图那个，按视频里敲出来的网站返回503怎么解决啊

imtheend

1. import urllib.request
   
2. import os
   
3. import random
   
4. 
   
5. def get_page(url):
   
6.    
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.277.400 QQBrowser/9.4.7658.400')
   
9.     print(url)
   
10.     response = urllib.request.urlopen(url)#应该是这个地方有问题，已经修改过header了，怎么煎蛋还是返回HTTP 503
    
11.    
    
12.     html = response.read().decode('utf-8')
    
13.     a = html.find('current-comment-page') + 23
    
14.     b = html.find(']',a)
    
15.    
    
16.     print(html[a:b])
    
17.     return html[a:b]
    
18. 
    
19. def find_imgs(url):
    
20.     html = url_open(url).decode('utf-8')
    
21.     img_addrs = []
    
22. 
    
23.     a = html.find('img src=')
    
24. 
    
25.     while a != 1:
    
26.         b = html.find('.jpg',a,a+25)
    
27.         if b != -1:
    
28.             img_addrs.append(html[a+9:b+4])
    
29.         else:
    
30.             b = a + 9
    
31. 
    
32.         a = html.find('img src=',b)
    
33.     return img_addrs
    
34.             
    
35. def save_imgs(folder,img_addrs):
    
36.     for eac in img_addrs:
    
37.         filename = each.split('/')[-1]
    
38.         with open(filename,'wb') as f:
    
39.             img = url_open(each)
    
40.             f.write(img)
    
41. 
    
42.             
    
43. def download_mm(folder='ooxx',pages=10):
    
44.     os.mkdir(folder)
    
45.     os.chdir(folder)
    
46. 
    
47.     url = 'http://jandan.net/ooxx/'
    
48.     page_num = int(get_page(url))
    
49. 
    
50.     for i in range(pages):
    
51.         page_num -= i
    
52.         page_url = url + 'page-' + str(page_num) + '#comments'
    
53.         img_addrs = find_imgs(page_url)
    
54.         save_imgs(img_addrs)
    
55. 
    
56. 
    
57. 
    
58. if __name__ == '__main__':
    
59.     download_mm()
    

复制代码

～风介～

煎蛋已经禁止爬虫了。

imtheend

～风介～ 发表于 2016-6-12 20:16
煎蛋已经禁止爬虫了。

原来酱紫。。心痛。。。以前都不知道有这个福利网站。。。

～风介～

imtheend 发表于 2016-6-13 18:43
原来酱紫。。心痛。。。以前都不知道有这个福利网站。。。

这个也是很不错的！http://bbs.fishc.com/thread-72767-1-1.html

305910416

～风介～ 发表于 2016-6-13 19:57
这个也是很不错的！http://bbs.fishc.com/thread-72767-1-1.html

http://bbs.fishc.com/thread-69045-1-1.html

然而用这个也行
我试过同样的header
还是不能爬ooxx
但是以上网址里面给出的代码却是可以
原因为哪呢

daxinzangwind