只单纯的从网页get url 老是报503 ？

不二如是

1. import urllib.request
   
2. import os
   
3. 
   
4. def get_page(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read().decode('utf-8')
   
9. 
   
10.     a = html.find('current-comment-page') + 23
    
11.     b = html.find(']',a)
    
12. 
    
13.     print(html[a:b])
    
14. 
    
15. def find_imgs(url):
    
16.     pass
    
17. def save_imgs(folder,img_addrs):
    
18.     pass
    
19. 
    
20. def download_mm_1(folder = 'OOXX',pages = 10):
    
21.     os.mkdir(folder)
    
22.     os.chdir(folder)
    
23. 
    
24.     url = "http://jandan.net/ooxx"
    
25. 
    
26.     page_num = int(get_page(url))
    
27. 
    
28.     for i in range(pages):
    
29.         page_num -= i
    
30.         page_url = url + 'page-' + str(page_num) + '#comments'
    
31.         img_addrs = find_imgs(page_url)
    
32.         save_imgs(foldre,img_addrs)
    
33. 
    
34. 
    
35. 
    
36. if __name__ == '__main__':
    
37.     download_mm_1()
    

复制代码

不二如是

@SixPy

SixPy

搜论坛，早有答案了~

不二如是

SixPy 发表于 2016-9-7 16:56
搜论坛，早有答案了~

http://bbs.fishc.com/thread-72796-1-1.html
煎蛋已经禁止爬图，里面有基于其他web的

土匪先生

哈哈

土匪先生

留个爪印。。

不二如是

土匪先生 发表于 2016-9-8 14:32
留个爪印。。

wujm

immortalfaith

我不懂

不二如是

immortalfaith 发表于 2016-9-11 16:24
我不懂

因为我所访问那个网页禁止爬虫
所以用4＃那个就okay了