56课 爬虫：OOXX，一直报错403 新人帖 New

xiaozhitadie

萌新一枚，最近在学习爬虫课程的时候一直报错403，代码完全按照小甲鱼的视频教程输入的，不知道为什么，也可能是自己输入错误问题。请大神指点！

xiaozhitadie

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')
   
7.     response=urllib.request.urlopen(url)
   
8.     html=response.read()
   
9. 
   
10. 
    
11. 
    
12.             
    
13. def get_page(url):
    
14.     html=url_open(url).decode('utf-8')
    
15. 
    
16.     a = html.find('current-comment-page')+23
    
17.     b = html.find(']',a)
    
18.     print(html[a:b])
    
19.    
    
20. 
    
21.    
    
22. def find_imgs(url):
    
23.     url_open(url).decode('utf-8')
    
24.     img_addrs=[]
    
25. 
    
26.     a = html.find('img src=')
    
27.    
    
28. 
    
29.     while a!=1:
    
30.         b = html.find('.jpg',a,a+255)
    
31.         if b!=-1:
    
32.             img_addrs.append(html[a+9:b+4])
    
33.         else :b=a+9
    
34. 
    
35.         a=html.find('img src=',b)
    
36. 
    
37.     for each in img_addrs:
    
38.         print(each)
    
39.    
    
40. 
    
41. def save_img(folder,img_addrs):
    
42.     for each in img_addrs:
    
43.         filename=each.split('/')[-1]
    
44.         with open(filename,'wb') as f:
    
45.             img = url_open(each)
    
46.             f.write(img)
    
47. 
    
48. def download_mm(folder='OOXX',pages=10):
    
49.     os.mkdir(folder)
    
50.     os.chdir(folder)
    
51. 
    
52.     url='http://jandan.net/ooxx/'
    
53.     page_num=int(get_page(url))
    
54. 
    
55.     for i in range(pages):
    
56.         page_num -= i
    
57.         page_url  = url+'page-'+str(page_num)+'#comments'
    
58.         img_addrs = find_imgs(page_url)
    
59.         save_imgs(folder,img_addrs)
    
60. 
    
61. if __name__== '__main__':
    
62.     download_mm()
    

复制代码

python_chan

ooxx7788

虽然你没有给错误代码，但是我估计是
45行改为
img = url_open('http:' + each)

purplenight

注意第七行：urllib.request.urlopen(url)， 是req吧。

xiaozhitadie

ooxx7788 发表于 2017-11-22 09:37
虽然你没有给错误代码，但是我估计是
45行改为
img = url_open('http:' + each)

并不是

xiaozhitadie

purplenight 发表于 2017-11-22 09:37
注意第七行：urllib.request.urlopen(url)， 是req吧。

不是的

ooxx7788

xiaozhitadie 发表于 2017-11-22 21:04
并不是

上错误代码啊，难道让我们肉眼debugger吗

xiaozhitadie

ooxx7788 发表于 2017-11-22 21:38
上错误代码啊，难道让我们肉眼debugger吗

urllib.error.HTTPError: HTTP Error 403: Forbidden

ooxx7788

xiaozhitadie 发表于 2017-11-22 21:48
urllib.error.HTTPError: HTTP Error 403: Forbidden

更网站封了。换个网站去爬吧

purplenight

仔细瞧瞧吧

1. >>> import urllib.request
   
2. >>>
   
3. >>> url = 'http://jandan.net/ooxx/'
   
4. >>> req = urllib.request.Request(url)
   
5. >>> req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36')
   
6. >>>
   
7. >>> response=urllib.request.urlopen(url)
   
8. Traceback (most recent call last):
   
9.   File "<pyshell#8>", line 1, in <module>
   
10.     response=urllib.request.urlopen(url)
    
11.   File "D:\Program Files\Python36\lib\urllib\request.py", line 223, in urlopen
    
12.     return opener.open(url, data, timeout)
    
13.   File "D:\Program Files\Python36\lib\urllib\request.py", line 532, in open
    
14.     response = meth(req, response)
    
15.   File "D:\Program Files\Python36\lib\urllib\request.py", line 642, in http_response
    
16.     'http', request, response, code, msg, hdrs)
    
17.   File "D:\Program Files\Python36\lib\urllib\request.py", line 570, in error
    
18.     return self._call_chain(*args)
    
19.   File "D:\Program Files\Python36\lib\urllib\request.py", line 504, in _call_chain
    
20.     result = func(*args)
    
21.   File "D:\Program Files\Python36\lib\urllib\request.py", line 650, in http_error_default
    
22.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
23. urllib.error.HTTPError: HTTP Error 403: Forbidden
    
24. >>>
    
25. >>> response=urllib.request.urlopen(req)
    
26. >>>
    
27. >>> response.read()[:32]
    
28. b'<!DOCTYPE html>\r\n<html dir="ltr"'
    
29. >>>
    

复制代码

ba21

xxoo对网站图片地址进行了加密处理。如果只是学习，了解一下就差不多了。要不也可以换个网站测式

xiaozhitadie

ba21 发表于 2017-11-23 22:41
xxoo对网站图片地址进行了加密处理。如果只是学习，了解一下就差不多了。要不也可以换个网站测式

好的，谢谢，最近几天学习了一下才知道，找了几个简单的网址试了试成功了

球磨川禊

xiaozhitadie 发表于 2017-11-30 22:00
好的，谢谢，最近几天学习了一下才知道，找了几个简单的网址试了试成功了

有什么简单的网站推荐推荐呗~