刚学到爬虫XXOO，遇到403forbidden

夏夜夏月

下面是代码，跟着小甲鱼编的，已经添加header了，不知道为什么煎蛋还是把我禁了  难道要用代理？？
请问怎么解决~？？

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9. 
   
10.     return html
    
11.    
    
12. def get_page(url):
    
13.     html = url_open(url).decode('utf-8')
    
14.    
    
15.     a = html.find('current-comment-page') + 23
    
16.     b = html.find(']',a)
    
17. 
    
18.     return html[a:b]
    
19.                   
    
20.    
    
21. def find_imgs(url):
    
22.     html = url_open(url).decode('utf-8')
    
23.     img_addrs = []
    
24. 
    
25.     a = html.find('img src=')
    
26. 
    
27.     while a != -1:
    
28.         b = html.find('.jpg',a,a +255)
    
29.         if b !=-1:
    
30.             img_addrs.append(html[a+9:b+4])
    
31.         else:
    
32.             b = a +9
    
33.             
    
34.         a = html.find('img src=',b)
    
35. 
    
36.     return img_addrs
    
37.    
    
38. def save_imgs(folder, img_addrs):
    
39.     for each in img_addrs:
    
40.         filename = each.split('/')[-1]
    
41.         with open(filename,'wb') as f:
    
42.             img =url_open(each)
    
43.             f.write(img)
    
44. 
    
45.    
    
46. def download_mm(folder='OOXX',pages=10):
    
47.     os.mkdir(folder)
    
48.     os.chdir(folder)
    
49. 
    
50.     url = 'http://jandan.net/ooxx/'
    
51.     page_num = int(get_page(url))
    
52. 
    
53.     for i in range(pages):
    
54.         page_num -= i
    
55.         page_url = url + 'page-' + str(page_num) + '#comments'
    
56.         img_addrs = find_imgs(page_url)
    
57.         save_imgs(img_addrs)
    
58. 
    
59. if __name__ == '__main__':
    
60.     download_mm()
    

复制代码

这是错误信息：
Traceback (most recent call last):
  File "C:/Python34/testpython/爬煎蛋的妹纸.py", line 60, in <module>
    download_mm()
  File "C:/Python34/testpython/爬煎蛋的妹纸.py", line 51, in download_mm
    page_num = int(get_page(url))
  File "C:/Python34/testpython/爬煎蛋的妹纸.py", line 13, in get_page
    html = url_open(url).decode('utf-8')
  File "C:/Python34/testpython/爬煎蛋的妹纸.py", line 7, in url_open
    response = urllib.request.urlopen(url)
  File "C:\Python34\lib\urllib\request.py", line 161, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Python34\lib\urllib\request.py", line 469, in open
    response = meth(req, response)
  File "C:\Python34\lib\urllib\request.py", line 579, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Python34\lib\urllib\request.py", line 507, in error
    return self._call_chain(*args)
  File "C:\Python34\lib\urllib\request.py", line 441, in _call_chain
    result = func(*args)
  File "C:\Python34\lib\urllib\request.py", line 587, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

夏夜夏月

:cry自己顶

kmaster

  response = urllib.request.urlopen(req)

邻家老王

mark 煎蛋被爬得太多了

戴宇轩

小甲鱼的课太吸引人，大家都来爬煎蛋，所以煎蛋把爬虫封了…

半杯茶不要抢

data=None
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36'}

req=urllib.request.Request(url_meizi,data,headers)

小甲鱼

戴宇轩 发表于 2015-8-2 20:22
小甲鱼的课太吸引人，大家都来爬煎蛋，所以煎蛋把爬虫封了…

是的……后来煎蛋封了爬虫……

大家还是换个对象学习吧，一般服务器都不欢迎爬虫“光临”的~

jiagd0105

小甲鱼 发表于 2015-8-25 01:18
是的……后来煎蛋封了爬虫……

大家还是换个对象学习吧，一般服务器都不欢迎爬虫“光临”的~

同样发现这个问题，没法爬妹子图了。。。

vinking93

怎么解决的，我也遇到这样的问题

249018563

import urllib.request

data=None
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36'}
req=urllib.request.Request('http://jandan.net/ooxx',data,headers)
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')

a = html.find('current-comment-page') + 23
b = html.find(']',a)
print(html[a:b])

249018563

可以通过

大大张宇

用10楼的方法解决了，很不错
不过我的图片保存，打开不了，显示文件可能已损坏

xcxyxxjsx

小甲鱼 发表于 2015-8-25 01:18
是的……后来煎蛋封了爬虫……

大家还是换个对象学习吧，一般服务器都不欢迎爬虫“光临”的~

此种办法有解么？现在大部分网站都不喜欢爬虫吧，尤其是一些视频，音乐等一些站点。但这些东西又是最喜欢爬的。有解么，大湿

zxszx4

249018563 发表于 2015-8-26 11:17
import urllib.request

data=None

大神，为什么我运行这个报错，你给看看呗？

1. import urllib.request
   
2. url='http://jandan.net/ooxx'
   
3. data=None
   
4. headers={
   
5. 'Host': 'jandan.net',
   
6. 
   
7. 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:42.0) Gecko/20100101 Firefox/42.0',
   
8. 
   
9. 'Accept': '*/*',
   
10. 
    
11. 'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    
12. 
    
13. 'Accept-Encoding': 'gzip, deflate',
    
14. 
    
15. 'X-Requested-With': 'XMLHttpRequest',
    
16. 
    
17. 'Referer': 'http://jandan.net/ooxx',
    
18. 
    
19. 'Cookie': '4022519986=7; _ga=GA1.2.43294716.1450792083; Hm_lvt_fd93b7fb546adcfbcf80c4fc2b54da2c=1450792084; Hm_lpvt_fd93b7fb546adcfbcf80c4fc2b54da2c=1450794167',
    
20. 
    
21. 'x-forwarded-for': '114.114.114.114',
    
22. 
    
23. 'Connection': 'keep-alive'
    
24. 
    
25.     }
    
26. req = urllib.request.Request(url,data,headers)
    
27. response = urllib.request.urlopen(req)
    
28. html = response.read().decode("utf-8")
    
29. 
    
30. a=html.find('current-comment-page')+23
    
31. b=html.find(']',a)
    
32. 
    
33. print(html)

复制代码

报错信息

报错信息

zxszx4

额，我知道为什么了，因为我在head里加了'Accept-Encoding': 'gzip, deflate'这句，哎，悲伤之情无法言表呀。

1137668129

淡淡的忧伤，还指望能下点ooxx图片呢

worry921

厉害啊，学到多少课，就可以煎蛋了

westel

感谢zxszx4，煎蛋网又可以爬虫了

RUCJack

10楼的方法试了一下，还是不行。使用代理服务器，亲测可行：
proxy_support = urllib.request.ProxyHandler({'http':'222.220.113.4:3128'})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
response = opener.open(url)
测试时间是2016年3月22日