刚学到爬虫XXOO，遇到403forbidden

夏夜夏月

下面是代码，跟着小甲鱼编的，已经添加header了，不知道为什么煎蛋还是把我禁了  难道要用代理？？
请问怎么解决~？？

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header(\'User-Agent\',\'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36\')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9. 
   
10.     return html
    
11.    
    
12. def get_page(url):
    
13.     html = url_open(url).decode(\'utf-8\')
    
14.    
    
15.     a = html.find(\'current-comment-page\') + 23
    
16.     b = html.find(\']\',a)
    
17. 
    
18.     return html[a:b]
    
19.                   
    
20.    
    
21. def find_imgs(url):
    
22.     html = url_open(url).decode(\'utf-8\')
    
23.     img_addrs = []
    
24. 
    
25.     a = html.find(\'img src=\')
    
26. 
    
27.     while a != -1:
    
28.         b = html.find(\'.jpg\',a,a +255)
    
29.         if b !=-1:
    
30.             img_addrs.append(html[a+9:b+4])
    
31.         else:
    
32.             b = a +9
    
33.             
    
34.         a = html.find(\'img src=\',b)
    
35. 
    
36.     return img_addrs
    
37.    
    
38. def save_imgs(folder, img_addrs):
    
39.     for each in img_addrs:
    
40.         filename = each.split(\'/\')[-1]
    
41.         with open(filename,\'wb\') as f:
    
42.             img =url_open(each)
    
43.             f.write(img)
    
44. 
    
45.    
    
46. def download_mm(folder=\'OOXX\',pages=10):
    
47.     os.mkdir(folder)
    
48.     os.chdir(folder)
    
49. 
    
50.     url = \'http://jandan.net/ooxx/\'
    
51.     page_num = int(get_page(url))
    
52. 
    
53.     for i in range(pages):
    
54.         page_num -= i
    
55.         page_url = url + \'page-\' + str(page_num) + \'#comments\'
    
56.         img_addrs = find_imgs(page_url)
    
57.         save_imgs(img_addrs)
    
58. 
    
59. if __name__ == \'__main__\':
    
60.     download_mm()
    

复制代码

这是错误信息：
Traceback (most recent call last):
  File \"C:/Python34/testpython/爬煎蛋的妹纸.py\", line 60, in <module>
    download_mm()
  File \"C:/Python34/testpython/爬煎蛋的妹纸.py\", line 51, in download_mm
    page_num = int(get_page(url))
  File \"C:/Python34/testpython/爬煎蛋的妹纸.py\", line 13, in get_page
    html = url_open(url).decode(\'utf-8\')
  File \"C:/Python34/testpython/爬煎蛋的妹纸.py\", line 7, in url_open
    response = urllib.request.urlopen(url)
  File \"C:\\Python34\\lib\\urllib\\request.py\", line 161, in urlopen
    return opener.open(url, data, timeout)
  File \"C:\\Python34\\lib\\urllib\\request.py\", line 469, in open
    response = meth(req, response)
  File \"C:\\Python34\\lib\\urllib\\request.py\", line 579, in http_response
    \'http\', request, response, code, msg, hdrs)
  File \"C:\\Python34\\lib\\urllib\\request.py\", line 507, in error
    return self._call_chain(*args)
  File \"C:\\Python34\\lib\\urllib\\request.py\", line 441, in _call_chain
    result = func(*args)
  File \"C:\\Python34\\lib\\urllib\\request.py\", line 587, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden
来源: 刚学到爬虫XXOO，遇到403forbidden

ft3312591

煎蛋是啥。。。

小肥鱼

有没有找到原因了？

cuibaowenown2

这是因为煎蛋貌似被墙了的原因，我这儿访问经常是访问不了，不知是不是爬煎蛋太多被禁IP了。。。用代理能上，顺便打下广告，可以参考下我的：http://bbs.fishc.com/thread-64578-1-1.html

笨小孩KK

user-agent 后面设置为 “your agent string” 试试看

Prince8

我的是发生下面的错误

1. TimeoutError: [Errno 110] Connection timed out
   
2. 
   
3. During handling of the above exception, another exception occurred:
   

复制代码

xiongdimenchong

什么是爬虫XXOO

qqqq79852852

这个问题我也遇到了！！

cainiao1th

把第7行response = urllib.request.urlopen(url)改为response = urllib.request.urllopen(req)

zhu244912654

搞代理吧

163邮箱mba

:shock::shock::shock:

1. urllib.request.urlopen(url)

复制代码

:lol:

江南孤雁

我也遇到了，用代理就没事，但用代理还碰运气:dizzy:

zxszx4

楼主不知道你解决没有，我抓包看了下，这个视频里将的代码根本没有把head替换掉，还是python3.5的head，我用urllib.request.Request(url,headers)可以解决这个报错，但是在接下来的html = response.read().decode("utf-8") 这句报错，说编码不能解析，不知道楼主有没有遇到这样的问题

starryzwh

cainiao1th 发表于 2015-10-28 13:39
把第7行response = urllib.request.urlopen(url)改为response = urllib.request.urllopen(req)

为什么要改为req

zhuzhubjtu

改成req确实过了。

yanwei1024

user_agent的值把数字部分放几个随机数，就可以了 我遇到了 我就把浏览器的版本号随机值
我怀疑煎蛋 user_agent 也是一个判断是不是同一个访问的条件，所以只要让它总是变就行，哪怕是一点一点的小变化

yanwei1024

另外补充一下 还可以降低爬取速度  sleep 一下

一丝青瓜

同样遇到了这个问题，怎么改都不行。。。就是error

夏天的凤

ft3312591 发表于 2015-9-5 06:47
煎蛋是啥。。。

看不懂

alaleidaputao

cainiao1th 发表于 2015-10-28 13:39
把第7行response = urllib.request.urlopen(url)改为response = urllib.request.urllopen(req)

我改成这个以后又出现了别的错误，