咦~~煎蛋现在是不是不让爬图片了？

FavouritePython

如题。一爬就报错。。。forbidden

hongchh

http://www.chunmm.com/
楼主可以拿这个网站练下手。

FavouritePython

urllib.error.HTTPError: HTTP Error 403: Forbidden
我header按照小甲鱼的修改的，代理也用了，还是被禁，该怎么修改？

戴宇轩

代码贴出来看看?

FavouritePython

戴宇轩 发表于 2015-7-9 11:10
代码贴出来看看?

我直接运行的小甲鱼的，这个是小甲鱼的代码。
我自己也尝试过修改这代码里面的IP啊，user_agent对应的电脑系统之类的
运行结果是一样的。都是   urllib.error.HTTPError: HTTP Error 403: Forbidden

1. import urllib.request
   
2. import os
   
3. import random
   
4. 
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 SE 2.X MetaSr 1.0')
   
9. 
   
10.     proxies = ['111.206.10.20:80', '163.177.79.5:80', '182.254.153.54:80']
    
11.     proxy = random.choice(proxies)
    
12. 
    
13.     proxy_support = urllib.request.ProxyHandler({'http':proxy})
    
14.     opener = urllib.request.build_opener(proxy_support)
    
15.     urllib.request.install_opener(opener)
    
16. 
    
17.     response = urllib.request.urlopen(url)
    
18.     html = response.read()
    
19. 
    
20.     return html
    
21. 
    
22. 
    
23. def get_page(url):
    
24.     html = url_open(url).decode('utf-8')
    
25. 
    
26.     a = html.find('current-comment-page') + 23
    
27.     b = html.find(']', a)
    
28. 
    
29.     return html[a:b]
    
30. 
    
31. 
    
32. def find_imgs(url):
    
33.     html = url_open(url).decode('utf-8')
    
34.     img_addrs = []
    
35. 
    
36.     a = html.find('img src=')
    
37. 
    
38.     while a != -1:
    
39.         b = html.find('.jpg', a, a+255)
    
40.         if b != -1:
    
41.             img_addrs.append(html[a+9:b+4])
    
42.         else:
    
43.             b = a + 9
    
44. 
    
45.         a = html.find('img src=', b)
    
46. 
    
47.     return img_addrs
    
48. 
    
49. 
    
50. def save_imgs(folder, img_addrs):
    
51.     for each in img_addrs:
    
52.         filename = each.split('/')[-1]
    
53.         with open(filename, 'wb') as f:
    
54.             img = url_open(each)
    
55.             f.write(img)
    
56. 
    
57. 
    
58. def download_mm(folder='OOXX', pages=10):
    
59.     os.mkdir(folder)
    
60.     os.chdir(folder)
    
61. 
    
62.     url = "http://jandan.net/ooxx/"
    
63.     page_num = int(get_page(url))
    
64. 
    
65.     for i in range(pages):
    
66.         page_num -= i
    
67.         page_url = url + 'page-' + str(page_num) + '#comments'
    
68.         img_addrs = find_imgs(page_url)
    
69.         save_imgs(folder, img_addrs)
    
70. 
    
71. if __name__ == '__main__':
    
72.     download_mm()
    

复制代码

邻家老王

我最近也发现煎蛋好像有反爬虫了，在看着怎么解决

muczheng

第17行

1. response = urllib.request.urlopen(url)

复制代码

改成

1. response = urllib.request.urlopen(req)

复制代码

liukang325

是的，爬一会就被禁了

FavouritePython

liukang325 发表于 2015-7-24 15:20
是的，爬一会就被禁了

你还能爬一会。。。我一运行就禁止了

kit1858644

有2個問題, 代碼中用的代理可能已不能使用, 網頁的規則有改變, 改下就好了

小甲鱼

是的，不要再爬煎蛋了~

哭个六

我也是这个问题。日了狗了

Chloe2015

5555555555555~

今天看了视频，就先自己尝试爬煎蛋，结果发现使用beautifulsoup就是捕获不到想要的东西。然后把网页的源代码调出来一看，竟然提示说“煎蛋鸡不认为行为是人为的“．．．．

换了ｕｓｅｒ－ａｇｅｎｔ之后，效果也没有好转。

估计煎蛋的服务器也知道他们的网站经常被ｐｙｔｈｏｎ拿来练手了

zxszx4

Chloe2015 发表于 2016-1-2 02:16
5555555555555~

今天看了视频，就先自己尝试爬煎蛋，结果发现使用beautifulsoup就是捕获不到想要的东西 ...

6楼的应该是正解了，你可以考虑抓包看看你的head信息究竟有没有改变，我是抓包发现问题重新改的就正常了。

cold2wind

楼主解决了吗  我也拿来练手了  结果也是forbidden

jpcomplicated

好像是的

JM怀特

我也是爬不了煎蛋的图，试过几个网站都没问题，一换煎蛋就是 html error 503

bit7maker

今天刚运行，就发现禁止访问，看来是被程序员搞怕了

warms

FavouritePython 发表于 2015-7-8 20:52
urllib.error.HTTPError: HTTP Error 403: Forbidden
我header按照小甲鱼的修改的，代理也用了，还是被禁 ...

煎蛋反扒了用requests模块可以绕过430错误
但是煎蛋居然还把图片链接给编码加密了
所以所兄得换一个爬把

Whotu

hongchh 发表于 2015-9-4 20:21
http://www.chunmm.com/
楼主可以拿这个网站练下手。

一上这个网站营养就跟不上